10 noviembre 2010

Cosas sobre el fraude en la publicación científica

Un post en Amazings me ha animado a publicar una serie de articulillos sobre la publicación científica y sus aledaños, incluyendo el fraude, las búsquedas bibliográficas y cosas así. Los textos están adaptados de una asignatura de libre elección que decidí preparar hace unos pocos años para contar aquello que a mí me hubiera gustado que me contaran en la carrera y que me hubiera facilitado un poco las cosas más adelante. El post de hoy va de fraude. En otros momentos seguiremos con temas diferentes.
Actualmente existe una necesidad creciente de publicar para mantenerse en el empleo, ganar prestigio o acceder a puestos superiores en el escalafón universitario. Aunque debemos suponer que la inmensa mayoría de la producción científica está generada por gente honrada, es relativamente frecuente el descubrimiento de fraudes de mayor o menor gravedad.
Los fraudes en las publicaciones son normalmente discretos aunque existen casos especialmente graves. Ejemplos con descaro creciente:
  • el "leve" retoque del dato inconveniente que molesta porque no confirma la hipótesis; no se inventa nada pero se quita aquello que estorba.
  • la ocultación de información estadística relevante que debería darse para saber si los resultados son realmente consistentes; por ejemplo, el tamaño de la muestra, los intervalos de confianza para los estadísticos...
  • la invención de datos para conseguir un resultado al que no se puede llegar a tiempo.
¿Cómo se pueden llegar a publicar artículos falseados? ¿No se supone que hay filtros para evitar el fraude? Yo creo que la clave está en quién hace la trampa y sobre qué. A los tramposos podemos dividirlos a grandes rasgos en dos grandes grupos: los malos y los buenos.
A los malos (cutres) se les nota porque el arroz está poco hecho o se les ha pasado. Normalmente saben poca estadística y un revisor atento puede notar que su trabajo huele mal porque los datos y los análisis son, en menor o mayor medida, inverosímiles. Los “buenos” son otra cosa. Sus recetas son tan buenas que sólo cuando otros equipos se ponen a repetirlas aparece el problema: nadie es capaz de llegar a sus resultados.
Lo del tema va por otro lado: cuando el trabajo es irrelevante el fraude no se detecta porque no le interesa a nadie. Aunque el trabajo queda escrito para siempre, poca gente lo revisará y menos aún, probablemente nadie, le dará importancia. En cambio, cuando el tema es importante es irremediable que el fraude se note más bien temprano que tarde.

Hwang Woo-Suk en épocas felices
Pongamos un ejemplo; en la sección Letters de la revista Science (año 2002, número 298, página 961) se publica lo siguiente:
Retraction:
Zhenan Bao, Bertram Batlogg, Steffen Berg, Ananth Dodabalapur, Robert C. Haddon, Harold Hwang, Christian Kloc, Hong Meng, and J. Hendrik Schön.
We are writing as coauthors on the following manuscripts published in Science, which were, in part, the subject of an independent investigation conducted at the behest of Bell Laboratories, Lucent Technologies. The independent committee reviewed concerns related to the validity of data associated with the device measurements described in the papers:
  • J. H. Schön, S. Berg, Ch. Kloc, B. Batlogg, Ambipolar pentacene field-effect transistors and inverters, Science 287, 1022 (2000) (siguen 7 artículos más)
As a result of the committee's findings, we feel obligated to the scientific community to issue a retraction of the above articles. We note that although these papers may contain some legitimate ideas and contributions, we think it best to make a complete retraction.
¿Qué significa lo anterior? La carta, firmada por 9 autores, comunica a los lectores que los artículos mencionados no deben ser tenidos en cuenta y que dichos autores los dan por no válidos. Esta carta fue publicada como resultado de una investigación sobre la corrección de una serie de resultados publicados en Science y otras revistas científicas. Un resumen de dicho informe reconoce haber encontrado casos de:
  • Manipulación de datos.
  • Exactitud no creíble de datos o resultados.
  • Resultados que contradicen conocimientos actuales ya consolidados.
Añade que los datos fueron inventados o manipulados por uno solo de los firmantes (J. H. Schön) pero el resto aceptó firmar los trabajos cuando apenas habían intervenido en ellos. La consecuencia es que se hicieron corresponsables de los contenidos y quedó claramente de manifiesto su falta de ética a pesar de no haber sido los autores del fraude principal.
Este tipo de conducta no ética está presente en una parte de los trabajos científicos. Algunos llegan a pasar los filtros y ser publicados incluso en revistas de gran prestigio, como es este caso.

Taxonomía del fraude
Tipos de fraude en el proceso de creación y publicación de artículos.
Invención
Es el caso del coreano Hwang Woo-suk, que se ganó espacio en todos los diarios en el año 2004. La reseña del caso es la siguiente.
A principios de 2004 un equipo de científicos del Corea del Sur dirigido por Hwang Woo-suk anunció que había conseguido por primera vez en la historia la clonación con éxito de embriones humanos. En mayo del 2005 anunciaron que habían conseguido clonar células troncales adaptadas a una persona determinada manipulando su contenido genético para hacerlas indistinguibles de las propias de la persona en cuestión.
En diciembre de 2005 comenzaron a circular rumores de que los estudios podían haber sido falsificados y en apenas unas semanas se confirmaba que habían sido un fraude. Hwang fue suspendido de empleo y sueldo, más tarde fue despedido de la Universidad de Seúl y finalmente fue procesado en un juicio que comenzó en junio de 2006. De ahí salió con dos años de cárcel por malversar fondos públicos (470.000 euros) y comprar óvulos humanos para sus experimentos (incluidos los dos chicas de su grupo), algo que las leyes de bioética del país no permiten,
El artículo principal se publicó en Science y fue retirado unos meses después.
¿Por qué hizo Hwang esta tontería? Ha circulado la hipótesis de que Hwang creía que estaba muy cerca, apenas a unas semanas, de conseguir el éxito. Al adelantarse en la publicación de resultados falsos pasaba por delante de otro grupo coordinado por Robert Lanza que estaba muy cerca también del buscado resultado. Hwang creía que tras publicar sus resultados falsos, el otro grupo que les pisaba los talones publicaría algo similar al poco tiempo quedando la técnica validada y él a un paso del Nobel.
El problema de Hwang es que ese grupo no publicó nada y él quedó en evidencia cuando se le pidieron pruebas y protocolos.

Manipulación de datos
Las variantes de las que conozco algún ejemplo son:
  1. Los datos experimentales existen pero los autores modifican los valores con el fin de obtener un resultado favorable a la hipótesis del estudio. Hay casos donde las medidas se duplican o triplican para aumentar el tamaño muestral y conseguir así diferencias estadísticas significativas. En otros se seleccionan sólo aquellos datos que se ajustan a la hipótesis y se eliminan los discordantes.
  2. Manipulación estadística: elegir solamente aquellas pruebas estadísticas que dan resultados acordes con nuestros intereses, por ejemplo, normalizar o no los datos, elegir pruebas paramétricas o no paramétricas según los resultados.
  3. Mala interpretación o interpretación abusiva: confundir deliberadamente causalidad con correlación, sacar conclusiones generales de casos particulares…
El caso Fleischman/Pons y su fusión fría es confuso ¿fraude o exceso de optimismo al interpretar los resultados?
Plagio
Consiste en la copia de ideas o frases de otros artículos, presentándolos como trabajo propio y original sin citar la fuente. Un caso real y vigente.
A.C. y otros autores envían una comunicación a un congreso internacional titulado, pongamos, Active contours for real time applications. Mientras esperan la revisión, reciben un artículo enviado a una revista del ramo para que hagan de revisores. El artículo se titula On real time active contours y está firmado por un tal C.J., profesor asociado en una universidad de Shanghai.
El caso pasó por varias etapas:

  • A.C. denuncia el plagio pero sin enviar el PDF de su artículo que estaba sujeto a embargo.
  • Los editores no se creen del todo y argumentan que tal vez pueda llegarse a las mismas conclusiones independientemente.
  • A.C. envía el PDF del congreso señalando la ausencia de la figura 7 y lo insólito de que un chino haga estudios sobre un tema inverosímil en China y bastante normal en España.
  • Los editores escriben a C.J. pidiendo explicaciones.
  • C.J. no contesta a ninguno de los correos.
  • Aparentemente el editor no toma ninguna decisión pero A.C. no vuelve a saber más de la cuestión; es de suponer que el proceso no seguirá adelante.

Asunto pendiente para reflexionar: ¿cómo llegó el trabajo de A.C. a manos de C.J.? Como final (?) curioso, hace muy pocos días A.C. recibe un correo de un investigador chino que le pide hacer una estancia n su grupo de investigación. El sujeto es doctor y el director de su tesis es, sorprendentemente, C.J.

Ausencia de aprobación del comité ético
Este tipo de casos pueden afectar a la investigación médica y a la que usa animales en la experimentación. Las investigaciones que afectan a seres vivos deben presentar sus protocolos experimentales y ser aprobados por comisiones éticas que valoran la pertinencia de los mismos. El caso de la falsa relación entre vacunas y autismo es un ejemplo de este tipo de mala conducta y tuvo como protagonista a un médico llamado Andrew Wakefield.
En este año 2010 se retiró un artículo publicado en 1998 en The Lancet donde se relacionaba la vacuna triple vírica con el autismo en niños. Diez de los trece firmantes ya se habían desvinculado del trabajo años atrás (¿por qué habían firmado?) y los tres restantes fueron sometidos a una investigación. Sus problemas comenzaron cuando en el año 2004 un periodista se puso a investigar y denunció que los niños participantes en el estudio habían sido seleccionados por los abogados de una pareja que quería demandar a los fabricantes de la vacuna triple vírica. Estos mismos abogados también habían contratado al autor principal, Andrew Wakefield, para confirmar la relación entre la vacuna y la enfermedad.
A raíz de esas denuncias, el General Medical Council de Gran Bretaña inició una investigación cuyas conclusiones se hicieron públicas en febrero de este año 2010. Se verificaron problemas de tipo diverso que llevaron a concluir que la conducta de Wakefield había sido "deshonesta e irresponsable".
El artículo tuvo una enorme repercusión en la sociedad impulsando un movimiento antivacunación en Gran Bretaña y en los EE.UU. Llama la atención que se basa en un número de niños minúscula: doce, once de ellos varones y una chica, con edades entre los 3 y los 11 años. Se supone que estos chicos aparecieron por el servicio de gastroenterología con una historia similar: habían tenido un desarrollo normal inicial y una fuerte regresión posterior (que incluía la pérdida del lenguaje) junto con diarrea y dolores abdominales. Los niños fueron sometidos a un montón de pruebas: colonoscopias, biopsias, resonancias magnéticas, electroencefalografías, punciones lumbares...
En la investigación tras la denuncia del periodista aparecieron detalles inquietantes. Por ejemplo, en el artículo se afirma que los problemas de los niños comenzaron unos días después de recibir la vacuna, pero una revisión de los archivos del hospital reveló que varias de las familias habían comunicado los problemas antes de la fecha de vacunación. También se encontró que parte de los fondos fueron utilizados para fines diferentes de los declarados. Finalmente, se confirmó que los niños fueron sometidos a pruebas invasivas cuya justificación era dudosa y para algunas de las cuales Wakefield carecía del preceptivo permiso de la comisión de ética de su institución. Lamentablemente, la comisión investigadora también llegó a la conclusión de que Wakefield manifestó una "total indiferencia por el sufrimiento y el dolor que sabía o debería haber sabido que los niños podían sufrir" con esas pruebas.

Autoría ficticia
Los autores de una publicación científica son los que redactan el original y contribuyen sustancialmente al desarrollo de la investigación. Sin embargo es práctica común el incluir a otras personas que no cumplen estos requisitos dándose el fenómeno conocido como autoría regalada, honoraria o ficticia. El regalo de la coautoría se utiliza para recompensar algún favor, como forma de halagar a un superior, o como derecho arrogado por el jefe del departamento donde se realiza la investigación; también puede darse el intercambio reciproco de autorías en otros artículos.
Hay casos que se agravan debido a una relación laboral poco equilibrada que conlleva indefensión. Por ejemplo, un proyecto fin de carrera especialmente brillante es modificado o maquillado y presentado posteriormente por el tutor como propio (caso real).

Seguimos el próximo día con las publicaciones duplicadas (o más), con los casos de revisores no precisamente imparciales y con conflictos de intereses.

06 noviembre 2010

He recibido un correo: titúlese sin estudiar

Tras poder titularse en especialista en homeopatía sin dar ni golpe (es justo y nada sorprendente ya que no hay materia), tras conocer esotéricas "universidades" que sólo están en la mente delirante de algún chiflado, aún podemos llegar más lejos (Groucho, cuánto se te echa de menos). Recibido ayer:
A Genuine University Degree in 4-6 weeks!
Have you ever thought that the only thing stopping you from a great job and better pay was a few letters behind your name?
Well now you can get them!
BA___BSc___MA___MSc___MBA___PhD
Within 4-6 weeks!
No Study Required!
100% Verifiable!
These are real, genuine degrees that include Bachelors, Masters, MBA and Doctorate Degrees.
They are fully verifiable and certified transcripts are available.
Just call the number below.
You will thank me later…
1-601-812-5750
Estos yanquis son la bomba.

30 octubre 2010

Rebuznos en la universidad: cátedra de homeopatía en Zaragoza

Mi idea de la universidad se basa en que su primer objetivo es impulsar el pensamiento crítico en la sociedad. Hoy reconozco públicamente, ante acontecimientos recientes y reiterados, que es una idea cándida y trasnochada. Hasta el momento, un buen puñado de universidades ofertaba cursos de diverso pelaje, congresos y maestrías sobre, por ejemplo, la astrología o la moxibustión. Sobre esta cuestión tienen referencias en el blog La lista de la vergüenza, una lista que va creciendo poco a poco.
Lo que me hace volver a este tema es que hace pocos días la Universidad de Zaragoza ha aceptado la financiación de los Laboratorios Boiron para crear una Cátedra Boiron de investigación, docencia y divulgación en homeopatía. Entiendo que este paso es algo mucho más serio que los anteriores ya que supone una venta institucional a la pseudociencia (ya no es un profesor o un grupito que quiere hacer negocio) y es de difícil reversión en el futuro.
Vaya por delante que no voy a entrar a discutir las razones que hacen de la homeopatía un fraude. Sus fundamentos (la memoria del agua y la potenciación de efecto con las diluciones infinitas) están desacreditados desde hace décadas y los ensayos clínicos han mostrado que los "preparados" no tienen efectos perceptibles más allá del efecto placebo y esto solo en algunos casos. Si alguien quiere debatir sobre esto deberá remitir a artículos que hayan explicado y validado las hipótesis básicas.
Aclarado y acotado lo anterior, me interesa más un análisis general ¿cuáles son las razones para que esté ocurriendo esto en nuestras universidades?



Se me ocurren algunas y todas inquietantes. La primera es poco discutible: la necesidad de financiación. La segunda es una suposición: el muy escaso nivel científico de las personas deciden que las pseudociencias se promocionen en sus aulas. Las dos juntas tienen efectos como el de la Cátedra Boiron. Suponer un mínimo nivel científico de las comisiones universitarias puede ser discutido ya que, aunque desconozco quienes son los responsables directos en la UNIZAR,  es probable que haya buenos científicos entre ellos. Si eso es así, el hecho sólo tiene explicación en otra circunstancia también alarmante: la ausencia de compromiso con la ciencia. O dicho de otro modo, la renuncia a la razón de ser de la universidad en una sociedad como la nuestra. Esta suposicion se ve apoyada en que la vicerrectora que firmó el acuerdo con Boiron es catedrática de genética con lo que no se puede suponer que desconoce lo que está firmando.
Las consecuencias se verán a medio plazo pero mi impresión es pesimista ya que si se admite la homeopatía ¿por qué no otras cosas como la imposición de manos, el feng-shui o lo que se le pase por la cabeza a un patrocinador adinerado?
Será interesante ver el futuro de esta Cátedra ¿a quién van a poner al frente? ¿quiénes van a integrar su plantilla? ¿cuáles van a  ser sus líneas de investigación y sus publicaciones? Por el momento no se sabe nada salvo que su primer objetivo no va a ser investigar sino elaborar un Libro Blanco de la Homeopatía, es decir, algo no sujeto a los estándares de la publicación científica y que, de ser coherentes con los hechos verificables de esta pseudodisciplina, debería estar, literalmente, en blanco.

Posts relacionados 
Notas
1. Parece que Boiron tiene laboratorios en Madrid, Barcelona, Vizcaya y Alicante ¿cómo han acabado en Zaragoza? ¿propusieron el negocio a otras universidades y fue rechazado?
2. Por si alguien no lo sabe, que una universidad cree una cátedra en cualquier materia no significa que ésta consiga una homologación oficial. Que yo sepa y por el momento no existen títulos oficiales en España de ninguna pseudociencia.
3. Aunque creo que las firmas no valen para gran cosa, he firmado un manifiesto por una universidad libre de pseudociencias y oscurantismo, elaborado a raíz de hacerse pública esta cátedra.
4. ¿Quiere saber qué es la homeopatía, sus principios y sus evidencias? Toda la información en queesla homeopatia.com.

27 octubre 2010

[Breves] El barro rojo

Parecería que todo pasó, que fue un mal sueño, pero no es así.
En el jardín de su casa (Devecser), más fotos en este enlace

26 octubre 2010

Los 10 peores desastres de la historia de la ciencia

Me hago eco de un estupendo post de Eduardo en su blog La revolución naturalista. Recomiendo que le hagan una visita. Por mi parte reconozco que no tenía ni idea de los "desastres" 1 y 5 y desconocía bastantes detalles de algunos de los demás.

Demócrito

25 octubre 2010

Publicado un "ranking" de investigación de las universidades españolas

Pues eso, en la Universidad de Granada han hecho una valoración de la investigación en las universidades españolas atendiendo a sus publicaciones y su impacto y han publicado varios rankings al respecto, es decir, una serie de listas ordenadas. Para ello los autores utilizaron los indicadores siguientes:
  • NDOC: Número de documentos citables publicados en revistas indexadas en cualquiera de las categorías de los Journal Citation Reports
  • NCIT: Número de citas recibidas
  • H-INDEX: Índice H según la fórmula de Hirsch
  • 1Q: Porcentaje de documentos en el primer cuartil de cualquiera de las categorías de los JCR
  • PCIT: Promedio de citas por documento
  • TOPCIT: Porcentaje de documentos altamente citados (aquellos situados en el percentil 0,90 según el número de citas)
Estos indicadores, algunos muy correlacionados con el tamaño de la institución, se procesan y combinan con una metodología que se explica en este documento. El resultado es un llamado Institutional Field Quantitative-Qualitative Analysis Index (IFQ2A), que se presenta para diferentes campos científicos.
En los listados finales se han eliminado una parte de las universidades analizadas, en concreto aquellas que están en el último cuartil en documentos publicados.
El resumen de posiciones se encuentra en este documento y los datos básicos pueden descargarse en forma de hoja de cálculo (xls, 1.8 Mb). Finalmente, en esta página pueden desplegarse unos magníficos gráficos por campos científicos para los periodos 2000-2009 y 2005-2009.
¿Un resumen rápido? Las universidades mejor colocadas son  la Universidad de Barcelona, la Universidad Autónoma de Barcelona y la Universidad Autónoma de Madrid. De la mía podemos decir que se afianza sólidamente como la mejor de la Comunidad Autónoma de Extremadura  :-P
Gráfico para las ciencias biológicas con las etiquetas para mi universidad de origen (Oviedo) y la actual.
Realmente no tengo opinión sobre este índice ni sobre la idoneidad de los indicadores. Es bueno, sin duda, que no se considere solamente el número de publicaciones pero no tengo tan claro el efecto de incluir todos los indicadores mencionados, ya me dirán su opinión.
Grab this Widget ~ Blogger Accessories
 
º