10 noviembre 2010

Cosas sobre el fraude en la publicación científica

Un post en Amazings me ha animado a publicar una serie de articulillos sobre la publicación científica y sus aledaños, incluyendo el fraude, las búsquedas bibliográficas y cosas así. Los textos están adaptados de una asignatura de libre elección que decidí preparar hace unos pocos años para contar aquello que a mí me hubiera gustado que me contaran en la carrera y que me hubiera facilitado un poco las cosas más adelante. El post de hoy va de fraude. En otros momentos seguiremos con temas diferentes.
Actualmente existe una necesidad creciente de publicar para mantenerse en el empleo, ganar prestigio o acceder a puestos superiores en el escalafón universitario. Aunque debemos suponer que la inmensa mayoría de la producción científica está generada por gente honrada, es relativamente frecuente el descubrimiento de fraudes de mayor o menor gravedad.
Los fraudes en las publicaciones son normalmente discretos aunque existen casos especialmente graves. Ejemplos con descaro creciente:
  • el "leve" retoque del dato inconveniente que molesta porque no confirma la hipótesis; no se inventa nada pero se quita aquello que estorba.
  • la ocultación de información estadística relevante que debería darse para saber si los resultados son realmente consistentes; por ejemplo, el tamaño de la muestra, los intervalos de confianza para los estadísticos...
  • la invención de datos para conseguir un resultado al que no se puede llegar a tiempo.
¿Cómo se pueden llegar a publicar artículos falseados? ¿No se supone que hay filtros para evitar el fraude? Yo creo que la clave está en quién hace la trampa y sobre qué. A los tramposos podemos dividirlos a grandes rasgos en dos grandes grupos: los malos y los buenos.
A los malos (cutres) se les nota porque el arroz está poco hecho o se les ha pasado. Normalmente saben poca estadística y un revisor atento puede notar que su trabajo huele mal porque los datos y los análisis son, en menor o mayor medida, inverosímiles. Los “buenos” son otra cosa. Sus recetas son tan buenas que sólo cuando otros equipos se ponen a repetirlas aparece el problema: nadie es capaz de llegar a sus resultados.
Lo del tema va por otro lado: cuando el trabajo es irrelevante el fraude no se detecta porque no le interesa a nadie. Aunque el trabajo queda escrito para siempre, poca gente lo revisará y menos aún, probablemente nadie, le dará importancia. En cambio, cuando el tema es importante es irremediable que el fraude se note más bien temprano que tarde.

Hwang Woo-Suk en épocas felices
Pongamos un ejemplo; en la sección Letters de la revista Science (año 2002, número 298, página 961) se publica lo siguiente:
Retraction:
Zhenan Bao, Bertram Batlogg, Steffen Berg, Ananth Dodabalapur, Robert C. Haddon, Harold Hwang, Christian Kloc, Hong Meng, and J. Hendrik Schön.
We are writing as coauthors on the following manuscripts published in Science, which were, in part, the subject of an independent investigation conducted at the behest of Bell Laboratories, Lucent Technologies. The independent committee reviewed concerns related to the validity of data associated with the device measurements described in the papers:
  • J. H. Schön, S. Berg, Ch. Kloc, B. Batlogg, Ambipolar pentacene field-effect transistors and inverters, Science 287, 1022 (2000) (siguen 7 artículos más)
As a result of the committee's findings, we feel obligated to the scientific community to issue a retraction of the above articles. We note that although these papers may contain some legitimate ideas and contributions, we think it best to make a complete retraction.
¿Qué significa lo anterior? La carta, firmada por 9 autores, comunica a los lectores que los artículos mencionados no deben ser tenidos en cuenta y que dichos autores los dan por no válidos. Esta carta fue publicada como resultado de una investigación sobre la corrección de una serie de resultados publicados en Science y otras revistas científicas. Un resumen de dicho informe reconoce haber encontrado casos de:
  • Manipulación de datos.
  • Exactitud no creíble de datos o resultados.
  • Resultados que contradicen conocimientos actuales ya consolidados.
Añade que los datos fueron inventados o manipulados por uno solo de los firmantes (J. H. Schön) pero el resto aceptó firmar los trabajos cuando apenas habían intervenido en ellos. La consecuencia es que se hicieron corresponsables de los contenidos y quedó claramente de manifiesto su falta de ética a pesar de no haber sido los autores del fraude principal.
Este tipo de conducta no ética está presente en una parte de los trabajos científicos. Algunos llegan a pasar los filtros y ser publicados incluso en revistas de gran prestigio, como es este caso.

Taxonomía del fraude
Tipos de fraude en el proceso de creación y publicación de artículos.
Invención
Es el caso del coreano Hwang Woo-suk, que se ganó espacio en todos los diarios en el año 2004. La reseña del caso es la siguiente.
A principios de 2004 un equipo de científicos del Corea del Sur dirigido por Hwang Woo-suk anunció que había conseguido por primera vez en la historia la clonación con éxito de embriones humanos. En mayo del 2005 anunciaron que habían conseguido clonar células troncales adaptadas a una persona determinada manipulando su contenido genético para hacerlas indistinguibles de las propias de la persona en cuestión.
En diciembre de 2005 comenzaron a circular rumores de que los estudios podían haber sido falsificados y en apenas unas semanas se confirmaba que habían sido un fraude. Hwang fue suspendido de empleo y sueldo, más tarde fue despedido de la Universidad de Seúl y finalmente fue procesado en un juicio que comenzó en junio de 2006. De ahí salió con dos años de cárcel por malversar fondos públicos (470.000 euros) y comprar óvulos humanos para sus experimentos (incluidos los dos chicas de su grupo), algo que las leyes de bioética del país no permiten,
El artículo principal se publicó en Science y fue retirado unos meses después.
¿Por qué hizo Hwang esta tontería? Ha circulado la hipótesis de que Hwang creía que estaba muy cerca, apenas a unas semanas, de conseguir el éxito. Al adelantarse en la publicación de resultados falsos pasaba por delante de otro grupo coordinado por Robert Lanza que estaba muy cerca también del buscado resultado. Hwang creía que tras publicar sus resultados falsos, el otro grupo que les pisaba los talones publicaría algo similar al poco tiempo quedando la técnica validada y él a un paso del Nobel.
El problema de Hwang es que ese grupo no publicó nada y él quedó en evidencia cuando se le pidieron pruebas y protocolos.

Manipulación de datos
Las variantes de las que conozco algún ejemplo son:
  1. Los datos experimentales existen pero los autores modifican los valores con el fin de obtener un resultado favorable a la hipótesis del estudio. Hay casos donde las medidas se duplican o triplican para aumentar el tamaño muestral y conseguir así diferencias estadísticas significativas. En otros se seleccionan sólo aquellos datos que se ajustan a la hipótesis y se eliminan los discordantes.
  2. Manipulación estadística: elegir solamente aquellas pruebas estadísticas que dan resultados acordes con nuestros intereses, por ejemplo, normalizar o no los datos, elegir pruebas paramétricas o no paramétricas según los resultados.
  3. Mala interpretación o interpretación abusiva: confundir deliberadamente causalidad con correlación, sacar conclusiones generales de casos particulares…
El caso Fleischman/Pons y su fusión fría es confuso ¿fraude o exceso de optimismo al interpretar los resultados?
Plagio
Consiste en la copia de ideas o frases de otros artículos, presentándolos como trabajo propio y original sin citar la fuente. Un caso real y vigente.
A.C. y otros autores envían una comunicación a un congreso internacional titulado, pongamos, Active contours for real time applications. Mientras esperan la revisión, reciben un artículo enviado a una revista del ramo para que hagan de revisores. El artículo se titula On real time active contours y está firmado por un tal C.J., profesor asociado en una universidad de Shanghai.
El caso pasó por varias etapas:

  • A.C. denuncia el plagio pero sin enviar el PDF de su artículo que estaba sujeto a embargo.
  • Los editores no se creen del todo y argumentan que tal vez pueda llegarse a las mismas conclusiones independientemente.
  • A.C. envía el PDF del congreso señalando la ausencia de la figura 7 y lo insólito de que un chino haga estudios sobre un tema inverosímil en China y bastante normal en España.
  • Los editores escriben a C.J. pidiendo explicaciones.
  • C.J. no contesta a ninguno de los correos.
  • Aparentemente el editor no toma ninguna decisión pero A.C. no vuelve a saber más de la cuestión; es de suponer que el proceso no seguirá adelante.

Asunto pendiente para reflexionar: ¿cómo llegó el trabajo de A.C. a manos de C.J.? Como final (?) curioso, hace muy pocos días A.C. recibe un correo de un investigador chino que le pide hacer una estancia n su grupo de investigación. El sujeto es doctor y el director de su tesis es, sorprendentemente, C.J.

Ausencia de aprobación del comité ético
Este tipo de casos pueden afectar a la investigación médica y a la que usa animales en la experimentación. Las investigaciones que afectan a seres vivos deben presentar sus protocolos experimentales y ser aprobados por comisiones éticas que valoran la pertinencia de los mismos. El caso de la falsa relación entre vacunas y autismo es un ejemplo de este tipo de mala conducta y tuvo como protagonista a un médico llamado Andrew Wakefield.
En este año 2010 se retiró un artículo publicado en 1998 en The Lancet donde se relacionaba la vacuna triple vírica con el autismo en niños. Diez de los trece firmantes ya se habían desvinculado del trabajo años atrás (¿por qué habían firmado?) y los tres restantes fueron sometidos a una investigación. Sus problemas comenzaron cuando en el año 2004 un periodista se puso a investigar y denunció que los niños participantes en el estudio habían sido seleccionados por los abogados de una pareja que quería demandar a los fabricantes de la vacuna triple vírica. Estos mismos abogados también habían contratado al autor principal, Andrew Wakefield, para confirmar la relación entre la vacuna y la enfermedad.
A raíz de esas denuncias, el General Medical Council de Gran Bretaña inició una investigación cuyas conclusiones se hicieron públicas en febrero de este año 2010. Se verificaron problemas de tipo diverso que llevaron a concluir que la conducta de Wakefield había sido "deshonesta e irresponsable".
El artículo tuvo una enorme repercusión en la sociedad impulsando un movimiento antivacunación en Gran Bretaña y en los EE.UU. Llama la atención que se basa en un número de niños minúscula: doce, once de ellos varones y una chica, con edades entre los 3 y los 11 años. Se supone que estos chicos aparecieron por el servicio de gastroenterología con una historia similar: habían tenido un desarrollo normal inicial y una fuerte regresión posterior (que incluía la pérdida del lenguaje) junto con diarrea y dolores abdominales. Los niños fueron sometidos a un montón de pruebas: colonoscopias, biopsias, resonancias magnéticas, electroencefalografías, punciones lumbares...
En la investigación tras la denuncia del periodista aparecieron detalles inquietantes. Por ejemplo, en el artículo se afirma que los problemas de los niños comenzaron unos días después de recibir la vacuna, pero una revisión de los archivos del hospital reveló que varias de las familias habían comunicado los problemas antes de la fecha de vacunación. También se encontró que parte de los fondos fueron utilizados para fines diferentes de los declarados. Finalmente, se confirmó que los niños fueron sometidos a pruebas invasivas cuya justificación era dudosa y para algunas de las cuales Wakefield carecía del preceptivo permiso de la comisión de ética de su institución. Lamentablemente, la comisión investigadora también llegó a la conclusión de que Wakefield manifestó una "total indiferencia por el sufrimiento y el dolor que sabía o debería haber sabido que los niños podían sufrir" con esas pruebas.

Autoría ficticia
Los autores de una publicación científica son los que redactan el original y contribuyen sustancialmente al desarrollo de la investigación. Sin embargo es práctica común el incluir a otras personas que no cumplen estos requisitos dándose el fenómeno conocido como autoría regalada, honoraria o ficticia. El regalo de la coautoría se utiliza para recompensar algún favor, como forma de halagar a un superior, o como derecho arrogado por el jefe del departamento donde se realiza la investigación; también puede darse el intercambio reciproco de autorías en otros artículos.
Hay casos que se agravan debido a una relación laboral poco equilibrada que conlleva indefensión. Por ejemplo, un proyecto fin de carrera especialmente brillante es modificado o maquillado y presentado posteriormente por el tutor como propio (caso real).

Seguimos el próximo día con las publicaciones duplicadas (o más), con los casos de revisores no precisamente imparciales y con conflictos de intereses.

12 comentarios:

fer dijo...

Aquí un punto de vista sobre el tema:

http://www.micortacesped.com/2010/11/periodismo-cientifico.html

unnombrealazar dijo...

Entre la ignorancia estadística y la manipulación (caso real): "Mira si es complicado replicar el efecto que hemos tenido que repetir el experimento 20 veces hasta conseguir una diferencia estadísticamente significativa y poderlo publicar".

Anónimo dijo...

En mi modesta opinion, el unico problema que veo en el ejemplo del comentario anterior es la intencion de hacerlo solo "para poder publicarlo".

Si quieres dar resultados significativos a 1 sigma, pues tendras que repetir el experimento 7 veces; si a 2 sigma, pues cerca de 100, y asi sucesivamente. Esto depende *mucho* del caso y no siempre es necesario, pero como tampoco se dice de lo que se habla....

exseminarista ye-ye dijo...

Bueno, ahora estoy retirado de ese mundo, pero he visto hacer cosas que jamás imaginarías.

Salud y tal.

PabloV dijo...

con su permiso pongo un link a un post que habla del tema, para mi tiene que ver con el sistema de reparto del dinero
saludos


http://elrastaqueespecula.blogspot.com/2010/10/perlas-de-la-ciencia-capitalista.html

Ahskar dijo...

Esta serie de Post prometen ser de lo más interesantes. La verdad es que se echa de menos alguna asignatura en las carreras científicas que te introduzcan al mundo de la investigación.
Y precisamente me van a venir genial ahora que estoy iniciando mi propia carrera científica.

Pedro Terán dijo...

Buf, yo tengo un caso en el que, en cuanto no tenga nada más importante que hacer, voy a denunciar a ese ser al comité ético de su universidad. No es un caso grande ni muy espectacular pero sí que me ha dejado bastante escocido, como es lógico cuando uno es la víctima.

A ver si aprovecho la percha para contarlo en mi blog.

Alfredo Oliva dijo...

Angel, excelente post.
Lo de duplicar o triplicar el tamaño muestral no lo había oído antes. Por otra parte, creo que no sirve de mucho,ya que el tamaño del efecto no cambiará.
Un abrazo

Ángel M. Felicísimo dijo...

Alfredo, el truco de multiplicar el tamaño de muestra no incrementa las diferencias pero sí cambia el nivel de significación porque la muestra aumenta. Por poner un ejemplo: un coeficiente de correlación de 0.35 puede no ser significativo si N = 30 pero sí cuando N = 90 (no tomeis las cifras al pie de la letra, no he mirado las tablas). Sobre esto ha habido un caso real hace unos años con un asunto de selección sexual en aves pero no me acuerdo del nombre del sujeto.

Alfredo Oliva dijo...

Angel,
ya sé que cambia el nivel de significación, aunque aumenta el error tipo I. Lo que quiero decir, es que el tamaño del efecto, que marca de magnitud de la asociación entre varaibles, no aumentará por mucho que incrementemos el tamaño muestral.
Hoy día la mayoría de las revistas exigen que se incluyan no sólo los niveles de significatividad sino también los tamaños del efecto. Así, aunque la relción entre dos variables sea significativa, si el tamaño del efecto es muy reducido, no puede decirse que esa significatividad sirva de mucho.
UN abrazo

Aguafiestas dijo...

Otro caso, en organocatálisis (enlace a un pdf de Chemical & Engineering News):

http://tinyurl.com/2vd3dmp

Oí que al sujeto le habían retirado la financiación en la Universidad de Estocolmo, en la que trabaja. O incluso que lo iban a echar. Pero no estoy seguro de que sea así.

Unknown dijo...

Por desgracia el tema de la autoria ficticia es una practica bastante comun en varios grupos de investigacion que conozco. Una pena.

Grab this Widget ~ Blogger Accessories
 
º