14 noviembre 2010

Cosas sobre el fraude en la publicación científica (2)

Continuación del post con el mismo título de hace unos días. Algunos ejemplos ya fueron tratados en este blog en entradas específicas (como el de las bayas de Goji , el de Merck y el de Elsevier).

Publicación reiterada
Consiste en la publicación, en parte o en su totalidad, de un artículo ya publicado en otra u otras revistas. Como anécdota, asistí a un tesis donde el curriculum del doctorando contenía una docena de "publicaciones". Aparte del detalle de que estaban mezcladas las comunicaciones en congresos y los artículos de revistas, la materia era exactamente igual. El personaje se había paseado por medio mundo con el mismo material y había logrado colocarlo en una decena de congresos. Finalmente, consiguió también publicarlo en dos revistas no indexadas. Los títulos eran muy similares, iguales en ocasiones. Cuando le pregunté por el asunto se mostró muy sorprendido porque eso pudiera considerarse un problema ético. Lo más interesante es que creo que era sincero.
La publicación del artículo duplicado (o más) se realiza por los mismos autores y sin el conocimiento de los redactores de las revistas implicadas. Normalmente las revistas prohíben expresamente que un trabajo se envíe a revisión a dos o más revistas simultáneamente y más aún que haya sido ya publicado. Un caso más difícil de valorar es cuando un trabajo se publica en un congreso y posteriormente en una revista. En estos casos hay que verificar que la revista admite esa publicación anterior, cosa que algunas hacen y otras prohíben expresamente. Personalmente entiendo que no hay fraude si la revista está avisada de la existencia del congreso y el autor es transparente respecto a esa circunstancia con el editor. Nosotros tenemos un caso propio que se publicó inicialmente en español en una revista no indexada y luego enviamos una versión en inglés (eso sí, corregida y aumentada) a una revista internacional. El editor y los revisores estuvieron al tanto de la jugada y no hubo problemas al respecto (también se dice en el artículo expresamente).

Publicación salami
Fragmentación de lo que debería ser un único artículo en dos o más partes buscando la "unidad mínima publicable" y con ello la máxima eficacia en número de artículos. Conste que yo prefiero artículos cortos y monotemáticos. Recientemente hemos publicado uno largo y complejo (Photogrammetric Engineering & Remote Sensing, noviembre 2010) y no me apetece repetir la experiencia. Por eso justifico que un tema complicado se divida en dos o más partes, aunque solo sea para que los golpes de los revisores te lleguen del mismo lado cada vez y sean más fáciles de encajar. En cualquier caso es el editor el que debe valorar si la división en partes está justificada y deben ser publicadas independientemente.

El revisor hostil en plena faena
Publicación de mala calidad
Cara 1: la ciencia puede ser negocio.
Aceptando que no me caen nada bien, entiendo que es el caso del Wessex Institute of Technology, que se ha especializado en la organización de congresos, docenas al año y no precisamente gratis. Precios para un congreso en Alicante el próximo año (ver): tarifa normal, 1380 euros; reducida para autores, 980 euros; estudiantes no autores, 500 euros (estos sin derecho a recibir el libro del congreso). Lógicamente, si te apuntas al asunto, tendrás que añadir el desplazamiento, alojamiento, comida...
El WIT es un ejemplo de un buen negocio montado sobre la necesidad de publicar. Pero ¿cómo puede ser que con ese coste el WIT cada vez organice más congresos, año tras año? Hay un par de hipótesis. La primera es que hay autores con mucho dinero disponible, lo cual es una parte de la verdad. La segunda es que hay que publicar cueste lo que cueste, literalmente hablando, y sea lo que sea. Y eso nos lleva a la segunda cara del espectáculo.

Cara 2: la basura también es publicable.
Los trabajos valiosos, definiendo como tales a aquellos que suponen un pequeño avance en el conocimiento no son un porcentaje alto del total. En el resto abundan los trabajos que repiten técnicas ya conocidas o investigaciones ya realizadas variando los escenarios experimentales. Aportan información escasa pero no falsa. Sin embargo existen trabajos que no aportan absolutamente nada a lo ya conocido. No son fraudulentos sino simplemente muy malos y serían normalmente impublicables. En este contexto se acuñó el término spamference uniendo los términos spam y conference, una de las forma de denominar los congresos en inglés. Se trata de congresos basura que pueden tener un comité científico para selección de los trabajos pero donde, en la práctica, todos son aceptados. Explicación 1: un trabajo rechazado supone una pérdida de dinero directa porque los autores no se inscribirán. Explicación 2: ¿cómo voy a decirle a fulano, que viene representando a zutano (o al grupo X o a la universidad Y) que su trabajo es impresentable? ¿Y si se molesta? Hay ejemplos notables de esta práctica y de sus variantes. En un caso reciente (del año pasado) se celebró un congreso en España donde pagar la inscripción era una condición previa para enviar un trabajo. Probablemente se aceptaron todos. En otro caso recomendé la no publicación de dos de las cuatro comunicaciones que me enviaron a revisar porque faltaba información esencial. Sin más explicación, ambos fueron aceptados. No hace falta decir que tengo a dicho congreso (bianual) en la lista negra.

¿Qué es una publicación basura?
No sería un fraude sino simplemente eso, una basura. Una PB no aporta nada a lo ya conocido, suele estar mal elaborada, con una deficiente revisión bibliográfica, llena de citas espurias, tomadas por los pelos e incluidas sólo para rellenar el apartado de referencias. Frecuentemente la introducción y los antecedentes están copiados de otro porque cuesta trabajo hacerlos (supone un ejercicio de reflexión y síntesis). Finalmente los resultados son mínimos y la discusión inexistente.
Las PB se hacen normalmente por dos motivos: porque el autor no da para más o porque hay que publicar a toda costa ante algún acontecimiento próximo.
Como consecuencia, las spamferences están causando un grave daño a la credibilidad de los congresos y afectando a las valoraciones curriculares. De hecho, en muchas áreas los congresos no puntúan en el curriculum, sólo las publicaciones en revistas. Hay congresos realmente serios, donde incluso sólo se seleccionan veinte o treinta de los cientos de comunicaciones presentadas, en una especie de oposición donde ganan los mejores. Pero no todo es así.

Caso 3: el caso chino de revistas ad-hoc
La mayoría de los artículos publicados en las más de 5000 revistas de investigación publicadas en China no son ni citados, ni siquiera leídos, por otros científicos (chinos y no chinos). China ya es el segundo productor mundial de publicaciones (en número) tras EE.UU. Un estudio del gobierno chino ha descubierto que los artículos científicos publicados en revistas chinas tienen un grave problema: son muchos y son muy malos (la brecha entre calidad y cantidad es muy grande).

Revisores amigos y revisores hostiles
La tarea de revisar un artículo es dura por varios motivos. El primero es que hay que leerlo en profundidad, sin dejar escapar ningún detalle importante. El segundo es que probablemente tengamos que ponernos al día y leer y asimilar aún más cosas que el artículo a revisar. Lo tercero es que lleva tiempo y normalmente no lo tenemos previsto en nuestra agenda. Finalmente, tienes una responsabilidad porque estás juzgando si un autor publica o no y eso puede ser muy importante para él. Todo esto ha llevado a que los revisores escaseen y las revistas te pidan cada vez con más frecuencia que propongas tres o cuatro que puedan revisar tu trabajo. Esta práctica lleva al primer abuso en la revisión: proponer revisores que nos deben un favor (a veces el mismo) o que son amigos con el fin de obtener una evaluación positiva del trabajo.
La otra cara de la moneda son los revisores hostiles: se trata de revisores que dilatan sus informes durante meses y/o se oponen a su publicación con argumentos caprichosos o falaces.

El caso del doctor Pitufo (caso real sin resolver)
After reading the comments of Dr. Pitufo we cannot agree with the suggestion to make a new major revision of the paper by the following reasons.
Dr. Pitufo pointed out two main concerns in his 2009 revision of the paper, and recommended a major revision to address them, which at that time and according to his review, were the problems impeding its publication.
Those two issues were addressed as requested in two months, when the manuscript, greatly modified and improved thanks to his review, was returned to the journal. As requested by Dr. Pitufo, the new manuscript was greatly different from the original one (the analyses were carried out again), and a new statistical method was included (Obviously, the modifications also consider the suggestions made by the other referee).
More than a year after, Dr. Pitufo recently sent his new review, in which he does not acknowledge the changes done according to his previous review, and worst, raise totally new concerns, not exposed previously to the same paper, and again he recommends a new "major revision"; it seems as he did not realize that he had already reviewed this manuscript. We cannot agree with his decision, as some of the problems he raises are incorrect or irrelevant for the scientific value of the paper, and others are personal opinions, sometimes contradictory, again unrelated to the scientific value of the paper. We have been discussing the problems he mentions in his review (by crossing several telephone calls and e-mails) but we have reached deadlock.
This month it is 3 years since the original manuscript was sent to your journal. It has been improved substantially, thanks especially to Cr. Pitufo's review, but this paper is a clear example of that it is impossible that authors and reviewers agreed at 100% in every detail of a manuscript. Papers must be evaluated with regard the scientific value of their findings, and if they are methodologically sound, but it is not fair that their publication is delayed indefinitely by worthless, idiosyncratic details regarding the scientific value of the manuscript.
Consequently, and after doing every modification requested by the reviewers, completely rewrite the paper, answer the last comments by Dr. Pitufo (see below), and include the Editor's modifications, we would like to ask you for a decision about the publication of the paper, or if it would be finally rejected. Obviously, the manuscript still can (and ought to) be improved on request.

Conflicto de intereses
Ocurre cuando la investigación está financiada o intervenida de alguna manera por empresas o instituciones con intereses potenciales en los resultados. Por ejemplo, si una empresa farmacéutica financia un ensayo clínico de un producto propio o este es realizado por personal de la empresa. El que exista un conflicto de intereses no implica fraude pero en el artículo deben presentarse explícitamente todas las circunstancias que puedan generar sospechas sobre la limpieza en el proceso. Actualmente, casi todas las revistas obligan a rellenar y firmar un apartado sobre conflictos de intereses antes de aceptar un artículo. Por ejemplo, en PLoS ONE siempre figuran párrafos al respecto:

Funding: This work was supported by the National Natural Science Foundation of China (30970307) to S.L.C. and the National Key Technology R&D Program in the 11th Five-Year Plan of China (2007BAI27B01) to J.Y.S. The funders had no role in study design, data collection and analysis, decision to publish, or preparation of the manuscript.
Competing interests: The authors have declared that no competing interests exist.

Ejemplo 1: el caso de la bayas de goji
Los artículos sobre los benéficos efectos de las bayas de goji están monopolizados por un autor llamado Harunobu Amagase. En estos artículos, la filiación y financiación suele aparecer al final, por ejemplo:
All financial support was obtained from FreeLife International LLC in Phoenix, Arizona. The corresponding author is a member of FreeLife's Independent Scientific Advisory Board. The first author (HA) is an employee of FreeLife International. The second author (BS) performed the clinical study in China funded by FreeLife.
Entrando en la web de Freelife International (http://us.freelife.com/) vemos que está especializada en productos pseudomédicos donde, entre otros, aparecen las mencionadas bayas de goji bajo la marca registrada GoChi.

Ejemplo 2: Merck y el rofecoxib
Merck (http://www.merck.com/) es una gran empresa farmacéutica cuya fundación se remonta a 1891. Ha hecho grandes cosas como, por ejemplo, iniciar en 1987 el Mectizan Donation Program mediante el cual proporciona gratuitamente 68 millones de dosis anuales de ivermectina, el único medicamento efectivo contra la filariasis linfática y la oncocercosis, dos enfermedades producidas por gusanos parásitos que afectan a decenas de millones de personas en el mundo. Pero no todo es así.
Merck ha sido acusada de usar autores fantasma para mostrar resultados favorables a uno de sus medicamentos, un analgésico llamado rofecoxib (comercializado como Vioxx y Ceoxx). La estrategia fue omitir nombres de autores ligados a la industria farmacéutica añadiendo el de otros que, en realidad, no habían trabajado en el artículo. De esta forma, la implicación de Merck en el ensayo clínico se ocultaba. Joseph S. Ross, del Hospital Monte Sinaí, lo ha resumido contundentemente:

La idea de una compañía farmacéutica dirigiendo un ensayo clínico donde sus propios empleados lo diseñan, analizan los datos y escriben el artículo para luego, al final, contratar autores académicos para poner su nombre en el documento y dar un sello de supuesta autenticidad es algo escandaloso.
Ross es el primer autor de un trabajo donde analizaron un par de cientos de artículos relacionados con el medicamento y publicados entre 1996 y 2004. Encontraron ensayos clínicos en cuyos borradores el primer autor era un empleado de Merck. A la hora de publicarse en revistas científicas, en 16 de 20 artículos este autor desapareció de ese lugar, que fue ocupado por un académico externo. El equipo de Ross encontró "escasa evidencia" de que esos autores académicos hubieran estado realmente involucrados en la investigación que firmaban pero sí localizaron evidencia de que habían sido pagados por aceptar su autoría, frecuentemente en solitario.

Ejemplo 3: el caso de las revistas falsas
Elsevier, un mayorista de la publicación científica, ha editado siete publicaciones entre 2000 y 2005 con apariencia de revistas médicas estándar (sometidas a revisión por pares) pero que presentan una característica única: fueron patrocinadas por empresas farmacéuticas cuyo nombre se ocultó en las publicaciones.
Como ya se ha dicho, la práctica honrada es que cuando hay un potencial "conflicto de intereses" en una publicación, éste se haga público para que los lectores lo tengan presente. Aplicado al caso: si una empresa me paga por hacer un análisis sobre las bondades de uno de sus productos, independientemente de que las conclusiones sean buenas o malas, la subvención debe hacerse explícita en los artículos que se escriban. En estas revistas esto nunca se hizo.
Elsevier está llevando a cabo una "revisión interna" tras una denuncia que afectaba a la revista Australasian Journal of Bone and Joint Medicine, financiada por la empresa farmacéutica Merck y cuyos artículos y revisiones presentan, en su mayoría, datos favorables para los productos de la farmacéutica sin aclarar su patrocinio económico.
Las otras 6 publicaciones sometidas a inspección, aunque se desconocen los patrocinadores (Elsevier no ha querido dar la información), son: Australasian Journal of General Practice, Australasian Journal of Neurology, Australasian Journal of Cardiology, Australasian Journal of Clinical Pharmacy, Australasian Journal of Cardiovascular Medicine y Australasian Journal of Bone & Joint. Como puede verse, todos los casos se han producido con revistas editadas en Australia.
En el caso de la revista pagada por Merck, que ya ha dejado de publicarse, los números contienen solamente reimpresiones de artículos o resúmenes, sin que aparezcan artículos originales ni menciones a la financiación. La impresión que da es, claramente, de una estrategia de propaganda. The Scientist señala que obtuvo dos ejemplares de la revista. De los 21 artículos del primer número, 4 se refieren a un medicamento llamado Fosamax. En el segundo, 9 de 29 son sobre Vioxx y 12 más sobre Fosamax. Vioxx fue retirado por Merck debido a sospechas sobre problemas cardiovasculares.
Algunos de los artículos "de revisión" sólo tienen una o dos referencias con lo que se vio que se trataba en realidad de resúmenes y no de auténticas revisiones del estado de la cuestión.

Para finalizar: el problema de la detección del fraude
La detección del fraude es difícil en el contexto de la publicación actual por varios motivos, entre los cuales destacaría los siguientes.
  • los revisores de los artículos no se plantean si los datos son reales o no: se supone que lo son. Sólo se proponen revisar las novedades del artículo, lo adecuado de la metodología, lo correcto de las conclusiones...
  • algunos revisores pasan bastante de su tarea y no examinan a fondo los trabajos que les llegan, lo que facilita que no se publiquen solamente los buenos trabajos.
  • los tramposos existen y existirán porque de las publicaciones se deriva la promoción profesional, la financiación y el prestigio.
  • los trabajos científicos han llegado a un grado de sofisticación elevado de forma que ningún revisor puede detectar el fraude a primera vista si el artículo está bien cocinado técnicamente.
Por ejemplo, si aparecen unas fotografías de electroforesis en gel como las de la figura de arriba, el revisor no puede saber si reflejan realmente los resultados de la prueba; ni siquiera puede saber si el aparato estaba correctamente calibrado, si los "gusanitos" de gel no estaban contaminados o caducados, si las condiciones ambientales de la prueba eran las correctas... Por defecto, y no hay otra posibilidad, supondrá que todo estaba bien.

8 comentarios:

Pedro Terán dijo...

Muy buena entrada, Ángel.

BLAS BENITO dijo...

Hola Ángel,

un enlace interesante sobre este asunto, aunque está sesgado hacia ciencias biomédicas: http://www.newscientist.com/blogs/shortsharpscience/2010/11/are-us-scientists-really-resea.html

Un saludo

Orayo dijo...

Gran trabajo.

Oscar dijo...

Felicidades. Estupendo análisis de la problemática y un gran ejercicio de responsabilidad y salud científica.
Esperemos que los actuales formadores y investigadores sepan inculcar la ética de la investigación en sus alumnos y colaboradores.

El Editor dijo...

Lei los dos artículos, muy buenos.
Más científicos deberían denunciar estos casos.
Hay otra actitud que también aporta a que se desarrollen los fraudes: los que nos quedamos callados en los congresos cuando se presenta un trabajo espantoso. Yo ya me cansé y en esos casos soy particularmente virulento, porque no es justo que te hagan perder tiempo prestando atención a bobadas. Si pasa en el congreso cara a cara queda abierta la puerta para que se publique.
Por otro lado, es reconfortante que los fraudes científicos siempre se descubren en ámbitos científicos, lo que da esperanza que algo funciona bien.
Estos artículos me inspiran en escribir dos casos de fraude en los que fui perjudicado, en mi blog porque la historia es larga.

Eva dijo...

Muy bueno, Ángel.
Lo peor de este asunto no es que vaya a seguir existiendo, sino que irá a más.
¿Se te ocurre cuál podría ser la manera de evitar el fraude científico?

Ahí dejo un editorial sobre el tema:
The ignoble art of cheating in scientific publications. Water Research 39 (2005) 1-2.

Saludos,

Eva

Angel dijo...

Eva, lamentablemente no se me ocurre nada nuevo para evitar o reducir el fraude. Como dice el Editor, el sistema funciona razonablemente bien porque, al ser la ciencia una red interconectada, todo fraude de importancia se acaba descubriendo aunque a veces muy tarde.
Alguna medida podría implantarse para reducir la presión de publicar y para que pesara más la calidad que la cantidad pero ¿quién le pone el cascabel al gato?

Numeros dijo...

En mi opinión uno de los más graves, y coincido con Patricia, es el de la autoría ficticia. Por dos motivos, es un fraude socialmente aceptado.
En segundo lugar, cuando alguien se niega a participar en él, es sistemáticamente apartado del grupo, ya que no sabe trabajar en equipo y como consecuencia cuando solicita sexenios o demás complementos no obtiene una miércoles porque su producción científica es escasa.

Con lo fácil que sería multiplicar en todas las evaluaciones por peso de la forma:

1 autor -> 1
2 o 3 -> 1/n
4 o más -> 0.1

En principio desconfío de todos aquellos artículos que lo firmen más de tres personas. Dan la impresión de que han puesto hasta el que llevaba el café.

Grab this Widget ~ Blogger Accessories
 
º