Repelentes de mosquitos por ultrasonidos: inútiles

Me entero a través de Genciencia que existe un informe titulado Repelentes electrónicos de mosquitos para la prevención de las picaduras de mosquitos y la infección del paludismo, donde se ha analizado la eficacia de dichos dispositivos.
Si sólo estuviéramos hablando de nuestra comodidad en los países del primer mundo (por ahora), el análisis serían interesante pero no tendría mayores consecuencias que las puramente económicas. Sin embargo, tendemos a olvidar que los mosquitos son vectores de muchas enfermedades con enorme influencia en la población de los trópicos. Una de ellas, el paludismo, es trasmitida únicamente por los mosquitos del género Anopheles y los datos de la OMS para el año 2008 señalan 247 millones de casos conocidos con un millón de muertes.
La lucha contra esta enfermedad se realiza en varios frentes pero la aparición de resistencia a los medicamentos (artemisinina, cloroquina y la sulfadoxina-pirimetamina) augura un futuro oscuro ya que no hay antipalúdicos alternativos.
Por este motivo, cualquier nuevo medio de afrontar la enfermedad es muy valioso. Desde hace años se están usando mosquiteras tratadas con insecticidas de larga duración y la fumigación de interiores que, por suerte, son relativamente eficaces aunque su uso prolongado requiere una costosa labor permanente de acción social.
Los repelentes basados en ultrasonidos (repelentes electrónicos de mosquitos, REM) se han comercializado para prevenir las picaduras de los mosquitos y podrían ser un arma complementaria para esta enfermedad pandémica. También, por qué no, podrían quitarnos a los que vivimos fuera del área de influencia, las molestas ronchas que provocan los picotazos de estos bichos.

El estudio que se ha hecho público es un metaanálisis que busca aclarar qué evidencia existe sobre la eficacia de los REM más allá de las meras afirmaciones de sus fabricantes. Tras una búsqueda bibliográfica, se analizaron los 10 estudios que pasaron los filtros de calidad y fueron rechazados otros ocho. De los diez, ocho trabajos incluían mosquitos de los géneros Aedes, Culex, Culiseta y Mansonia (análisis en Norteamérica y Rusia) y en los otros dos entraron los Anopheles.
Los resultados son claros:

No hubo pruebas en los estudios de campo que apoyen algún efecto repelente de los REM, en consecuencia, no hay pruebas para apoyar su promoción o uso. No se propone realizar ensayos controlados aleatorios futuros porque no hubo ninguna indicación en los estudios de campo de que los REM muestren alguna promesa de que sean una medida preventiva contra el paludismo.

Los REM pasan así al mismo grupo de productos fraudulentos que las bolas de lavar, las pulseras biomagnéticas y chorradas similares aunque, en principio, sus bases podían ser algo más sólidas. Tomemos nota de que cuando compremos un artilugio de estos estamos tirando el dinero. Como dicen en las conclusiones del trabajo:

Los REM no son efectivos para repeler los mosquitos y no deben recomendarse o usarse.

Foto de smccann (Creative Commons, Flickr)

Engaños y ocultamientos

Hay un blog llamado CO2 del que es autor Antón Uriarte y en el que todos los posts están dedicados a desacreditar la hipótesis del cambio climático, a veces zurrándole a la propia realidad del cambio, a veces solamente al origen antrópico del mismo. Eso está bien ya que es interesante que haya aportaciones de todos los lados del debate. El problema viene cuando la información que se presenta parece haber sido elegida deliberadamente para que confirme lo que al autor le interesa, ocultando otra que no es tan favorable.
Recientemente se han publicado en CO2 dos breves posts para mostrar: a) que los inviernos actuales en España no son más cálidos que en décadas pasadas y b) que las lluvias en el Sahel son hoy más abundantes que en décadas pasadas. Ninguna de ambas afirmaciones es necesariamente sorprendente pero hay que reconocer que son de difícil digestión  para los que apoyan que el cambio climático está sucediendo ya y que se está reflejando en un calentamiento generalizado en la Península Ibérica. Pero ¿es correcto ese dato? Como no tengo mucho tiempo, hoy voy a comentarles solamente el primer caso. Dice don Antón:

Desde hace 40 años la temperatura media de los inviernos en España (Diciembre-Enero-Febrero) no muestra ninguna tendencia, a pesar de que la concentración de CO2 haya pasado globalmente de unas 320 ppm a unas 390 ppm (partes por millón).

Para avalar la afirmación muestra una figura y enlaza a un informe de la AEMET (Agencia Estatal de Meteorología). La figura es:

Temperaturas medias del invierno en España desde 1971 hasta 2009.

donde se ve, en efecto, que la temperatura media desde 1971 hasta el 2009 oscila entre los 6 y los 10 ºC sin una aparente tendencia.
Estos datos me interesaron y dado que se trataba del informe de sólo una estación busqué por si encontraba los de las otras tres. El resultado es que están disponibles los de primavera y los de verano ya que el otoño de 2010 aún no ha terminado. Hay informes de años anteriores pero no tienen un gráfico equivalente al de arriba (pueden localizarlos todos aquí).
¿Por qué don Antón no nos puso en su post los gráficos de primavera y de verano? ¿Por qué puso el enlace solamente al PDF del invierno y no a la página donde están todos los informes?
A lo mejor eran redundantes y bastaba con el del invierno, quién sabe. Yo sí voy a traerles toda la información, a ver si notan algo:

Temperaturas medias de primavera en España desde 1971 hasta 2009.

Temperaturas medias de verano en España desde 1971 hasta 2009

Aunque los gráficos no son muy afortunados (escalas diferentes, origen en cero grados...), da la sensación de que en estos dos casos sí hay una tendencia a la subida, más clara en primavera que en verano. Como reconozco que evaluarlo así, a ojo, no es un método objetivo, me han pasado (gracias R) los gráficos a cifras con lo que obtenemos lo siguiente (b es la pendiente de la recta de regresión y P es la significación estadística de esa pendiente):

• invierno: b = 0,014; P = 0,270
• primavera: b = 0,069; P < 0,001
• verano: b = 0,069; P < 0,001

Es decir, que don Antón tiene razón cuando dice que no hay tendencia en las temperaturas medias de los inviernos pero nos ocultó los dos informes de primavera y verano donde dicha tendencia es creciente y estadísticamente muy significativa ¿vale engañar?
Finalmente, tampoco suponía un gasto excesivo ponernos un resumen anual, en vez de estacional. En este caso, el informe nos muestra una figura con las desviaciones desde 1961 respecto al periodo de referencia 1971-2000, a saber:

Desviaciones de la temperatura media anual respecto a la media de 1971-2000.

Está claro ¿verdad? Independientemente de la escala del eje vertical, que podemos exagerar para hacer más o menos espectaculares los cambios, la relación es visible, permítanme que no haga números aquí. ¿Es algo coyuntural o es un reflejo del cambio climático? No lo sé pero sí recuerdo que ocultar la información que no nos conviene es uno de los tipos de fraude científico que les comenté unos días atrás en los posts dedicados a ese tema aquí y aquí.

Nota: las temperaturas medias no son un buen indicador de casi nada y cuando se trata conjuntamente un país como el nuestro, extenso y con zonas climáticamente muy diferentes, aún menos. Los análisis de cambio climático deben hacerse teniendo en cuenta el espacio, ya que las variaciones no son iguales en todas las zonas. Asimismo, en mi opinión, es preferible trabajar con las temperaturas mínimas y máximas por separado ya que son las que realmente se miden en muchas estaciones. Las temperaturas medias no suelen ser realmente medias sino una media entre máximas y mínimas, que no es lo mismo.

Cosas sobre el fraude en la publicación científica (2)

Continuación del post con el mismo título de hace unos días. Algunos ejemplos ya fueron tratados en este blog en entradas específicas (como el de las bayas de Goji , el de Merck y el de Elsevier).

Publicación reiterada
Consiste en la publicación, en parte o en su totalidad, de un artículo ya publicado en otra u otras revistas. Como anécdota, asistí a un tesis donde el curriculum del doctorando contenía una docena de "publicaciones". Aparte del detalle de que estaban mezcladas las comunicaciones en congresos y los artículos de revistas, la materia era exactamente igual. El personaje se había paseado por medio mundo con el mismo material y había logrado colocarlo en una decena de congresos. Finalmente, consiguió también publicarlo en dos revistas no indexadas. Los títulos eran muy similares, iguales en ocasiones. Cuando le pregunté por el asunto se mostró muy sorprendido porque eso pudiera considerarse un problema ético. Lo más interesante es que creo que era sincero.
La publicación del artículo duplicado (o más) se realiza por los mismos autores y sin el conocimiento de los redactores de las revistas implicadas. Normalmente las revistas prohíben expresamente que un trabajo se envíe a revisión a dos o más revistas simultáneamente y más aún que haya sido ya publicado. Un caso más difícil de valorar es cuando un trabajo se publica en un congreso y posteriormente en una revista. En estos casos hay que verificar que la revista admite esa publicación anterior, cosa que algunas hacen y otras prohíben expresamente. Personalmente entiendo que no hay fraude si la revista está avisada de la existencia del congreso y el autor es transparente respecto a esa circunstancia con el editor. Nosotros tenemos un caso propio que se publicó inicialmente en español en una revista no indexada y luego enviamos una versión en inglés (eso sí, corregida y aumentada) a una revista internacional. El editor y los revisores estuvieron al tanto de la jugada y no hubo problemas al respecto (también se dice en el artículo expresamente).

Publicación salami
Fragmentación de lo que debería ser un único artículo en dos o más partes buscando la "unidad mínima publicable" y con ello la máxima eficacia en número de artículos. Conste que yo prefiero artículos cortos y monotemáticos. Recientemente hemos publicado uno largo y complejo (Photogrammetric Engineering & Remote Sensing, noviembre 2010) y no me apetece repetir la experiencia. Por eso justifico que un tema complicado se divida en dos o más partes, aunque solo sea para que los golpes de los revisores te lleguen del mismo lado cada vez y sean más fáciles de encajar. En cualquier caso es el editor el que debe valorar si la división en partes está justificada y deben ser publicadas independientemente.

El revisor hostil en plena faena

Publicación de mala calidad
Cara 1: la ciencia puede ser negocio.
Aceptando que no me caen nada bien, entiendo que es el caso del Wessex Institute of Technology, que se ha especializado en la organización de congresos, docenas al año y no precisamente gratis. Precios para un congreso en Alicante el próximo año (ver): tarifa normal, 1380 euros; reducida para autores, 980 euros; estudiantes no autores, 500 euros (estos sin derecho a recibir el libro del congreso). Lógicamente, si te apuntas al asunto, tendrás que añadir el desplazamiento, alojamiento, comida...
El WIT es un ejemplo de un buen negocio montado sobre la necesidad de publicar. Pero ¿cómo puede ser que con ese coste el WIT cada vez organice más congresos, año tras año? Hay un par de hipótesis. La primera es que hay autores con mucho dinero disponible, lo cual es una parte de la verdad. La segunda es que hay que publicar cueste lo que cueste, literalmente hablando, y sea lo que sea. Y eso nos lleva a la segunda cara del espectáculo.

Cara 2: la basura también es publicable.
Los trabajos valiosos, definiendo como tales a aquellos que suponen un pequeño avance en el conocimiento no son un porcentaje alto del total. En el resto abundan los trabajos que repiten técnicas ya conocidas o investigaciones ya realizadas variando los escenarios experimentales. Aportan información escasa pero no falsa. Sin embargo existen trabajos que no aportan absolutamente nada a lo ya conocido. No son fraudulentos sino simplemente muy malos y serían normalmente impublicables. En este contexto se acuñó el término spamference uniendo los términos spam y conference, una de las forma de denominar los congresos en inglés. Se trata de congresos basura que pueden tener un comité científico para selección de los trabajos pero donde, en la práctica, todos son aceptados. Explicación 1: un trabajo rechazado supone una pérdida de dinero directa porque los autores no se inscribirán. Explicación 2: ¿cómo voy a decirle a fulano, que viene representando a zutano (o al grupo X o a la universidad Y) que su trabajo es impresentable? ¿Y si se molesta? Hay ejemplos notables de esta práctica y de sus variantes. En un caso reciente (del año pasado) se celebró un congreso en España donde pagar la inscripción era una condición previa para enviar un trabajo. Probablemente se aceptaron todos. En otro caso recomendé la no publicación de dos de las cuatro comunicaciones que me enviaron a revisar porque faltaba información esencial. Sin más explicación, ambos fueron aceptados. No hace falta decir que tengo a dicho congreso (bianual) en la lista negra.

¿Qué es una publicación basura?
No sería un fraude sino simplemente eso, una basura. Una PB no aporta nada a lo ya conocido, suele estar mal elaborada, con una deficiente revisión bibliográfica, llena de citas espurias, tomadas por los pelos e incluidas sólo para rellenar el apartado de referencias. Frecuentemente la introducción y los antecedentes están copiados de otro porque cuesta trabajo hacerlos (supone un ejercicio de reflexión y síntesis). Finalmente los resultados son mínimos y la discusión inexistente.
Las PB se hacen normalmente por dos motivos: porque el autor no da para más o porque hay que publicar a toda costa ante algún acontecimiento próximo.
Como consecuencia, las spamferences están causando un grave daño a la credibilidad de los congresos y afectando a las valoraciones curriculares. De hecho, en muchas áreas los congresos no puntúan en el curriculum, sólo las publicaciones en revistas. Hay congresos realmente serios, donde incluso sólo se seleccionan veinte o treinta de los cientos de comunicaciones presentadas, en una especie de oposición donde ganan los mejores. Pero no todo es así.

Caso 3: el caso chino de revistas ad-hoc
La mayoría de los artículos publicados en las más de 5000 revistas de investigación publicadas en China no son ni citados, ni siquiera leídos, por otros científicos (chinos y no chinos). China ya es el segundo productor mundial de publicaciones (en número) tras EE.UU. Un estudio del gobierno chino ha descubierto que los artículos científicos publicados en revistas chinas tienen un grave problema: son muchos y son muy malos (la brecha entre calidad y cantidad es muy grande).

Revisores amigos y revisores hostiles
La tarea de revisar un artículo es dura por varios motivos. El primero es que hay que leerlo en profundidad, sin dejar escapar ningún detalle importante. El segundo es que probablemente tengamos que ponernos al día y leer y asimilar aún más cosas que el artículo a revisar. Lo tercero es que lleva tiempo y normalmente no lo tenemos previsto en nuestra agenda. Finalmente, tienes una responsabilidad porque estás juzgando si un autor publica o no y eso puede ser muy importante para él. Todo esto ha llevado a que los revisores escaseen y las revistas te pidan cada vez con más frecuencia que propongas tres o cuatro que puedan revisar tu trabajo. Esta práctica lleva al primer abuso en la revisión: proponer revisores que nos deben un favor (a veces el mismo) o que son amigos con el fin de obtener una evaluación positiva del trabajo.
La otra cara de la moneda son los revisores hostiles: se trata de revisores que dilatan sus informes durante meses y/o se oponen a su publicación con argumentos caprichosos o falaces.

El caso del doctor Pitufo (caso real sin resolver)
After reading the comments of Dr. Pitufo we cannot agree with the suggestion to make a new major revision of the paper by the following reasons.
Dr. Pitufo pointed out two main concerns in his 2009 revision of the paper, and recommended a major revision to address them, which at that time and according to his review, were the problems impeding its publication.
Those two issues were addressed as requested in two months, when the manuscript, greatly modified and improved thanks to his review, was returned to the journal. As requested by Dr. Pitufo, the new manuscript was greatly different from the original one (the analyses were carried out again), and a new statistical method was included (Obviously, the modifications also consider the suggestions made by the other referee).
More than a year after, Dr. Pitufo recently sent his new review, in which he does not acknowledge the changes done according to his previous review, and worst, raise totally new concerns, not exposed previously to the same paper, and again he recommends a new "major revision"; it seems as he did not realize that he had already reviewed this manuscript. We cannot agree with his decision, as some of the problems he raises are incorrect or irrelevant for the scientific value of the paper, and others are personal opinions, sometimes contradictory, again unrelated to the scientific value of the paper. We have been discussing the problems he mentions in his review (by crossing several telephone calls and e-mails) but we have reached deadlock.
This month it is 3 years since the original manuscript was sent to your journal. It has been improved substantially, thanks especially to Cr. Pitufo's review, but this paper is a clear example of that it is impossible that authors and reviewers agreed at 100% in every detail of a manuscript. Papers must be evaluated with regard the scientific value of their findings, and if they are methodologically sound, but it is not fair that their publication is delayed indefinitely by worthless, idiosyncratic details regarding the scientific value of the manuscript.
Consequently, and after doing every modification requested by the reviewers, completely rewrite the paper, answer the last comments by Dr. Pitufo (see below), and include the Editor's modifications, we would like to ask you for a decision about the publication of the paper, or if it would be finally rejected. Obviously, the manuscript still can (and ought to) be improved on request.

Conflicto de intereses
Ocurre cuando la investigación está financiada o intervenida de alguna manera por empresas o instituciones con intereses potenciales en los resultados. Por ejemplo, si una empresa farmacéutica financia un ensayo clínico de un producto propio o este es realizado por personal de la empresa. El que exista un conflicto de intereses no implica fraude pero en el artículo deben presentarse explícitamente todas las circunstancias que puedan generar sospechas sobre la limpieza en el proceso. Actualmente, casi todas las revistas obligan a rellenar y firmar un apartado sobre conflictos de intereses antes de aceptar un artículo. Por ejemplo, en PLoS ONE siempre figuran párrafos al respecto:

Funding: This work was supported by the National Natural Science Foundation of China (30970307) to S.L.C. and the National Key Technology R&D Program in the 11th Five-Year Plan of China (2007BAI27B01) to J.Y.S. The funders had no role in study design, data collection and analysis, decision to publish, or preparation of the manuscript.

Competing interests: The authors have declared that no competing interests exist.

Ejemplo 1: el caso de la bayas de goji
Los artículos sobre los benéficos efectos de las bayas de goji están monopolizados por un autor llamado Harunobu Amagase. En estos artículos, la filiación y financiación suele aparecer al final, por ejemplo:

All financial support was obtained from FreeLife International LLC in Phoenix, Arizona. The corresponding author is a member of FreeLife's Independent Scientific Advisory Board. The first author (HA) is an employee of FreeLife International. The second author (BS) performed the clinical study in China funded by FreeLife.

Entrando en la web de Freelife International (http://us.freelife.com/) vemos que está especializada en productos pseudomédicos donde, entre otros, aparecen las mencionadas bayas de goji bajo la marca registrada GoChi.

Ejemplo 2: Merck y el rofecoxib
Merck (http://www.merck.com/) es una gran empresa farmacéutica cuya fundación se remonta a 1891. Ha hecho grandes cosas como, por ejemplo, iniciar en 1987 el Mectizan Donation Program mediante el cual proporciona gratuitamente 68 millones de dosis anuales de ivermectina, el único medicamento efectivo contra la filariasis linfática y la oncocercosis, dos enfermedades producidas por gusanos parásitos que afectan a decenas de millones de personas en el mundo. Pero no todo es así.
Merck ha sido acusada de usar autores fantasma para mostrar resultados favorables a uno de sus medicamentos, un analgésico llamado rofecoxib (comercializado como Vioxx y Ceoxx). La estrategia fue omitir nombres de autores ligados a la industria farmacéutica añadiendo el de otros que, en realidad, no habían trabajado en el artículo. De esta forma, la implicación de Merck en el ensayo clínico se ocultaba. Joseph S. Ross, del Hospital Monte Sinaí, lo ha resumido contundentemente:

La idea de una compañía farmacéutica dirigiendo un ensayo clínico donde sus propios empleados lo diseñan, analizan los datos y escriben el artículo para luego, al final, contratar autores académicos para poner su nombre en el documento y dar un sello de supuesta autenticidad es algo escandaloso.
Ross es el primer autor de un trabajo donde analizaron un par de cientos de artículos relacionados con el medicamento y publicados entre 1996 y 2004. Encontraron ensayos clínicos en cuyos borradores el primer autor era un empleado de Merck. A la hora de publicarse en revistas científicas, en 16 de 20 artículos este autor desapareció de ese lugar, que fue ocupado por un académico externo. El equipo de Ross encontró "escasa evidencia" de que esos autores académicos hubieran estado realmente involucrados en la investigación que firmaban pero sí localizaron evidencia de que habían sido pagados por aceptar su autoría, frecuentemente en solitario.

Ejemplo 3: el caso de las revistas falsas
Elsevier, un mayorista de la publicación científica, ha editado siete publicaciones entre 2000 y 2005 con apariencia de revistas médicas estándar (sometidas a revisión por pares) pero que presentan una característica única: fueron patrocinadas por empresas farmacéuticas cuyo nombre se ocultó en las publicaciones.
Como ya se ha dicho, la práctica honrada es que cuando hay un potencial "conflicto de intereses" en una publicación, éste se haga público para que los lectores lo tengan presente. Aplicado al caso: si una empresa me paga por hacer un análisis sobre las bondades de uno de sus productos, independientemente de que las conclusiones sean buenas o malas, la subvención debe hacerse explícita en los artículos que se escriban. En estas revistas esto nunca se hizo.
Elsevier está llevando a cabo una "revisión interna" tras una denuncia que afectaba a la revista Australasian Journal of Bone and Joint Medicine, financiada por la empresa farmacéutica Merck y cuyos artículos y revisiones presentan, en su mayoría, datos favorables para los productos de la farmacéutica sin aclarar su patrocinio económico.
Las otras 6 publicaciones sometidas a inspección, aunque se desconocen los patrocinadores (Elsevier no ha querido dar la información), son: Australasian Journal of General Practice, Australasian Journal of Neurology, Australasian Journal of Cardiology, Australasian Journal of Clinical Pharmacy, Australasian Journal of Cardiovascular Medicine y Australasian Journal of Bone & Joint. Como puede verse, todos los casos se han producido con revistas editadas en Australia.
En el caso de la revista pagada por Merck, que ya ha dejado de publicarse, los números contienen solamente reimpresiones de artículos o resúmenes, sin que aparezcan artículos originales ni menciones a la financiación. La impresión que da es, claramente, de una estrategia de propaganda. The Scientist señala que obtuvo dos ejemplares de la revista. De los 21 artículos del primer número, 4 se refieren a un medicamento llamado Fosamax. En el segundo, 9 de 29 son sobre Vioxx y 12 más sobre Fosamax. Vioxx fue retirado por Merck debido a sospechas sobre problemas cardiovasculares.
Algunos de los artículos "de revisión" sólo tienen una o dos referencias con lo que se vio que se trataba en realidad de resúmenes y no de auténticas revisiones del estado de la cuestión.

Para finalizar: el problema de la detección del fraude
La detección del fraude es difícil en el contexto de la publicación actual por varios motivos, entre los cuales destacaría los siguientes.

• los revisores de los artículos no se plantean si los datos son reales o no: se supone que lo son. Sólo se proponen revisar las novedades del artículo, lo adecuado de la metodología, lo correcto de las conclusiones...
• algunos revisores pasan bastante de su tarea y no examinan a fondo los trabajos que les llegan, lo que facilita que no se publiquen solamente los buenos trabajos.
  
• los tramposos existen y existirán porque de las publicaciones se deriva la promoción profesional, la financiación y el prestigio.
  
• los trabajos científicos han llegado a un grado de sofisticación elevado de forma que ningún revisor puede detectar el fraude a primera vista si el artículo está bien cocinado técnicamente.
  

Por ejemplo, si aparecen unas fotografías de electroforesis en gel como las de la figura de arriba, el revisor no puede saber si reflejan realmente los resultados de la prueba; ni siquiera puede saber si el aparato estaba correctamente calibrado, si los "gusanitos" de gel no estaban contaminados o caducados, si las condiciones ambientales de la prueba eran las correctas... Por defecto, y no hay otra posibilidad, supondrá que todo estaba bien.

Cosas sobre el fraude en la publicación científica

Un post en Amazings me ha animado a publicar una serie de articulillos sobre la publicación científica y sus aledaños, incluyendo el fraude, las búsquedas bibliográficas y cosas así. Los textos están adaptados de una asignatura de libre elección que decidí preparar hace unos pocos años para contar aquello que a mí me hubiera gustado que me contaran en la carrera y que me hubiera facilitado un poco las cosas más adelante. El post de hoy va de fraude. En otros momentos seguiremos con temas diferentes.
Actualmente existe una necesidad creciente de publicar para mantenerse en el empleo, ganar prestigio o acceder a puestos superiores en el escalafón universitario. Aunque debemos suponer que la inmensa mayoría de la producción científica está generada por gente honrada, es relativamente frecuente el descubrimiento de fraudes de mayor o menor gravedad.
Los fraudes en las publicaciones son normalmente discretos aunque existen casos especialmente graves. Ejemplos con descaro creciente:

• el "leve" retoque del dato inconveniente que molesta porque no confirma la hipótesis; no se inventa nada pero se quita aquello que estorba.
• la ocultación de información estadística relevante que debería darse para saber si los resultados son realmente consistentes; por ejemplo, el tamaño de la muestra, los intervalos de confianza para los estadísticos...
• la invención de datos para conseguir un resultado al que no se puede llegar a tiempo.

¿Cómo se pueden llegar a publicar artículos falseados? ¿No se supone que hay filtros para evitar el fraude? Yo creo que la clave está en quién hace la trampa y sobre qué. A los tramposos podemos dividirlos a grandes rasgos en dos grandes grupos: los malos y los buenos.
A los malos (cutres) se les nota porque el arroz está poco hecho o se les ha pasado. Normalmente saben poca estadística y un revisor atento puede notar que su trabajo huele mal porque los datos y los análisis son, en menor o mayor medida, inverosímiles. Los “buenos” son otra cosa. Sus recetas son tan buenas que sólo cuando otros equipos se ponen a repetirlas aparece el problema: nadie es capaz de llegar a sus resultados.
Lo del tema va por otro lado: cuando el trabajo es irrelevante el fraude no se detecta porque no le interesa a nadie. Aunque el trabajo queda escrito para siempre, poca gente lo revisará y menos aún, probablemente nadie, le dará importancia. En cambio, cuando el tema es importante es irremediable que el fraude se note más bien temprano que tarde.

Hwang Woo-Suk en épocas felices

Pongamos un ejemplo; en la sección Letters de la revista Science (año 2002, número 298, página 961) se publica lo siguiente:

Retraction:
Zhenan Bao, Bertram Batlogg, Steffen Berg, Ananth Dodabalapur, Robert C. Haddon, Harold Hwang, Christian Kloc, Hong Meng, and J. Hendrik Schön.
We are writing as coauthors on the following manuscripts published in Science, which were, in part, the subject of an independent investigation conducted at the behest of Bell Laboratories, Lucent Technologies. The independent committee reviewed concerns related to the validity of data associated with the device measurements described in the papers:

• J. H. Schön, S. Berg, Ch. Kloc, B. Batlogg, Ambipolar pentacene field-effect transistors and inverters, Science 287, 1022 (2000) (siguen 7 artículos más)

As a result of the committee's findings, we feel obligated to the scientific community to issue a retraction of the above articles. We note that although these papers may contain some legitimate ideas and contributions, we think it best to make a complete retraction.

¿Qué significa lo anterior? La carta, firmada por 9 autores, comunica a los lectores que los artículos mencionados no deben ser tenidos en cuenta y que dichos autores los dan por no válidos. Esta carta fue publicada como resultado de una investigación sobre la corrección de una serie de resultados publicados en Science y otras revistas científicas. Un resumen de dicho informe reconoce haber encontrado casos de:

• Manipulación de datos.
• Exactitud no creíble de datos o resultados.
• Resultados que contradicen conocimientos actuales ya consolidados.

Añade que los datos fueron inventados o manipulados por uno solo de los firmantes (J. H. Schön) pero el resto aceptó firmar los trabajos cuando apenas habían intervenido en ellos. La consecuencia es que se hicieron corresponsables de los contenidos y quedó claramente de manifiesto su falta de ética a pesar de no haber sido los autores del fraude principal.
Este tipo de conducta no ética está presente en una parte de los trabajos científicos. Algunos llegan a pasar los filtros y ser publicados incluso en revistas de gran prestigio, como es este caso.

Taxonomía del fraude
Tipos de fraude en el proceso de creación y publicación de artículos.
Invención
Es el caso del coreano Hwang Woo-suk, que se ganó espacio en todos los diarios en el año 2004. La reseña del caso es la siguiente.
A principios de 2004 un equipo de científicos del Corea del Sur dirigido por Hwang Woo-suk anunció que había conseguido por primera vez en la historia la clonación con éxito de embriones humanos. En mayo del 2005 anunciaron que habían conseguido clonar células troncales adaptadas a una persona determinada manipulando su contenido genético para hacerlas indistinguibles de las propias de la persona en cuestión.
En diciembre de 2005 comenzaron a circular rumores de que los estudios podían haber sido falsificados y en apenas unas semanas se confirmaba que habían sido un fraude. Hwang fue suspendido de empleo y sueldo, más tarde fue despedido de la Universidad de Seúl y finalmente fue procesado en un juicio que comenzó en junio de 2006. De ahí salió con dos años de cárcel por malversar fondos públicos (470.000 euros) y comprar óvulos humanos para sus experimentos (incluidos los dos chicas de su grupo), algo que las leyes de bioética del país no permiten,
El artículo principal se publicó en Science y fue retirado unos meses después.
¿Por qué hizo Hwang esta tontería? Ha circulado la hipótesis de que Hwang creía que estaba muy cerca, apenas a unas semanas, de conseguir el éxito. Al adelantarse en la publicación de resultados falsos pasaba por delante de otro grupo coordinado por Robert Lanza que estaba muy cerca también del buscado resultado. Hwang creía que tras publicar sus resultados falsos, el otro grupo que les pisaba los talones publicaría algo similar al poco tiempo quedando la técnica validada y él a un paso del Nobel.
El problema de Hwang es que ese grupo no publicó nada y él quedó en evidencia cuando se le pidieron pruebas y protocolos.

Manipulación de datos
Las variantes de las que conozco algún ejemplo son:

1. Los datos experimentales existen pero los autores modifican los valores con el fin de obtener un resultado favorable a la hipótesis del estudio. Hay casos donde las medidas se duplican o triplican para aumentar el tamaño muestral y conseguir así diferencias estadísticas significativas. En otros se seleccionan sólo aquellos datos que se ajustan a la hipótesis y se eliminan los discordantes.
2. Manipulación estadística: elegir solamente aquellas pruebas estadísticas que dan resultados acordes con nuestros intereses, por ejemplo, normalizar o no los datos, elegir pruebas paramétricas o no paramétricas según los resultados.
3. Mala interpretación o interpretación abusiva: confundir deliberadamente causalidad con correlación, sacar conclusiones generales de casos particulares…

El caso Fleischman/Pons y su fusión fría es confuso ¿fraude o exceso de optimismo al interpretar los resultados?

Plagio
Consiste en la copia de ideas o frases de otros artículos, presentándolos como trabajo propio y original sin citar la fuente. Un caso real y vigente.
A.C. y otros autores envían una comunicación a un congreso internacional titulado, pongamos, Active contours for real time applications. Mientras esperan la revisión, reciben un artículo enviado a una revista del ramo para que hagan de revisores. El artículo se titula On real time active contours y está firmado por un tal C.J., profesor asociado en una universidad de Shanghai.
El caso pasó por varias etapas:

• A.C. denuncia el plagio pero sin enviar el PDF de su artículo que estaba sujeto a embargo.
• Los editores no se creen del todo y argumentan que tal vez pueda llegarse a las mismas conclusiones independientemente.
• A.C. envía el PDF del congreso señalando la ausencia de la figura 7 y lo insólito de que un chino haga estudios sobre un tema inverosímil en China y bastante normal en España.
• Los editores escriben a C.J. pidiendo explicaciones.
• C.J. no contesta a ninguno de los correos.
• Aparentemente el editor no toma ninguna decisión pero A.C. no vuelve a saber más de la cuestión; es de suponer que el proceso no seguirá adelante.

Asunto pendiente para reflexionar: ¿cómo llegó el trabajo de A.C. a manos de C.J.? Como final (?) curioso, hace muy pocos días A.C. recibe un correo de un investigador chino que le pide hacer una estancia n su grupo de investigación. El sujeto es doctor y el director de su tesis es, sorprendentemente, C.J.

Ausencia de aprobación del comité ético
Este tipo de casos pueden afectar a la investigación médica y a la que usa animales en la experimentación. Las investigaciones que afectan a seres vivos deben presentar sus protocolos experimentales y ser aprobados por comisiones éticas que valoran la pertinencia de los mismos. El caso de la falsa relación entre vacunas y autismo es un ejemplo de este tipo de mala conducta y tuvo como protagonista a un médico llamado Andrew Wakefield.
En este año 2010 se retiró un artículo publicado en 1998 en The Lancet donde se relacionaba la vacuna triple vírica con el autismo en niños. Diez de los trece firmantes ya se habían desvinculado del trabajo años atrás (¿por qué habían firmado?) y los tres restantes fueron sometidos a una investigación. Sus problemas comenzaron cuando en el año 2004 un periodista se puso a investigar y denunció que los niños participantes en el estudio habían sido seleccionados por los abogados de una pareja que quería demandar a los fabricantes de la vacuna triple vírica. Estos mismos abogados también habían contratado al autor principal, Andrew Wakefield, para confirmar la relación entre la vacuna y la enfermedad.
A raíz de esas denuncias, el General Medical Council de Gran Bretaña inició una investigación cuyas conclusiones se hicieron públicas en febrero de este año 2010. Se verificaron problemas de tipo diverso que llevaron a concluir que la conducta de Wakefield había sido "deshonesta e irresponsable".
El artículo tuvo una enorme repercusión en la sociedad impulsando un movimiento antivacunación en Gran Bretaña y en los EE.UU. Llama la atención que se basa en un número de niños minúscula: doce, once de ellos varones y una chica, con edades entre los 3 y los 11 años. Se supone que estos chicos aparecieron por el servicio de gastroenterología con una historia similar: habían tenido un desarrollo normal inicial y una fuerte regresión posterior (que incluía la pérdida del lenguaje) junto con diarrea y dolores abdominales. Los niños fueron sometidos a un montón de pruebas: colonoscopias, biopsias, resonancias magnéticas, electroencefalografías, punciones lumbares...
En la investigación tras la denuncia del periodista aparecieron detalles inquietantes. Por ejemplo, en el artículo se afirma que los problemas de los niños comenzaron unos días después de recibir la vacuna, pero una revisión de los archivos del hospital reveló que varias de las familias habían comunicado los problemas antes de la fecha de vacunación. También se encontró que parte de los fondos fueron utilizados para fines diferentes de los declarados. Finalmente, se confirmó que los niños fueron sometidos a pruebas invasivas cuya justificación era dudosa y para algunas de las cuales Wakefield carecía del preceptivo permiso de la comisión de ética de su institución. Lamentablemente, la comisión investigadora también llegó a la conclusión de que Wakefield manifestó una "total indiferencia por el sufrimiento y el dolor que sabía o debería haber sabido que los niños podían sufrir" con esas pruebas.

Autoría ficticia
Los autores de una publicación científica son los que redactan el original y contribuyen sustancialmente al desarrollo de la investigación. Sin embargo es práctica común el incluir a otras personas que no cumplen estos requisitos dándose el fenómeno conocido como autoría regalada, honoraria o ficticia. El regalo de la coautoría se utiliza para recompensar algún favor, como forma de halagar a un superior, o como derecho arrogado por el jefe del departamento donde se realiza la investigación; también puede darse el intercambio reciproco de autorías en otros artículos.
Hay casos que se agravan debido a una relación laboral poco equilibrada que conlleva indefensión. Por ejemplo, un proyecto fin de carrera especialmente brillante es modificado o maquillado y presentado posteriormente por el tutor como propio (caso real).

Seguimos el próximo día con las publicaciones duplicadas (o más), con los casos de revisores no precisamente imparciales y con conflictos de intereses.

[Breves] Una estafa más por Internet

El Ministerio de Economía y Hacienda no envía el siguiente correo que está circulando estos días por España:

Asunto: 2009 - Devolucion de impuestos calculo
Emisor: Ministerio de Economia y Hacienda (informacion.fiscal@meh.es)
Estimado Solicitante,
2009 – Devolucion de impuestos calculo
Despues del ultimo calculo anual de su actividad fiscal hemos determinado que usted es elegible para recibir un reembolso de impuestos de 284.23 euros. Su numero de devolucion de impuestos: 2 7 9 0 2 1 6 8 1 5 , por favor rellene el formulario de pago se adjunta en el correo electronico. Por favor, envie el reembolso de impuestos y permitir que nos 3ra-9no dias habiles, a fin de proceso.
Saludos cordiales.
JORGE DE JUSTO
Agente de la Oficina de Credito de Impuestos
informacion.fiscal@meh.es
901 33 55 33

El formulario que nos piden que rellenemos incluye, entre otros campos, el número de la tarjeta de crédito. Aparte de la deficiente redacción, el Ministerio nunca realiza estos procesos de esta manera. Se trata de un intento de fraude más que debe ser ignorado.

Por fin se publica el análisis del móvil perpetuo de Steorn

El 17 de agosto de 2006 Steorn anunció que había fabricado un generador de energía libre y constante (ver aquí). Para diferenciarse de los cientos de propuestas fracasadas que violan los principios de la termodinámica anunció una demostración pública y la selección de un jurado de expertos para demostrar la validez de su dispositivo, llamado "Orbo" (ver aquí). Dicha demostración fue suspendida indefinidamente por "problemas técnicos" (ver aquí) pero lo del jurado de expertos siguió adelante. El resultado de los análisis ha sido finalmente publicado en un blog. Lo traduzco a continuación:

En agosto de 2006, la empresa irlandesa Steorn publicó un anuncio en The Economist, anunciando el desarrollo de "una tecnología que produce energía libre, limpia y constante". Steorn anunció que buscaría un grupo de expertos cualificados que analizara el sistema y confirmara estas afirmaciones.
Steorn seleccionó veintidós científicos e ingenieros independientes para formar este jurado que ha analizado en los últimos dos años las pruebas presentadas por la empresa. El veredicto unánime del jurado es que los intentos de Steorn de demostrar sus afirmaciones no han mostrado la producción de energía. El jurado, por lo tanto, da por finalizado el trabajo.
El jurado está compuesto por científicos e ingenieros de Europa y América del Norte, tanto de la industria como de universidades y laboratorios gubernamentales. Puede encontrarse información sobre cada uno de sus miembros en http://stjury.ning.com/
R. I. MacDonald
Chairman, Steorn Jury

Steorn ha comentado este veredicto pero insiste en asegurar que ya ha resuelto los problemas y que a finales de 2009 todo se hará público:

Durante el año 2009 la empresa ha resuelto los principales problemas técnicos relacionados con la aplicación de Orbo y se centra ahora en el lanzamiento comercial a finales de este año, momento en el cual se hará pública la validación académica simultáneamente con demostraciones públicas.

Resumiendo, la misma estrategia de todos estos cranks: no dejes que el veredicto de un jurado te estropee la ilusión de haberte saltado los principios de la termodinámica. Todo se soluciona posponiendo una y otra vez la inevitable conclusión. Ad nauseam.

Para saber más podemos leer el librito El móvil perpetuo antes y ahora.
Para saber menos (nada, en realidad): la página de Steorn sobre Orbo.

¿Cuántos científicos falsifican sus datos?

PLoS ONE publica los resultados de un metaanálisis sobre la manipulación en las publicaciones científicas. Se han analizado fraudes graves, debidos a falsificación, fabricación o "cocinado" de datos, y se han excluido otras variantes como pueda ser el plagio, la repetición de publicaciones, las autorías indebidas... Al final se han revisado 18 estudios realizados previamente por otros autores.

Al tratarse de un metaanálisis no hay datos nuevos y creo interesante, por lo que diré después, dar algunas cifras sobre la selección de dichos trabajos. Comentan los autores que en una primera búsqueda aparecieron 69 estudios potencialmente interesantes. Su examen reveló que 33 de ellos no contenían información original o relevante mientras que otros 18 fueron rechazados por otras causas (metodología inadecuada o información insuficiente, por ejemplo). Al final se analizaron 18 estudios sobre prácticas fraudulentas en investigadores profesionales de los cuales 15 se refieren a los EE.UU., tres a Gran Bretaña, uno a Australia y dos son multnacionales. Predomina por tanto el mundo anglosajón.

Como resultados básicos, en los cuestionarios directos, donde se pregunta por la práctica de cada uno, un 2% de autores admiten haber fabricado, falsificado o modificado datos o resultados alguna vez. Algo más de un tercio reconoce alguna práctica menos escandalosa pero también cuestionable. Sin embargo, cuando se trata de acusar a los demás la gente no se corta y los porcentajes suben al 14% por falsificación ("ese del despacho de al lado ha hecho trampa") y nada menos que al 72% para otros pecados veniales. Dadas estas cifras, los autores mantienen luego que sin duda son muy conservadoras y que el fraude es bastante mayor, una conclusión que no me sorprendería en una conversación de bar pero que me resulta algo inadecuada en el contexto de la publicación.

Y ahora les confieso que les he traído aquí este trabajo para decirles que no me gusta y comentar las razones, a ver qué opinan. Sobre todo me resulta llamativo que se use una metodología para luego decir que los resultados no son creíbles, que sin duda los porcentajes de fraude son mucho mayores. Tal vez sea así pero entonces uno se pregunta ¿para qué han hecho el trabajo? Es cierto que yo nunca admitiré que soy un tramposo en un cuestionario ya el anonimato nunca está asegurado. Pero también es posible que haya gente que acuse a los demás en exceso (fíjense en 14% mencionado arriba). En cualquier caso, estos sesgos son incontrolables y lo consecuente, supongo yo, es evitar los métodos inadecuados en vez de usarlos y luego decir que los resultados son malos y que la realidad seguro que es distinta.
Por otra parte, a mi me parecería razonable que si alguien afirma que el fraude científico es mayor que el que dicen los resultados de su estudio aporte pruebas demostrándolo, aunque sólo sea por aquello de la presunción de inocencia.

Yo, como todos, desconozco las auténticas dimensiones del fraude científico. Creo que la única forma de evaluarlo con ciertas garantías es revisar una muestra de publicaciones con resultados relevantes para ver si son repetibles. ¿Por qué con resultados relevantes? A riesgo de parecer cínico diría que el fraude, cuando existe y no se descubre, es que se realiza en trabajos que no le importan a nadie y que, consecuentemente, no tiene repercusiones. En cambio, cuando el trabajo es importante y trascendente para el avance de la ciencia, al gañán se le pilla inevitablemente y más pronto que tarde. La razón es simple: los trabajos importantes son seguidos y utilizados por muchos otros científicos por lo que, si hay algo sucio, saldrá a la a luz irremediablemente. Véase el caso de Hwang. En cambio, la ingente cantidad de artículos irrelevantes que publicamos unos y otros (1) no son tenidos en cuenta para nada por lo que el fraude o posible "cocinado" de datos ni le importa a nadie ni tiene repercusión alguna en el conocimiento científico. Por eso, el defraudador no descubierto lleva encima su propia y triste penitencia: que nadie le haga ni puñetero caso.

(1) En un post titulado Ciencia oscura, que en un muestreo más o menos aleatorio de publicaciones me salió que un 40% de los trabajos no son citados nunca. A lo cual hay que añadir que los que tienen una o dos citas probablemente lo deben a autocitas.

Fanelli, D. (2009). How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data PLoS ONE, 4 (5) DOI: 10.1371/journal.pone.0005738

Relacionados:

• repositorio de fraudes científicos
• Spamference, el lado oscuro de la producción científica
• el tramposo cutre
  

[Breves] Ojo con los suplementos nutricionales

La entrada de esta semana de Orges en www.lamargaritaseagita.com nos avisa y como va en la línea que suelo comentar aquí, les sugiero que la visiten; copio y pego un párrafo:

La FDA ha retirado del mercado unos suplementos denominados “Hydroxycut”, cuya finalidad es (¡cómo no!) perder peso, quemar grasa, tener más energía… Y todo ello mediante una combinación de Ma Huang (una hierba china), guaraná, sauce blanco, L-Carnitina, extracto de té verde y otras lindezas de la naturaleza. Todas juntas se ha comprobado que provocan daño hepático, ictericia, problemas cardiovasculares, rabdiomiloisis e incluso fallo renal. Y por si alguien duda: 1 muerto y varios hospitalizados (¡y por internet todavía se pueden comprar!).

Repositorio de fraudes científicos

Repositorio es una palabra que existe a pesar de su fealdad. Significa "lugar donde se guarda algo". Y en Francia, un grupo de estudiantes universitarios de biología ha hecho uno, en internet, claro, dedicado a exponer publicaciones científicas fraudulentas.
El sitio se llama Scientific Red Cards y cataloga los fraudes o la "conducta inadecuada" en tres categorías: tarjetas rojas, verdes y azules, según el fraude afecta a los datos (plagio, invención...), investigación o publicación.
Según los promotores de la iniciativa, el principal objetivo es incentivar una conducta responsable en la investigación científica. Otro es prevenir sobre las citas a estos trabajos ya que no siempre existe una retractación incluso tras la confirmación del fraude.
Hasta el día de hoy han incluido 29 artículos, todos ellos de biología y disciplinas afines. Entre ellos el famoso del coreano Hwang.
Cada artículo incluye bibliografía, enlaces a informes sobre la "conducta inapropiada" y la posibilidad de incluir comentarios.

Merck y sus fantasmales autores

Merck es una gran empresa farmacéutica cuya fundación se remonta a 1891. Ha hecho grandes cosas, alguna de las cuales reseñé en este blog (ver Malas noticias en salud): en 1987 Merck inició el Mectizan Donation Program mediante el cual proporciona gratuitamente 68 millones de dosis anuales de ivermectina, el único medicamento efectivo contra la filariasis linfática y la oncocercosis, dos enfermedades producidas por gusanos parásitos que afectan a decenas de millones de personas en el mundo.Donde Merck usa autorías falsas para ocultar su intervención en ensayos clínicos de un medicamento propio con proble- mas de mortalidad

Pero todo tiene su lado oscuro y Merck ha sido acusada de usar autores fantasma para mostrar resultados favorables a uno de sus medicamentos, un analgésico llamado rofecoxib (comercializado como Vioxx y Ceoxx). La estrategia fue omitir nombres de autores ligados a la industria farmacéutica añadiendo el de otros que, en realidad, no habían trabajado en el artículo. De esta forma, la implicación de Merck en el ensayo clínico se ocultaba. Joseph S. Ross, del Hospital Monte Sinaí, lo ha resumido contundentemente:

"La idea de una compañía farmacéutica dirigiendo un ensayo clínico donde sus propios empleados lo diseñan, analizan los datos y escriben el artículo para luego, al final, contratar autores académicos para poner su nombre en el documento y dar un sello de supuesta autenticidad es algo escandaloso"

Ross es el primer autor de un trabajo donde analizaron un par de cientos de artículos relacionados con el medicamento publicados entre 1996 y 2004. Encontraron ensayos clínicos en cuyos borradores el primer autor era un empleado de Merck. A la hora de publicarse en revistas científicas, en 16 de 20 artículos este autor desapareció de ese lugar, que fue ocupado por un académico externo. El equipo de Ross encontró "escasa evidencia" de que esos autores académicos hubieran estado realmente involucrados en la investigación que firmaban pero sí localizaron evidencia de que habían sido pagados por aceptar su autoría, frecuentemente en solitario.

¿Tenía Merck algún interés en que estos ensayos le resultaran favorables? Lamentablemente, sí. Merck está en juicios por muertes ocasionadas aparentemente por dicho medicamento. Algunos análisis comenzaron a revelar que las tasas de mortalidad atribidas al Vioxx estaban claramente infravaloradas. Otros mostraron intervenciones sospechosas: en un estudio con enfermos de Alzheimer se encontró que se ocultaron o minimizaron tasas significativas de mortalidad respecto a grupos placebo. La sospecha de que estos ensayos clínicos fraudulentos están dirigidos a apoyar como argumento de autoridad a la compañía en los juicios es inevitable.

El negocio de Merck con este fármaco estaba en unos 2.5 mil millones de dólares hasta que fue retirado a finales del año 2004, cuando empezaron a destaparse los problemas de mortalidad por accidente cardiovascular y comenzaron los juicios.