Entradas
Una revista científica introduce un cambio sustancial en la revisión de calidad
Algunos posts más atrás comenté algunas diferencias entre ciencia y no-ciencia, 3 entradas me llevó, 3: la uno, la dos y la tres. Algunas hacían referencia a la revisión de los artículos científicos que se pretendían publicar: uno envía un trabajo y éste es revisado, y frecuentemente vapuleado, por dos o tres "árbitros" anónimos. El sistema tiene sus problemas pero suele funcionar razonablemente bien.
Pues Nature acaba de enviar un correo electrónico avisando de que va a probar un procedimiento insólito. Va a someter los artículos enviados a una revisión abierta.
¿Qué significa eso? Pues que cualquier persona podrá enviar sus comentarios sobre un artículo. No se admitirán los comentarios anónimos ni el proceso normal de revisión se detendrá sino que ambos discurrirán paralelos. Cuando la revisión normal finalice, también se cerrarán los comentarios. Este open peer-review tendrá consecuencias: los editores leerán los comentarios y podrán pedir a los autores que contesten.
Los de Nature comentan que el sistema tradicional funciona bien pero que quieren explorar nuevos métodos ahora que internet permite la comunicación inmediata. La idea es que los comentarios de muchas personas pueden ayudar a comprender las virtudes o los problemas del trabajo de forma más completa, aunque los revisores seguirán teniendo su papel clásico. En esta fase de prueba, los autores se someterán voluntariamente al nuevo procedimiento, no será obligatorio.
Yo les confieso que tengo una enorme curiosidad por seguir este método que verán que se parece mucho a la dinámica de un blog. Sin duda aparecerán problemas. Yo preveo al menos dos. El primero es el de los comentarios destructivos (el equivalente a los trolls). Hay muchos trabajos que se enmarcan en una competencia feroz y el inundar de correos hipercríticos el del contrario puede ser una estrategia eficaz para retrasar su publicación. La identificación personal puede reducir este problema pero no evitarlo. El segundo es el del esfuerzo: contestar a los referees es a veces tan costoso como hacer el artículo: si la cantidad de respuestas a los comentarios es grande, los autores acabarán por volver al método clásico ("sólo" tres críticos anónimos). Podemos encontrar las FAQ de esta historia aquí.
10 comentarios:
Es interesante que una revista como Nature se aventure a hacer pruebas en el sistema de revisión. Sin embargo creo que mucho autore se lo pensaran dos veces antes de usar ESTE sistema de revisión abierto.
Esta pregunta, más bien su respuesta, es la que más me ha gustado:
Whether or not the preprint is eventually published in Nature, isn't there a chance of the results being scooped by competitors?
Yes.
PD: Enhorabuena por tu blog, lo descubrí desde la lista de la FJI-Precarios y lo siguo con interés desde el otro lado del atlántico.
Un saludo (de un postdoc).
Y la confidencialidad? todos pueden leer tu paper mientras está en revisión? al final no te lo aceptan pero ya regalaste valiosas observaciones a la competencia. Si, suena egoista y materialista pero para el mecanismo con el que se evalúa a los científicos este es un método muy riesgoso.
Nature ya tuvo acciones originales como esta y le fue bien.
Si recuerdan el caso Benveniste, los editores aceptaron publicar el artículo aún en contra de los resultados de la evaluación. Pero en la nota editorial expresaron sus dudas acerca de la veracidad de las conclusiones.
Esto para mi marcó un hito, porque por un lado el comité editor se posicionó como el último recurso para decidir la publicación de un manuscrito (lo que me parece bien), y también porque a posteriori quedó demostrado que las acciones de la comunidad científica, luego de publicado el artículo, terminaron defenestrando a la homeopatía.
Si el manuscrito no se hubiera publicado, o se publicara en una revista de menor cuantía, el caso no habría tenido tanta trascendencia.
En esta ocasión no soy tan optimista, pero me parece que la experiencia va a ser útil en algún sentido ya sea para bien o para mal.
CARLOS QUINTANA
Me gusta este método. Haces muy bien en apuntar sus puntos flacos, pero a mi me encantaria que eso funcionara.
Creo que es valioso ampliar al máximo el número de gente que opina sobre el valor científico de un texto. De algun modo acerca la ciencia a la democracia, en vez de limitarse al juicio de tres autoridades anónimas.
Sí, a mí me atrae también, al menos en principio. Habrá que ver cuanta gente se presta a ello y cómo sale. Ahora también se puede opinar a través de las cartas, normalmente planteando problemas, pero sólo se publican unas pocas y a posteriori, una vez publicado el trabajo. Eso sí, los autores están obligados a contestar a aquellas que los editores les digan.
La confidencialidad que comenta labjournal sólo tiene importancia en algunos campos muy competitivos y/o con mucho dinero detrás. Estoy seguro de que esos trabajos no se someterán al proceso abierto.
Francamente, a mí este sistema me parece una tontería (¡y no es que sea un fan del otro!)
En primer lugar, a mí ya me cuesta suficiente esfuerzo evaluar los artículos que me encargan y leer los artículos que me interesan (me bajo infinidad de trabajos que no llego a leer nunca, y supongo que como yo, todos). ¿De dónde han sacado la idea de que nos sobra tiempo para multiplicar el número de evaluaciones (gratuitas) de los artículos?
En segundo lugar, cuando me comprometo a evaluar un trabajo, eso conlleva un trabajo muy distinto de leerlo por encima e improvisar unos comentarios en una página web.
En tercer lugar, cuando me encargan evaluar un trabajo, o bien no tienen a nadie mejor o bien es porque me han elegido específicamente a mí. ¿Qué garantía hay, en este sistema, de que los comentaristas estén mínimamente capacitados para evaluar ese texto? Porque, para entorpecer a los autores, no hace falta ninguna capacitación.
En cuarto lugar, si quiero tener mis artículos prepublicados en internet los pongo en mi web y los subo y los bajo cuando me da la gana. Con este sistema, acongojantemente Nature tiene derechos de reproducción sobre los artículos decida o no publicarlos (o esa es mi lectura de las FAQ).
En quinto lugar, si quiero tener opiniones adicionales sobre mi trabajo *antes de preparar la versión definitiva que envío a una revista*, yo ya sé a quién se lo tengo que enviar. El sistema de preparar una versión definitiva y que personas aleatorias discutan sobre la versión definitiva implica una pérdida de tiempo, ya que o bien la discusión no modifica el texto (en ese caso la discusión ha sido una pérdida de tiempo) o sí lo modifica (en ese caso el acabado del texto ha sido una pérdida de tiempo).
En sexto lugar, el autor siempre puede subir su artículo a un servidor de preprints y recibir los comentarios de las personas que descarguen su artículo. Entonces el autor hará con ellas lo que le dé la gana. De esta forma, el autor hará con ellas lo que a la revista le dé la gana.
En séptimo lugar, me caerían mal los previsibles comentarios del tipo "Si yo fuese el evaluador, lo que recomendaría es...", que ya han aparecido por cierto.
En octavo lugar, me parece que los más perjudicados por el sistema son los trabajos fuera del "mainstream". No digo en el caso de Nature sino con ese sistema en general. Con el número de evaluadores aumenta la facilidad para encontrar excusas con las que rechazar un trabajo de ese tipo. Además, los temas de moda serán los que atraigan más comentarios y (si de algo vale el sistema) contribuirán de manera sesgada a mejorar sólo los artículos en esos temas. Además, si yo envío un artículo y recibe pocos comentarios, ¿sesga eso la presunción del editor acerca de si ese trabajo tiene interés para los lectores de la revista? Yo creo que es posible.
En noveno lugar, sólo nos falta a los autores tener que aguantar a comentaristas-vedette que sólo pretendan llamar la atención para que les hagan "auténticos referees" de la revista porque consideren que eso es un paso adelante en su carrera.
No veo que este sistema mejore en nada el actual, la verdad, y le veo muchísimas pegas. La única que gana es la revista en tanto que industria, que se lo hacen todo más cómodo (no tiene que pedir informes adicionales, etc.)
Dicho lo cual, como yo nunca voy a publicar en Nature, por mí que hagan lo que quieran :)
Los problemas que planteas son todos reales, en mi opinión. Al final todo dependerá del sentido común de los editores, que no se dejen llevar por los comentarios de los "bloggers" más allá de donde deban. En mi muy limitada experiencia (tenemos un artículo en Science, ver enlace al Grupo Kraken) los editores son *muy* buenos y probablemente son conscientes de los potenciales problemas. Esperaremos.
Conozco vuestro artículo (ya lo encontré en una visita anterior). Me pareció muy bonito y, aunque no soy del tema, al leerlo da esa impresión especial de ser un trabajo especial.
Las posibles pegas están claras. Comento lo que creo que puede ser un valor no comentado del sistema.
Los 'mandamases' de un área de investigación acceden a los artículos que van a marcar tendencia con mucha antelación con respecto a los demás. Ellos los revisan. Según qué revistas el plazo desde envío hasta publicación puede ser superior al año y medio. Con el invento de Nature se igualaría el acceso. A mí me habría venido bien en alguna ocasión descubrir que lo que yo estaba haciendo ya estaba en prensa o en proceso de revisión...
No sé, desde el punto de vista del autor, la publicidad de su trabajo antes de saber si va a ser aceptado o no es de dudosa utilidad. Desde el punto de vista de los demás, desde luego es beneficioso disponer de los "preprints" a la vez que los revisores.
Publicar un comentario