Nature se tira a la piscina ¿sin agua?

Segunda parte del post Nature se tira a la piscina

Recordarán que hace unos meses en Nature iniciaron un ensayo de "revisión abierta" de trabajos científicos para explorar la posible sustitución del clásico método de "revisión por pares", donde dos o tres revisores anónimos analizan, critican y valoran el trabajo. Aquí se abría un blog donde cualquier usuario, previo registro, podía comentar el trabajo. La primera etapa del ensayo (tal vez la única) ha finalizado y con no muy buenas espectativas. Tal como comenta Alfonso Jiménez, ha habido poca participación por ambas partes: ni los autores están por la labor de exponer públicamente sus trabajos ni los potenciales revisores están dispuestos a ponerse a currar sobre los trabajos expuestos. En los comentarios al post Nature se tira a la piscina, Pedro Terán daba un buen número de razones por las que creía que la cosa no era ni siquiera una buena idea. Ahora el tiempo parece que le da la razón.
Nature publica un informe sobre el ensayo de donde extraigo sólo unos dos detalles, el primero de contexto y el segundo de resultados:

• Nature recibe unos 10000 trabajos al año, de los cuales los editores rechazan directamente (sin otra revisión) un 60%. El 40% restante pasa a dos o tres árbitros externos que evalúan los trabajos y, finalmente, el editor decide. El resultado es que se publica aproximadamente el 7% de lo inicialmente enviado.
• Durante el periodo de prueba se recibieron 1369 trabajos; sólo accedieron a la prueba los autores de 71 (el 5%). De estos, 33 no recibieron comentarios, y los 38 restantes recibieron 92 comentarios de los cuales 49 se refieren a 8 artículos. Apenas 4 comentarios fueron clasificados como técnicamente relevantes.

La conclusión, aunque un poco escondida, es la siguiente:

"Nature and its publishers will continue to explore participative uses of the web. But for now at least, we will not implement open peer review."

O sea: se acabó. Sobre toda esta efímera historia me gustaría hacer algunas consideraciones. Por ejemplo:

• es aparentemente contradictorio el teórico apoyo a la idea y que, a la hora de la verdad, casi nadie se prestara a someter sus trabajos a la crítica pública y se prefiriera muy mayoritariamente el método tradicional. Tal vez, digo yo, se preguntó al colectivo equivocado (lectores) en vez de preguntar a los autores de los últimos 5 años, por ejemplo.
• es chocante (y algo patético) que haya habido tan pocos comentarios y que sólo 4 de ellos hayan sido clasificados como realmente relevantes. Parecería que el colectivo de comentaristas no tenía demasiado nivel mientras que los otros, los que tal vez podrían haber aportado algo interesante, han decidido dedicar el tiempo, recurso escaso y valioso, a sus propios trabajos. Y es que ejercer revisor es ingrato, duro, no haces amigos y encima no te pagan (podrían, al menos, enviarte un ejemplar de la revista al final, pero ni eso).
  
• es obvio que la crítica a los colegas sólo se hace cómodamente desde el anonimato y encuentro muy probable que mucha gente se abstuviera por ese motivo (no piensen mal, el anonimato en el método tradicional es sólo relativo ya que el editor sabe quien eres y te juegas tu dudoso prestigio si haces una crítica absurda).
• los autores, si son mínimamente conscientes, han revisado cien veces su trabajo y lo han enviado a tres o cuatro colegas de confianza para que lo hagan a su vez. Es difícil convencer a nadie que otra revisión asamblearia vaya a aportar nada importante al texto. Tal vez por eso los comentarios han sido mayoritariamente superfluos.
  

Al final, por suerte o por desgracia, la popularización (que no democratización) de las revisiones en Nature se ha ido al traste. Era un ensayo conveniente, aunque sólo sea para acotar las espectativas de la llamada Ciencia 2.0. Ahora cada cual que saque sus conclusiones.