Entradas
Y cuando desperté, el editor seguía ahí, dormido.
Hoy he amanecido con dos correos que nos comunicaban la publicación de dos artículos. Con uno de ellos se cierra un culebrón cuya cronología es muy educativa. Las cosas ocurrieron de la forma siguiente:
En septiembre de 2007 enviamos un artículo titulado Mapping landslide hazard with MLR, MARS and CART methods: a comparative study a la revista Geomorphology. Las revisiones de los referees se dilataban indefinidamente y enviamos varios correos al editor. Este nos contestaba más o menos diligentemente que insistiría a los revisores y que en unas semanas más nos enviaría las respuestas. Finalmente éstas llegaron en marzo de 2009, 17 meses después. ¿Por qué no retiramos el artículo al cabo de unos meses en vez de esperar tanto? La respuesta es complicada pero baste saber que había una circunstancia que nos aconsejaba tener un poco de paciencia. Verán que fue un error.
Las revisiones eran de dos personas que firmaban con sus nombres y ocupaban apenas una página. El primer revisor, JK indicaba que se hacía poco énfasis en la parte geológica del artículo y demasiado en la estadística y recomendaba reenfocar el asunto desde una perspectiva más geomorfológica. El segundo revisor, CJC, fue mucho más duro y solicitaba "major revisions" en dos aspectos: un cambio en la estrategia de muestreo y otro sobre el control del ajuste de los modelos. En el primer caso tenía razón y en el segundo era discutible. En cualquier caso, la revisión del muestreo mejoraría el trabajo y la segunda corrección no lo perjudicaba.
Recuerdo que me pasé las vacaciones de 2009 rehaciendo absolutamente todos los análisis, figuras, tablas, resultados, bibliografía... Incluso añadí un nuevo método de modelización que no estaba en el artículo original. El nuevo artículo fue enviado en septiembre de 2009.
 |
| Una de las figuras del artículo (mapa de riesgo de deslizamientos). |
En este punto éramos optimistas ya que no sólo habíamos tenido en cuenta todo lo que los revisores nos habían dicho sino que habíamos añadido material valioso e incluso ampliado notablemente la muestra original de deslizamientos.
En enero de 2010 envié un correo al coautor que mantenía la correspondencia con el editor:
¿Sabemos algo de nuestros queridos revisores? Si la cosa sigue en el limbo creo que deberíamos plantearnos enviarla a otro lugar porque se nos pasa el arroz ¿cómo lo ves?
En septiembre de 2010, un año después de enviar el artículo revisado, recibimos por fin un correo del editor:
En función de los informes de los revisores (adjuntos) el artículo no es aceptable en Geomorphology en la forma actual pero podría ser aceptable si se realizan modificaciones profundas. El Dr. CJC ha revisado de nuevo su artículo y recomienda "major revision" una vez más.
Como podrían suponer, el correo nos dejó perplejos. En esta nueva revisión, CJC ponía impedimentos en cuestiones completamente nuevas, que no había mencionado en su revisión anterior. Lo interesante es que la primera vez hacía críticas aceptables (bueno, en una tenía toda la razón, la otra era discutible) pero en esta no tenían sentido. Planteaba, por ejemplo, reducir el artículo a 8 páginas mientras simultáneamente pedía ampliar algunas secciones. También decía que debíamos eliminar todos los mapas (resultados esenciales) y dejar sólo una tabla (difícil pero, además, irrelevante) o que incluyéramos una comparación con otro artículo (ya citado en las referencias pero que usaba métodos de control diferentes).
En este momento nos convencimos de que CJC estaba obstaculizando deliberadamente la publicación ya que no solo tardaba muchos meses en responder sino que se sacaba de la manga problemas nuevos cada vez. Decidimos que el editor debía tomar una decisión y decir si nos aceptaba el artículo o no, que ya habíamos invertido mucho tiempo en ello. Modificamos algunas cuestiones y dentro del mismo mes (septiembre de 2010) le enviamos el correo siguiente (pongo el original):
After reading the comments of Dr. CJC we cannot agree with the suggestion to make a new major revision of the paper by the following reasons. Dr. CJC pointed out two main concerns in his 2009 revision of the paper, and recommended a major revision to address them, which at that time and according to his review, were the problems impeding its publication. Those two issues were addressed as requested in two months, when the manuscript, greatly modified and improved thanks to his review, was returned to the journal. As requested by Dr. CJC, the new manuscript was greatly different from the original one (the analyses were carried out again), and a new statistical method was included. Obviously, the modifications also consider the suggestions made by the other referee. More than a year after, Dr. CJC recently sent his new review, in which he does not acknowledge the changes done according to his previous review, and worst, raise totally new concerns, not exposed previously to the same paper, and again he recommends a new "major revision"; it seems as he did not realize that he had already reviewed this manuscript. We cannot agree with his decision, as some of the problems he raises are incorrect or irrelevant for the scientific value of the paper, and others are personal opinions, sometimes contradictory, again unrelated to the scientific value of the paper. We have been discussing the problems he mentions in his review (by crossing several telephone calls and e-mails) but we have reached deadlock. This month it is 3 years since the original manuscript was sent to Geomorphology. It has been improved substantially, thanks especially to Cr. CJC review, but this paper is a clear example of that it is impossible that authors and reviewers agreed at 100% in every detail of a manuscript. Papers must be evaluated with regard the scientific value of their findings, and if they are methodologically sound, but it is not fair that their publication is delayed indefinitely by worthless, idiosyncratic details regarding the scientific value of the manuscript. Consequently, and after doing every modification requested by the reviewers, completely rewrite the paper, answer the last comments by Dr. CJC (see below), and include the Editor's modifications, we would like to ask you for a decision about the publication of the paper, or if it would be finally rejected.Dos semanas más tarde, a finales de septiembre, el editor nos contesta y nos dice que está revisando él mismo el trabajo y que nos enviará en breve su opinión. En noviembre le requerimos la respuesta y no contesta. En febrero de 2011 insistimos con el mismo resultado. Finalmente, el octubre de 2011 nos envía un correo diciendo que es necesario que hagamos una profunda revisión del inglés y que enviemos el artículo de nuevo. Finaliza con:
Please note that if the English is at the current level even in the next revision, it will be rejected.Notarán que 1) el asunto del buen o mal inglés no había sido mencionado por nadie hasta el momento, 2) el problema principal sigue sin ser contestado y 3) no hay garantía de que incluso, con un inglés perfecto, el artículo no sea sometido a otra nueva revisión.
Tras hablar con los coautores, el artículo fue enviado el 31 de octubre de 2011 a Landslides, otra revista del área, señalando que el Dr. CJC era considerado por nosotros un "revisor hostil". Al día siguiente, 1 de noviembre, le envié un correo al editor de Geomorphology:
Dear Dr. Editor. Thank you for your kind email. After four years of review I do not see the end of the tunnel and I decided to withdraw the article and essay to send it to another journal. Please be aware of this fact and erase our article of the Geomorphology archives.En este caso el editor contestó en apenas un par de horas diciendo que podíamos eliminar el artículo nosotros mismos y que "there is no need to explain something to me".
En Landslides, la secuencia no tiene más historia que la normal. Recibido el 31 de octubre de 2011, revisado, aceptado el 13 de febrero de 2012, publicado online hoy, 10 de marzo. Apenas 4 meses con un nuevo proceso de revisión por el medio.
Su título final y enlace es Mapping landslide susceptibility with logistic regression, multiple adaptive regression splines, classification and regression trees, and maximum entropy methods: a comparative study.
Tal vez se pregunten por qué tardamos tanto en retirar el artículo dado el revisor hostil y, sobre todo, el editor incompetente (es la explicación más suave que se me ocurre). En este caso nuestro trabajo estaba relacionado con una invitación previa a presentar una comunicación a un congreso y había relaciones personales con el editor y el revisor de marras, lo que enfangó la toma de decisiones. Les prometo que no volverá a pasar. Menos mal que en Landslides consideraron que aún era de interés.
14 comentarios:
En alguna ocasión he tenido la misma sensación de obstrucción gratuita por parte de alguno de la cadena de revisión. No estaría demás, que los editores y los revisores, sobretodo, también (como nos hacen a los autores) publicasen en algún lugar accesible sus conflictos de intereses. Aunque esto no garantiza que con obstaculizar nuestro trabajo ellos no estén ayudando a algún amigo. Complejo.
Según avanzaba iba pensando "Esto acabará con que el revisor hostil recién ha publicado un artículo calcado en otra revista y que por eso los estaba torpedeando".
En alguna revista he visto publicado el nivel de acuerdo interjueces de los revisores. Creo recordar que era una kappa de Cohen de 0.65, valor que consideraríamos inaceptable en casi cualquier campo de medición y evaluación.
¿Es habitual en tu área conocer la identidad de los revisores?
No es habitual, me ha pasado con tres o cuatro artículos de áreas diversas. En alguno de ellos unos revisores pusieron su nombre y otros no. En este caso fueron los dos que intervinieron.
Indagando por ahí, parece que nuestro querido CJC está majara y lo tiene claro: o le obedeces de forma absoluta en sus gustos (incluyendo "la figura X me gusta más en verde que en rojo) o te bloquea el trabajo. Y todo sin prisas.
No sé por qué siempre estamos criticando el argumento de autoridad, y aceptamos como ovejas el sistema de peer review anónimo como una buena metodología para alcanzar calidad en las publicaciones, cuando todos sabemos que no es así.
Me quedo con la valoración de Richard Horton, editor de The Lancet:
"El error es, por supuesto, pensar que la revisión por pares es algo más que un rudimentario método para descubrir la aceptabilidad—no la validez—de un nuevo descubrimiento. Editores y científicos insisten en la importancia crucial de la revisión por pares. Presentamos la revisión por pares al público como un proceso casi sagrado que ayuda a hacer de la ciencia nuestra forma más objetiva de decir la verdad. Pero sabemos que el sistema de revisión por pares es parcial, injusto, inexplicable, incompleto, fácilmente trucable, a menudo insultante, generalmente ignorante, ocasionalmente estúpido y frecuentemente equivocado."
Saludos.
Está claro que aceptamos el sistema porque si no lo haces no tienes donde publicar. Por un lado, no puedes dejar que todo lo que se escribe se publique porque hay cosas objetivamente desechables. Por otro, el sistema solo funciona con revisores maduros y razonables, que solamente inciden sobre la corrección y aportaciones del artículo.
El que no haya acuerdo entre los revisores sería menos importante si el editor hiciera su trabajo, es decir, usar los informes y su propio examen del artículo para tomar una decisión razonada.
Desgraciadamente, lo extendido es aplicar un algoritmo del tipo
'aceptar'+'aceptar'='aceptar'
'rechazar'+'revisión menor'='rechazar'
...
sin tener en cuenta las diferentes áreas de experiencia de los revisores, valorar los desacuerdos entre ellos, etc.
Para eso no hace falta que escribamos informes, con rellenar cuántas estrellas damos al artículo ya sería suficiente.
---
A mí (supongo que a muchos) me ha pasado que un revisor quería que acortase el artículo, y otro que lo alargase, y el editor decirme que preparase una nueva versión que satisficiera a los dos.
Y la última fue que un revisor me pidió x mejoras con las que no estaba de acuerdo. Me llevó bastante tiempo hacerlas y en la nueva contestación me encuentro con que el artículo no ha ido al mismo revisor (sin ninguna explicación) y al nuevo no solo no le gustan las "mejoras" y quiere que las cambie, sino que aparentemente ni siquiera sabe que son cambios que ha pedido otro revisor.
Lo que me extraña son los retrasos, me suenan a algo ya superado. Desde hace 3 o 4 años una inmensa mayoría de las revistas de mi área fijan plazos de en torno a 1 mes para la labor del revisor, y muchas te eliminan de la revisión si te retrasas 1 semana en ese plazo.
Saludos
Orges, las revistas se llenan la boca con la rapidez de revisión y yo no veo mucha mejora respecto a cuando se mandaban los papers por correo postal. Yo he observado que, por ejemplo, cuando te publican el artículo, ponen "submitted: tal fecha" y esa fecha no es cierta. Se trata de la fecha que el editor envió a revisar, por ejemplo.
Un amiguete que es ed. asociado en una revista SCI me comenta que a veces tarda un mes entero en conseguir que acepten 2 referees. La gente está un poco harta. Las editoriales deberían plantear beneficios para los referees rápidos: descuentos en sus libros y artículos, en los cargos por publicar, etc.
Esto se está haciendo en Historia.
Seguramente tendría interés en otras disciplinas
http://scratchpad.wikia.com/wiki/History_Journal_Response_Times
Una pagina así podría hacerse a partir de los datos de los propios artículos ya que figuran habitualmente las fechas de envío, revisión y publicación. Lo que no hay son artículos rechazados, claro.
Estimado colega
Me dejas de piedra, no pensaba que en el mundo de la ciencia esto pudiera ocurrir. Te cuento mi experiencia personal, si bien en unos campos completamente distintos como son la bioquímica y la inmunología. Hace décadas, cuando aún se enviaban los manuscritos por correo ordinario, lo normal era que el editor contestara con los comentarios de los revisores en un plazo de 2-4 meses aunque algunas revistas alargaban un poco este margen hasta cerca de los 6 meses. Desde que los manuscritos se cargan directamente en la web de la revista, lo habitual es que el editor envíe un correo electrónico con las observaciones y el dictamen final en un plazo de entre 3 y 6 semanas posterior a la fecha de envío del manuscrito. Personalmente no recuerdo en estos últimos 10 años ningún artículo enviado que me fuera contestado después de 2 meses de la fecha inicial. Además mi experiencia como “reviewer” es que ahora yo recibo un correo invitándome a evaluar un artículo y tengo que contestar en el plazo de 2 días y si acepto tengo 2 semanas para enviar mi dictamen. Si no lo cumplo inmediatamente después de cumplirse el plazo (1 día después) tengo un correo del editor preguntándome por mi tardanza. Y ahora en algunas revistas (bien es cierto que esto es todavía minoría) además, en cuanto has enviado tu dictamen, el editor te reenvía el correo definitivo que ha cursado a los autores para que tú veas todo el proceso.
Si lo que te ha pasado es algo “normal” en tu campo deberíais asociaros de alguna forma los geólogos para que eso mejorara y si eso sólo ha sido tu caso personal, yo lo denunciaría a la revista y si fuera necesario a la sociedad americana o internacional de geología o incluso directamente a la academia de Ciencias yanqui en el caso de que fuera norteamericana la revista. Porque la evaluación de los manuscritos y el control de calidad de las revistas es un tema muy controlado ahora, ya que una revista que incumpla sus plazos y obligaciones puede ser eliminada de la lista del “impact factor” de ISI web (también podrías informarles a ellos directamente). Y eso es la muerte para una revista científica hoy por hoy, con la gran competencia existente en la actualidad entre ellas.
En cuanto a la revisión anónima por pares que se ha discutido en varios cometarios, aunque no es perfecta, es la única garantía de poder evaluar sin presiones los trabajos de los grandes “popes” de tu campo sin miedo a problemas o represalias. Si se supiera el nombre de los evaluadores a ver quién es el chulo que le rechazaría un artículo al investigador consagrado de un campo. Y aunque algunos, en cuanto leen el listado de autores de un manuscrito les cambia el “chip” (duro con los desconocidos y suave con los grupos consagrados), muchos investigadores (entre los cuales me encuentro) evaluamos el manuscrito por su calidad sin interferencias, porque sabemos que la revisión es secreta y anónima.
http://diario-de-un-ateo.blogspot.com.es/
Ateo, el caso es que este no es mi campo (soy biólogo en una escuela de ingeniería) y lo habitual son unos plazos mucho más moderados. De hecho, una vez retirado el artículo de la primera revista (Geomorphology), se envió a la segunda (Landslides) y se publicó en pocos meses sin mayores traumas. Yo estoy publicando en revistas bastante diversas (si buscas por Felicísimo A* en la ISI WoK me localizas inmediatamente). Por el momento sólo tengo quejas puntuales debidas más al retraso de los revisores que a la desidia de los editores.
Me pongo a seguir tu blog.
Joder, Angel, que historia...
En mi campo (Psicología) los retrasos largos son muy frecuentes, aunque la cosa va mejorando.
Yo soy editor de un revista y, aunque no veo sistemas alternativos a la revisión por pares, tengo que reconocer que en muchas ocasiones la cosa no funciona por falta de revisores con experiencia y compromiso. El editor no puede hacer todo el trabajo, y si las revisiones son flojas, te sobrecargas mucho.
Angel, por qué no quitas eso de tener que demostrar que no somos un robot averiguando qué palabros son esos tan extraños. A veces no hay quien lo averigue. Y es un latazo.
Un abrazo
Hola Alfredo, yo tampoco veo alternativa a la revisión por pares, hay mucha gente que protesta pero no se proponen caminos alternativos.
Respecto a lo de los palabros puedo volver a quitarlo, a ver qué pasa. Es que hubo una temporada que me entraba mierda a montones y era deprimente el tiempo que tenia que echar para borrarla. Pero venga, voy a intentarlo de nuevo.
Publicar un comentario