Llego al debate levantado por el estudio de Bohannon en Science cuando todavía no se han apagado del todo los ecos de tan enjundiosa controversia y con tan sugestivas y aquilatadas opiniones producidas en IWETEL. Me centraré en el tema sobre el que discurre fundamentalmente el estudio de Bohannon en Science y que Tomás Baiget transmitió en IWETEL con el provocador título de “Editoriales OA estafadoras y sin escrúpulos” y orillaré las derivadas del mismo (criterios, herramientas, sistemas de evaluación de las revistas científicas iberoamericanas, políticas editoriales y científicas), no por falta de criterio ni de ganas sino por ser operativo y no desviar la atención sobre lo más relevante de este estudio. Perdonad la extensión, pero ha salido así la cosa.
A mi entender el estudio publicado por Bohannon, es muy relevante y trascendente por varias razones:
- Porque pone en entredicho, -una vez más-, uno de los pilares centrales de la ciencia y de la comunicación científica: la fiabilidad y validez del sistema de control y certificación del conocimiento científico ejercido a través del peer review en las revistas.
- Porque al focalizar su experimento solo en revistas OA, y desvelar sus debilidades, está indirectamente poniendo en tela de juicio a todo el movimiento Open Access.
- Porque evidencia las contradicciones existentes entre los distintos modelos económicos que anidan en la comunicación científica, en general, y en el Open Access, en particular.
- Porque aflora el problema de fondo que actúa como caldo de cultivo de las actuaciones fraudulentas en ciencia: la presión que sienten los científicos por publicar, avivada por los sistemas de evaluación del rendimiento investigador que ponen a la publicación y a su impacto como las varas de medir del éxito científico y académico.
En definitiva, es un auténtico crisol de los problemas históricos que se ciernen sobre la comunicación científica. Y no le restaría importancia, como opinan algunos colegas, porque es un trabajo aparecido en una revista como Science, una de esas revistas que salen en los noticiarios de todo el mundo y que son una fuente de información imprescindible para científicos, profesionales, periodistas y público, en general. Por tanto, la audiencia que alcanza este trabajo, para bien o para mal, se amplifica. Estoy muy de acuerdo con los que han manifestado que el mensaje que se envía es letal para la credibilidad científica del acceso abierto, una credibilidad que se había construido lenta y afanosamente. Sirvan de botón de muestra estos titulares de algunos periódicos Bogus science paper reveals peer review's flaws (cbc), Hundreds of open access journals accept fake science paper (The Guardian), Open access: du rêve au cauchemar? (Libération).
No obstante, los profesionales de la información científica debiéramos tener claro cuáles son realmente los objetivos de este trabajo, cuales sus las fortalezas y debilidades metodológicas, y qué grado de extrapolación admiten los resultados. Solo así podríamos frenar las malinterpretaciones que puedan derivarse. Pues bien:
Objetivo del estudio:
Su principal finalidad es poner al descubierto las malas prácticas editoriales, por no hablar de actuaciones corruptas, de las revistas OA que figuran en los listados de publicaciones “depredadoras” elaborado por Beall en la de selección y evaluación de los originales que publican. ¿Están montadas estas editoriales simplemente para obtener pingües beneficios sin importarle la calidad de la ciencia que publican? Este fue el motivo primario que dio pie a realizar el estudio. Sin embargo, la no selección aleatoria de la muestra, -lo lógico en estos casos-, y su ampliación a revistas que figuran en el directorio DOAJ, el archiconocido y repertorio de revistas OA –un referente para OA-, nos hace pensar que había otro objetivo manifiesto: comprobar en qué medida es cierta una sospecha extendida sobre el modelo económico OA, basado en el “pago por publicación”. ¿Afecta el pago por publicar al rigor del proceso de peer review de los artículos publicados en revistas OA que adoptan este modelo de financiación? O por decirlo de manera más cruda ¿Influye los intereses monetarios en las decisiones científicas?
Pero la inclusión de revistas como PLOS ONE, el abanderado de este modelo, o de algunas revistas apadrinadas por Biomedcentral, la editorial más reputada de los pioneros del movimiento, junto a revistas promovidas por grandes editores (muchas de ellas agrupadas en OASPA: Open Access Scholarly Publishers Association) que han sido las que han ido demostrando que era posible competir con las revistas tradicionales (incluso en el impacto científico, que es el factor que hoy proporciona la reputación académica) me hace sospechar que Bohannon, y por elevación Science, han querido realmente poner en evidencia a todas las revistas que cuestionan el modelo económico tradicional en el que opera Science (pagar por leer, modelo sucripción). Recordemos que PLOS ONE pasó de publicar 137 trabajos en 2006 a 23.452 en 2012 (un atuéntico emporio de riqueza, teniendo en cuenta que los gastos de publicación por artículo son 1350$; lucrativo negocio, sin duda). Y lo que es más importante, PLOS ONE sola publicó en 2012 más artículos que Science en 7 años ¿le está robando el mercado? Demos datos para alimentar el debate: el número de artículos OA crece a un ritmo del 24% al año en Scopus (Larriviere et al. 2013) Podemos especular sobre las motivaciones de Science para realizar el trabajo de Bohannon; estas son las evidencias empíricas.
Metodología del estudio:
Se ha dicho, y es verdad, que los sesgos metodológicos del estudio son variados. Véamoslos:
El primero y más importante es que la muestra no ha sido seleccionada aleatoriamente. La consecuencia de esta decisión es clara: lo resultados del estudio no pueden ser extrapolados en estricto sentido a la población diana (revistas OA), ni siquiera a aquellas que figuran en el Directorio DOAJ o en el listado Bell. Procedimientos no probabilísticos opináticos, como el empleado en este estudio no generan muestrans representativas: los resultados solo pueden ser aplicados a aquellas revistas analizadas . Ahora bien, dicho esto, haremos mal en centrar todo nuestro discurso en descalificar el mensaje central del dicho trabajo: la llamada de atención es importante, porque número de revistas sometidas al experimento es más que suficiente como para no preocuparnos por los resultados alcanzados
El segundo problema metodológico es el del diseño propiamente dicho. Para estar plenamente seguros de que las revistas OA tienen comportamientos radicalmente distintos al resto de revistas, era necesario haber trabajado con grupos de control (revistas no OA). Realmente lo ideal hubiera sido crear varios grupos de control seleccionados aleatoriamente donde se hubieran utilizado otras variables para estratificar la muestra: procedencia geográfica, tipo de editorial (grandes, medianas, pequeñas editoriales), impacto científico (alto, bajo impacto). Ello hubiera permitido identificar exactamente donde se encuentra el problema, cuál es su gravedad y a quien afecta realmente.
No obstante, y a pesar de estos sesgos metodológicos, el estudio posee un inestimable valor y hay que incardinarlo en la línea de los trabajos que tradicionalmente han supuesto una llamada de atención generalizada a las debilidades del peer review. Este tipo de experimentos son todo un clásico en este campo. El estudio de Peters y Ceci (1982) fue el primero que fabricó documentos para desvelar las debilidades del peer review. Utilizó 12 artículos ya publicados en revistas de máximo prestigio en Psicología a los que aplicó cambios cosméticos en la presentación , alterando, asimismo los nombres y filiaciones profesionales de los autores, para someterlos de nuevo a las revistas donde se habían publicado de 18 a 32 meses antes. El resultado fue que sólo tres editores detectaron las remisiones falsas. Y por si fuera poco el 89% de los revisores no recomendaron su publicación por “serias deficiencias metodológicas”. En 1990 fue Epstein con otro experimento con documentos fabricados al efecto, quien puso en evidencia y los sesgos en la evaluación de más de 70 revistas de trabajo social. Y en 1996 fue Sokal, cuyo caso tuvo una enorme repercusión, quien se inventó un artículo lleno de absurdas construcciones matemáticas y de intepretaciones insensatas y disparatadas, y lo colocó en una prestigiosa revista de Ciencias Sociales / (http://en.wikipedia.org/wiki/Sokal_affair).
Me manifiesto totalmente a favor de estos heterodoxos experimentos (yo mismo los he practicado en un experimento que intenta demostrar lo fácil que es manipular google scholar y sus derivados bibliométricos). Muchas personas bienintencionadas se rasgarán las vestiduras porque es posible que no cumplan los escrupulosos criterios metodológicos exigidos por el método científico y atenten a las normas del ethos científico. A veces hay que dar golpes en la mesa para denunciar irregularidades, acabar con corsés que impiden que la ciencia progrese o eliminar las prácticas indeseables. Estos trabajos encienden los sistemas de alerta de la ciencia.
Resultados del estudio
Centrémonos en cuales son los principales resultados derivados del estudio:
- El 61% de las revistas aceptaron el artículo falseado (157 revistas)
- El 59,6% aceptaron o rechazaron el artículo sin revisión alguna (152 revistas).
- El 52,2% de las revistas que aceptaron el trabajo (82 revistas) no realizaon revisión alguna. Este dato es demoledor.
- Solo el 17% de las revistas aplicó una revisión substancial del trabajo
La mayoría de las revistas que figuran en el listado Beall presentan los peores comportamientos: fueron las que más aceptaron el artículo: duplicaron la tasa de aceptación (70%) frente a las revistas DOAJ y fueron las que más aceptaron el artículo sin revisión alguna (56 frente al 45%). La conclusión es evidente: la denominación de “revistas depredadoras y sin escrúpulos” (añadiría corruptas y bandidas) le viene como anillo al dedo.
De sumo interés, es lo que llamaría el "mapa de la estafa editorial" que habla por sí solo. A mi entender lo principal es relacionar el lugar donde radica la sede de la editorial, el banco y el director-a de las revistas y el grado de aceptación y rechazo del documento creado por Bohannon. En en los países en desarrollo o subdesarrollados (India, Pakistán, Bangladesh..., los balcánicos y mediterráneos, junto a Nigeria) es donde se concentra el fraude. El virus también se extendió al primer mundo (los USA y Europa Occidental con Gran Bretaña a la cabeza) pero la gravedad fue mucho menor. Y otro dato: mientras que las sedes de las "supuestas editoriales" se concentran en USA, los bancos lo hacen en la India: el señuelo y la caja.
Pues bien, señalar públicamente a las revistas estafadoras y advertir de los peligros de un descontorlado OA es una de las mejores contribuciones del trabajo de Bohannonn. De hecho ya ha tenido consecuencias: una revista croata afectada ha dejado de publicarse.
 |
| Correo electrónico recibido hoy mismo de esta revista que figura en el experimento de Bohannon y que aceptó el artículo sin revisión ¿Qué destaca? que es una revista internacional, qué tiene índice de impacto (¡asombroso!. y que es DOUBLE BLIND REFERRED & REVIEWED |
Asimismo, tiene una derivada importante: se ha puesto en solfa el sistema de control que ejerce el principal directorio de revistas OA del mundo que es DOAJ. El comunicado publicado por DOAJ el 10 el octubre pasado como reacción es poco convincente. El hecho de que “desde el 1 de agosto de 2013 DOAJ haya añadido 348 nuevos títulos al Directorio, pero también haya eliminado o expurgado a 329 revistas que no cumplieron con los criterios actuales para la inclusión” no suena más que a justificación tardía. Me pregunto: ¿Por qué figuran tantas revistas en DOAJ que han demostrado un tan deficiente peer review? ¿Es que DOAJ comprueba prácticas editoriales o se limita revisar declaraciones de política editorial? Este suele ser realmente el problema que poseen muchos sistema de calificación de revistas en función de parámetros ligados a calidad editorial: solo pueden valorar declaraciones pero no realidades. Se dice que se hace algo ¿pero realmente se hace? y ¿cómo se hace? Difícil y costoso comprobarlo.
También se ha visto salpicada la OASPA, asociación que reune a los principales editores comerciales del mundo con revistas OA. Alguna de sus revistas se han visto afectadas y prometen una revisión de sus sistemas y controles.
En cualquier caso, conviene resaltar que, como ya he señalado anteriormente los resultados solo pueden ser extrapolados a la muestra empleada, esto es a las 304 revistas implicadas. Por tanto, no se puede decir que las más de 10.000 revistas OA que circulan adopten las malas prácticas aquí denunciadas. Pero, dicho sea de paso, jamás se empleó una muestra tan amplia en estudios de este tipo. La sombra de la duda, que siempre cayó como espada de Damócles sobre las revistas OA, que debían demostrar que sus procesos editoriales eran homologables a los de las revistas tradicionales, se ha extendido de nuevo sobre ellas y el movimiento.
Y ciertamente, moviéndome en un terreno de hipótesis, creo que la eficiencia del peer review, en general, ha sido de nuevo cuestionada con este trabajo. Estoy convencido de que si el experimento se hubiera extendido a las revistas tradicionales “de prestigio” algunas habrían caído en la trampa; seguramente en menor proporción, pero hubiera sido grave que ocurriera. No hay más que comprobar las noticias sobre retractaciones por manipulación o falseamiento de datos aparecidas en Retraction Watch: en la lista de afectados están las grandes revistas (Nature, Science) y editoriales (Elsevier, Springer, Oxford University Press). Todavía recordamos el caso Hwang que salpicó a Science.
Y a este respecto debo reafirmarme en lo que ya sostuve en 2006 respecto al PEER REVIEW como sistema de evaluación y detección del fraude: no existen medios infalibles que puedan impedir que el fraude se produzca, ni la publicación por si sola es un sello que garantice la fiabilidad y validez de una investigación, ni el sistema de evaluación por expertos empleado es capaz de detectarlo y neutralizarlo. Básicamente por dos razones. En primer lugar, porque el edificio científico se asienta sobre un pilar axiomático que es falseable: se basa en la buena voluntad de los científicos; la honestidad se presupone; es inconcebible que un científico premeditadamente esté dispuesto a mentir. Por consiguiente, si un científico quiere mentir mentirá. Y como no cabe en la mente de la comunidad científica que esto ocurra la guardia estará permanentemente bajada. En segundo lugar, porque el sistema de alerta que emplea la ciencia para contrastar la verosimilitud y veracidad de un descubrimiento se aplica en muy pocos casos. La replicación y contrastación de la investigación por otros científicos, que es la auténtica máquina de la verdad de la ciencia, es impracticable dado el volumen actual que ha adquirido la ciencia.
Aunque supuesta y teóricamente las investigaciones pueden ser reproducidas, la sección metodológica de un trabajo ofrece los detalles que lo hacen factible, esto no se lleva a efecto más que con los grandes descubrimientos. Pero es que, además, la verificación de todos los resultados de investigación publicados es materialmente imposible: ¿Qué tiempo requeriría esta tarea? ¿Disponen de él los revisores que deben valorar los trabajos? ¿Poseen el mismo nivel de competencia, conocimientos, habilidades técnicas y el equipamiento necesario para hacerlo? ¿Están libres de intereses los propios revisores para que se les pueda confiar los trabajos de sus potenciales competidores? Evidentemente no. Pero es que si se pretendiera hacerlo la ciencia iría al colapso. Por consiguiente, se parte del principio de confianza y de la buena fe al que antes aludíamos: si los científicos declaran haber hecho algo, se cree en ellos y se da por cierto.
Debe quedar claro que el arbitraje científico no sólo no es capaz de detectar el fraude sino que ni siquiera puede garantizar la fiabilidad y validez de los resultados. Muchas son las experiencias que han evidenciado la verdad de esta afirmación (Darsee, Slutsky, Schön...), muchos los experimentos que han demostrado la inoperancia del sistema (Jurdant, 2003 ; Peters & Ceci, 1982 ; Epstein, 1990, Campanario, 1995, 2002) y muchas más las investigaciones que han puesto al descubierto los defectos del arbitraje científico que (Armstrong, 1997)
Si el arbitraje científico es lento, costoso, despilfarrador del tiempo de la comunidad científica, subjetivo, propenso al sesgo, sin capacidad para evitar los abusos de editores o revisores, no puede garantizar la fiabilidad y validez de los trabajos, es incapaz de detectar la fabricación, falsificación, el plagio y el resto de deshonestidades científicas, ¿para qué sirve entonces? ¿por qué lo seguimos utilizando? Las únicas certezas que poseemos es que este sistema sirve para reducir la avalancha de información, para mejorar la redacción de los trabajos, para enseñar a los autores a presentar sus trabajos de acuerdo con los cánones del método científico y para seleccionar algunos trabajos buenos y rechazar muchos trabajos malos. Sólo podemos decir que cuanto más lo usamos menos nos gusta, pero cuando menos lo usamos más lo echamos en falta. Mayoritariamente se considera que, al igual que ocurre con la democracia, es el menos malo de los sistemas.
Y, ya por último, creo que no puede entenderse este fenómeno del surgimiento y expansión de revistas depredadoras y del fraude subsiguiente que representan, como una manifestación más del gran problema de fondo que aqueja a la ciencia y la comunicación científica hoy día: la presión por publicar que tienen los científicos y las instituciones en que trabajan se está haciendo insoportable. A los científicos se les juzga por lo que publican. Los sistemas de evaluación del rendimiento de los científicos en todos los países, que han puesto en la publicación en “revistas internacionales de impacto” la vara que determina el ingreso, el desempeño (obtención de financiación) y el ascenso en la academia y la propia retribución. El éxito en sus carreras depende literalmente de ello. Al calor de esta necesidad han surgido estas revistas que ofrecen publicar en “international journals…” o “american journals…” a un mercado de miles de científicos en el mundo. Muchos pican el anzuelo: estamos ante una auténtica estafa. Los efectos son demoledores para los propios científicos, para el sistema editorial, para la comunicación científica y para salud de la ciencia.
En definitiva, la publicación como problema y la impactitis como enfermedad: hace años que vengo hablando de ello, y más que se hará próximamente. De momento, Nature, ayer publicó en su último número varios trabajos que se ocupan de estos asuntos
Emilio Delgado López-Cózar
No hay comentarios:
Publicar un comentario