El talón de Aquiles del SCImago Journal Rank

INTRODUCCIÓN AL INDICADOR

El Scimago Journal Rank (SJR) es un indicador de impacto de revistas, análogo al Impact Factor de Eugene Garfield, lanzado en el año 2007 por Felix de Moya Anegón y Vicente Guerrero Bote, del grupo de investigación SCImago, y que es utilizado como indicador referente en Scopus. En torno a este indicador, el grupo SCImago presenta su ranking de revistas SJR que, de forma similar a los Journal Citation Reports, clasifica a las revistas por su impacto dentro de diferentes categorías, ordenadas por cuartiles. Podemos decir que es uno de los indicadores con mayor reconocimiento para medir el impacto de las revistas por su forma de valorar la cantidad y calidad de las citas y además es “made in Spain”.

Este indicador posee tres características diferenciales en relación a su análogo, el Impact Factor:

Posee una ventana de citación de tres años. Este hecho, que ya incluía el Índice de Impacto de IN-RECS, hace que aumente la cantidad de información para el cálculo, con los consecuentes beneficios, especialmente en las áreas de humanidades (hay quien los critica porque piensa que provoca un retrato poco reciente de las revistas).

No tiene en cuenta las auto-citas de las revistas. Esta decisión tiene una consecuencia inmediata: las revistas no pueden auto-incrementar artificialmente su impacto si no es con la connivencia de otras publicaciones, lo cual, si no imposible, es desde luego más difícil de conseguir. Aunque también es discutible esta criminalización de la autocitación.

No todas las citas valen lo mismo, sino que las citas están ponderadas y depende del valor de centralidad de la revista que las emite, en una forma similar al Page Rank de Google. Éste es el principal elemento diferenciador y el apartado más novedoso del indicador, pero en él también radica los principales problemas que expondremos a continuación.

THE PROBLEM

El principal problema del que ha sido acusado este indicador es la complejidad de su cálculo, que dificulta, hasta imposibilitarlo, que los resultados sean replicados. Para realizar el cálculo del SJR de una revista se debe poseer el conjunto de citas de todo el sistema, para en primer lugar obtener el valor de ponderación de cada cita recibida por la revista. Es por ello que, una vez que anualmente se publica el impacto de las revistas, los editores de revistas se limitan a aceptar y creer en la validez de los resultados que se convierte en los que clásicamente se conoce como una caja negra.

De esta característica se deriva un problema aún mayor y que tiene que ver con la exactitud de los resultados. ¿Qué pasa si el sistema sobre el que se aplica el SJR comete errores a la hora de contabilizar las citas en una revista? Es decir, ¿qué pasa con los resultados del SJR si la base de datos Scopus no ha tenido en cuenta alguna cita a una revista o por el contrario ha incluido citas inexistentes? Obviamente que esa revista concreta posee un valor que no le corresponde, pero la peor parte es que, a diferencia del JCR, los errores en la contabilidad de las citas no sólo afectan a las revista que reciben o dejan de recibir las citas, sino que se compromete la exactitud de los cálculos de todas las revistas, puesto que tendría que calcularse de nuevo el valor que a la luz de estas nuevas citas tendrían cada revista en el conjunto. --Hay una medida, una proporción, un límite para cada cosa--.EST MODUS IN REBUS.

Y llegados a este punto la pregunta clave es, ¿cómete Scopus este tipo de errores? Sí y por lo que personalmente conozco, los comete en un porcentaje preocupante. En un examen rutinario, cuando se publicó el SJR 2013, identificamos que a la revista Comunicar no se le estaban contando 17 citas recibidas en 2013, de las cuales 6 le hubiesen contado para el SJR 2013 (la misma revista no mostró pérdida de citas en Web of Science). ¿Corrige Scopus estos errores? Pues parece ser que no, una vez que se hacen públicos los valores del SJR no se modifican, por lo que, lo único que se puede hacer es reclamar que se corrijan y se tengan en cuenta para el cálculo de otros indicadores el siguiente año.

Creemos que Scopus, y el grupo SCImago, deberían ser más proactivos y reactivos al problema, conscientes de la “sensibilidad” del indicador que utilizan, están obligado a reducir los errores de precisión y exhaustividad en la indexación de artículos y a crear procesos de corrección de errores. Para ello debe tomar decisiones como aumentar las exigencias de normalización a las revistas y cualquier otro esfuerzo encaminado a  mejorar el proceso de carga e identificación de citas. De forma reactiva deberían crear herramientas de control de fallos.

Si la respuesta a esos errores no afecta al conjunto de los resultados, estamos dispuestos a creerlo aunque no pase de ser una afirmación de muy difícil demostración, pero las consecuencias puntuales sobre algunas revistas pueden ser importantes y afectar gravemente a sus posiciones en los listados

CONSEJOS FINALES

Para acabar el post, me gustaría realizar un par de recomendaciones. En primer lugar se hace imprescindible que las revistas científicas incorporen procesos de normalización en las citas, estilo, inclusión del DOI, etc., para que éstas sean fácilmente identificables (algo que debería ser requisito casi imprescindible para la inclusión en Scopus). Igualmente se recomienda que las revistas planifiquen un estudio anual de citas previo al periodo de cálculo del indicador, con el objetivo de detectar aquellas citas que no son tenidas en cuenta por el sistema y puedan ser reclamadas a Scopus a tiempo. Finalmente sería deseable que Elsevier y Scimago incorporasen un sistema de corrección de errores, por ejemplo un primer cálculo del SJR con un periodo posterior de un par de meses para la corrección de errores hasta el lanzamiento de una versión definitiva.