INTRODUCCIÓN AL INDICADOR
El Scimago Journal Rank (SJR) es un indicador de
impacto de revistas, análogo al Impact Factor de Eugene Garfield, lanzado en el
año 2007 por Felix de Moya Anegón y Vicente Guerrero Bote, del grupo de
investigación SCImago, y que es utilizado como indicador referente en Scopus.
En torno a este indicador, el grupo SCImago presenta su ranking de revistas SJR
que, de forma similar a los Journal Citation Reports, clasifica a las revistas
por su impacto dentro de diferentes categorías, ordenadas por cuartiles.
Podemos decir que es uno de los indicadores con mayor reconocimiento para medir
el impacto de las revistas por su forma de valorar la cantidad y calidad de las
citas y además es “made in Spain”.
Este indicador posee tres características
diferenciales en relación a su análogo, el Impact Factor:
Posee una ventana de
citación de tres años. Este hecho, que ya incluía el Índice de Impacto de
IN-RECS, hace que aumente la cantidad de información para el cálculo, con los
consecuentes beneficios, especialmente en las áreas de humanidades (hay quien los critica porque piensa que provoca un retrato poco reciente de las revistas).
No tiene en
cuenta las auto-citas de las revistas. Esta decisión
tiene una consecuencia inmediata: las revistas
no pueden auto-incrementar artificialmente su impacto si no es con la
connivencia de otras publicaciones, lo cual, si no imposible, es desde luego más difícil de
conseguir. Aunque también es discutible esta criminalización de la autocitación.
No todas las
citas valen lo mismo, sino que las citas están ponderadas y depende del
valor de centralidad de la revista que las emite, en una forma similar al Page
Rank de Google. Éste es el principal elemento diferenciador y el apartado más
novedoso del indicador, pero en él también radica los principales problemas que
expondremos a continuación.
THE PROBLEM
El principal problema del
que ha sido acusado este
indicador es la complejidad de su cálculo, que dificulta, hasta imposibilitarlo, que los
resultados sean replicados. Para realizar el cálculo del SJR de una revista se
debe poseer el conjunto de citas de todo el sistema, para en primer lugar
obtener el valor de ponderación de cada cita recibida por la revista. Es por
ello que, una vez que anualmente se publica el impacto de las revistas, los
editores de revistas se limitan a aceptar y creer en la validez de los resultados que
se convierte en los que clásicamente se conoce como una caja negra.
De esta característica se
deriva un problema aún mayor y que tiene
que ver con la exactitud de los resultados. ¿Qué pasa si el sistema sobre el
que se aplica el SJR comete errores a la hora de contabilizar las citas en una
revista? Es decir, ¿qué pasa con los resultados del SJR si la base de datos
Scopus no ha tenido en cuenta alguna cita a una revista o por el contrario ha
incluido citas inexistentes? Obviamente que esa revista concreta posee un valor
que no le corresponde, pero la peor parte es que, a diferencia del JCR, los errores
en la contabilidad de las citas no sólo afectan a las revista que reciben o
dejan de recibir las citas, sino que se compromete la exactitud de los cálculos
de todas las revistas, puesto que tendría que calcularse de nuevo el valor que
a la luz de estas nuevas citas tendrían cada revista en el conjunto. --Hay una medida, una proporción, un límite para cada cosa--.EST MODUS IN REBUS.
Y llegados a este punto la pregunta clave
es, ¿cómete Scopus
este tipo de errores? Sí y por lo que personalmente conozco, los comete en un
porcentaje preocupante. En un examen rutinario, cuando se publicó el SJR 2013,
identificamos que a la revista Comunicar no se le estaban contando 17 citas
recibidas en 2013, de las cuales 6 le hubiesen contado para el SJR 2013 (la
misma revista no mostró pérdida de citas en Web of Science). ¿Corrige Scopus
estos errores? Pues parece ser que no, una vez que se hacen públicos los
valores del SJR no se modifican, por lo que, lo único que se puede hacer es
reclamar que se corrijan y se tengan en cuenta para el cálculo de otros
indicadores el siguiente año.
Creemos que Scopus, y el
grupo SCImago, deberían ser más proactivos y reactivos al problema, conscientes de la “sensibilidad”
del indicador que utilizan, están obligado a reducir los errores de precisión y
exhaustividad en la
indexación de artículos y a crear procesos de corrección de errores. Para ello debe tomar
decisiones como aumentar las exigencias de normalización a las revistas y
cualquier otro esfuerzo encaminado a mejorar el proceso de carga e
identificación de citas. De forma reactiva deberían crear herramientas de
control de fallos.
Si
la respuesta a esos errores no afecta al conjunto de los resultados, estamos
dispuestos a creerlo aunque no pase de ser una afirmación de muy difícil
demostración, pero las consecuencias puntuales sobre algunas revistas pueden
ser importantes y afectar gravemente a sus posiciones en los listados
CONSEJOS FINALES
Para acabar el post, me
gustaría realizar un par de recomendaciones. En primer lugar se hace
imprescindible que las revistas científicas incorporen procesos de
normalización en las citas, estilo, inclusión del DOI, etc., para que éstas
sean fácilmente identificables (algo que debería ser requisito casi
imprescindible para la inclusión en Scopus). Igualmente se recomienda que las
revistas planifiquen un estudio anual de citas previo al periodo de cálculo del
indicador, con el objetivo de detectar aquellas citas que no son
tenidas en cuenta por el sistema y puedan ser reclamadas a Scopus a tiempo.
Finalmente sería deseable que Elsevier y Scimago incorporasen un sistema de
corrección de errores, por ejemplo un primer cálculo del SJR con un periodo
posterior de un par de meses para la corrección de errores hasta el lanzamiento
de una versión definitiva.
