El talón de Aquiles del SCImago Journal Rank

INTRODUCCIÓN AL INDICADOR

El Scimago Journal Rank (SJR) es un indicador de impacto de revistas, análogo al Impact Factor de Eugene Garfield, lanzado en el año 2007 por Felix de Moya Anegón y Vicente Guerrero Bote, del grupo de investigación SCImago, y que es utilizado como indicador referente en Scopus. En torno a este indicador, el grupo SCImago presenta su ranking de revistas SJR que, de forma similar a los Journal Citation Reports, clasifica a las revistas por su impacto dentro de diferentes categorías, ordenadas por cuartiles. Podemos decir que es uno de los indicadores con mayor reconocimiento para medir el impacto de las revistas por su forma de valorar la cantidad y calidad de las citas y además es “made in Spain”.

Este indicador posee tres características diferenciales en relación a su análogo, el Impact Factor:

Posee una ventana de citación de tres años. Este hecho, que ya incluía el Índice de Impacto de IN-RECS, hace que aumente la cantidad de información para el cálculo, con los consecuentes beneficios, especialmente en las áreas de humanidades (hay quien los critica porque piensa que provoca un retrato poco reciente de las revistas).

No tiene en cuenta las auto-citas de las revistas. Esta decisión tiene una consecuencia inmediata: las revistas no pueden auto-incrementar artificialmente su impacto si no es con la connivencia de otras publicaciones, lo cual, si no imposible, es desde luego más difícil de conseguir. Aunque también es discutible esta criminalización de la autocitación.

No todas las citas valen lo mismo, sino que las citas están ponderadas y depende del valor de centralidad de la revista que las emite, en una forma similar al Page Rank de Google. Éste es el principal elemento diferenciador y el apartado más novedoso del indicador, pero en él también radica los principales problemas que expondremos a continuación.

THE PROBLEM

El principal problema del que ha sido acusado este indicador es la complejidad de su cálculo, que dificulta, hasta imposibilitarlo, que los resultados sean replicados. Para realizar el cálculo del SJR de una revista se debe poseer el conjunto de citas de todo el sistema, para en primer lugar obtener el valor de ponderación de cada cita recibida por la revista. Es por ello que, una vez que anualmente se publica el impacto de las revistas, los editores de revistas se limitan a aceptar y creer en la validez de los resultados que se convierte en los que clásicamente se conoce como una caja negra.

De esta característica se deriva un problema aún mayor y que tiene que ver con la exactitud de los resultados. ¿Qué pasa si el sistema sobre el que se aplica el SJR comete errores a la hora de contabilizar las citas en una revista? Es decir, ¿qué pasa con los resultados del SJR si la base de datos Scopus no ha tenido en cuenta alguna cita a una revista o por el contrario ha incluido citas inexistentes? Obviamente que esa revista concreta posee un valor que no le corresponde, pero la peor parte es que, a diferencia del JCR, los errores en la contabilidad de las citas no sólo afectan a las revista que reciben o dejan de recibir las citas, sino que se compromete la exactitud de los cálculos de todas las revistas, puesto que tendría que calcularse de nuevo el valor que a la luz de estas nuevas citas tendrían cada revista en el conjunto. --Hay una medida, una proporción, un límite para cada cosa--.EST MODUS IN REBUS.

Y llegados a este punto la pregunta clave es, ¿cómete Scopus este tipo de errores? Sí y por lo que personalmente conozco, los comete en un porcentaje preocupante. En un examen rutinario, cuando se publicó el SJR 2013, identificamos que a la revista Comunicar no se le estaban contando 17 citas recibidas en 2013, de las cuales 6 le hubiesen contado para el SJR 2013 (la misma revista no mostró pérdida de citas en Web of Science). ¿Corrige Scopus estos errores? Pues parece ser que no, una vez que se hacen públicos los valores del SJR no se modifican, por lo que, lo único que se puede hacer es reclamar que se corrijan y se tengan en cuenta para el cálculo de otros indicadores el siguiente año.

Creemos que Scopus, y el grupo SCImago, deberían ser más proactivos y reactivos al problema, conscientes de la “sensibilidad” del indicador que utilizan, están obligado a reducir los errores de precisión y exhaustividad en la indexación de artículos y a crear procesos de corrección de errores. Para ello debe tomar decisiones como aumentar las exigencias de normalización a las revistas y cualquier otro esfuerzo encaminado a  mejorar el proceso de carga e identificación de citas. De forma reactiva deberían crear herramientas de control de fallos.

Si la respuesta a esos errores no afecta al conjunto de los resultados, estamos dispuestos a creerlo aunque no pase de ser una afirmación de muy difícil demostración, pero las consecuencias puntuales sobre algunas revistas pueden ser importantes y afectar gravemente a sus posiciones en los listados

CONSEJOS FINALES

Para acabar el post, me gustaría realizar un par de recomendaciones. En primer lugar se hace imprescindible que las revistas científicas incorporen procesos de normalización en las citas, estilo, inclusión del DOI, etc., para que éstas sean fácilmente identificables (algo que debería ser requisito casi imprescindible para la inclusión en Scopus). Igualmente se recomienda que las revistas planifiquen un estudio anual de citas previo al periodo de cálculo del indicador, con el objetivo de detectar aquellas citas que no son tenidas en cuenta por el sistema y puedan ser reclamadas a Scopus a tiempo. Finalmente sería deseable que Elsevier y Scimago incorporasen un sistema de corrección de errores, por ejemplo un primer cálculo del SJR con un periodo posterior de un par de meses para la corrección de errores hasta el lanzamiento de una versión definitiva.

Índice H de las revistas de Comunicación según Google Scholar Metrics (2009-2013)

Google Scholar Metrics ha realizado una tercera actualización (Google Scholar Metrics 2014: una herramienta bibliométrica "low cost"), lo que nos ha permitido volver a sacar el listado de revistas de Comunicación ordenadas según este producto, y ya van tres (2007-2011 y 2008-2012).

Este listado permite contextualizar a las principales revistas de Comunicación (aquellas que registra Google Scholar Metrics) dentro de sus diferentes entornos; nacional, regional e internacional, una visión que actualmente no ofrece ningún producto de manera tan exhaustiva.

Como resultado de esta nueva actualización el índice de revistas de Comunicación asciende a 434 revistas. En relación al listado de revistas del anterior índice (2008-2012), se incorporan 113 revistas, mientras que 26 desaparecen.

Repiso, R. y Delgado López-Cózar, E. (2013). H Index Communication Journals according to Google Scholar Metrics (2008-2013). EC3 Reports 10, 24. July, 24, 2014. [ENLACE]

A las puertas de SciELO

SciELO Citation Index y Chinese Science Citation Index se incorporan a las bases de datos de Web of Science con el propósito de suplir la principal carencia frente a su rival Scopus -la baja cobertura en revistas regionales-; y lo hace sin tener que sacrificar el concepto elitista de sus productos referentes: Science Citation Index, Social Science Citation Index y Art & Humanities Citation Index (Web of Science Core Collection). No obstante, no es la primera maniobra que hace Web of Science para tratar de aumentar la cobertura regional de países como España. Allá por el año 2007, coincidiendo con la firma de la licencia FECYT, se empezaron a incluir un buen número de revistas que, si bien no tenían impacto en el mundo anglosajón, representaban lo más selecto de la casa.

¿Cuál es el problema de SciELO?

SciELO, para las revistas españolas supone un problema doble.

En primer lugar, al ser la principal solución de Thomson Reuters para suplir la falta de cobertura en España e Iberoamérica, es de prever que las revistas españolas que están indexadas en WOS dejen de disfrutar de su status preferente y tengan que justificar su indexación como el resto, mediante su impacto científico. Esto nos adelanta un futuro inmediato en el que las revistas españolas en WOS se van a ver reducidas. Como un mal presagio, en Social Science Citation Index hay nueve revistas españolas cuyos trabajos no son indexados desde el año 2012. Son las siguientes:

• Revista de Educación
• Revista de Economia Mundial
• Universia Business Review
• ESE-Estudios Sobre Educacion
• Dynamis
• Aibr-Revista de Antropologia Iberoamericana
• Anuario de Estudios Medievales
• Comunicacion y Sociedad
• Estudios Sobre el Mensaje Periodístico

En segundo lugar porque SciELO, a día de hoy, no acepta revistas españolas más allá de un reducido grupo de revistas de Ciencias Biomédicas; gracias al acuerdo de colaboración establecido con la OPS/OMS y el Instituto de Salud Carlos III.
Llegados a este punto, muchos se preguntarán cómo Thomson Reuters ha incluido a una base de datos como SciELO para representar a las revistas iberoamericanas, si en realidad tiene una cobertura desigual. Ya no sólo de países (con un gran sesgo hacia Brasil), sino de materias. Baste el ejemplo: ni indexa ni posee los mecanismos para indexar revistas españolas, fuera del acuerdo con el Instituto de Salud Carlos III; por lo que muchas áreas, en las que España es referente en Latinoamérica, se quedan fuera.

SciELO debe permitir la entrada de revistas españolas

SciELO está en la encrucijada de integrar a las revistas españolas. Lo que para España supondría ahora mismo una gran ayuda para los procesos evaluativos, puesto que se podría volver a monitorear el intercambio de citas de revistas. Hecho que en Ciencias Sociales hemos perdido con la desactualización de la familia IN-RECS,  arrojando a la oscuridad a la mayoría de las revistas. En justa reciprocidad, SciELO se vería enriquecido con revistas con un gran nivel, líderes en sus respectivas áreas, que igualan y, en muchos casos, superan en calidad a las revistas ya existentes en el producto; lo que mejoraría sustancialmente la calidad de la base de datos y la representación que SciELO tiene de la región (principal motivo por el cual ha sido incluida en Web of Science).

En cambio, si SciELO no es capaz de dar cobertura a las revistas españolas en relación a su calidad sino sólo a aquellas de "MEDICINA", es  probable que en España se deje de utilizar Web of Science como producto referente, o que se empiecen a incluir otros; ya que WOS es incapaz de representar la investigación española en ciertas áreas, como Ciencias Sociales, cuando para otros países iberoamericanos sí lo hace.

En definitiva, estamos en un encrucijada, donde la posición de SciELO frente a las revistas españolas puede significar un cambio en los procesos evaluativos de revistas en España.

Rafael Repiso

El impacto de las revistas de comunicación: comparando Google Scholar Metrics, Web of Science y Scopus

The Impact of Scientific Journals of Communication: Comparing Google Scholar Metrics, Web of Science and Scopus

Como os adelantamos hace unos días (post previo), la revista COMUNICAR publicará próximamente un número especial dedicado a Evaluación Científica titulado "Los agujeros negros de la comunicación: comunicación científica y metainvestigación" coordinado por Elea Giménez y Evaristo Jiménez. En ese número el Grupo EC3 tenemos dos artículos. En este post os presentamos el segundo trabajo dedicado a las revistas de Comunicación en Google Scholar Metrics. 

Delgado López-Cozar, E. & Repiso, R. (2013). El impacto de las revistas de comunicación: comparando Google Scholar Metrics, Web of Science y Scopus. Comunicar, 41. (DOI: 10.3916/C41-2013-04)

La aparición de Google Scholar Metrics en abril de 2012 como nuevo sistema de evaluación bibliométrica de revistas científicas a partir del recuento de las citas bibliográficas que éstas han recibido en Google Scholar rompe el duopolio ejercido hasta el momento por las bases de datos Web of Science y Scopus. 

El objetivo de este trabajo es comparar la cobertura que poseen estas tres bases de datos y la similitud que puedan presentar los rankings elaborados a partir de ellas (http://bit.ly/X7HFBO). Se ha elegido como muestra las revistas de Comunicación indizadas en las tres bases de datos. Se calcula el índice h de las 277 revistas identificadas y se averigua la correlación existente entre los rankings generados. 

Figura 1. Número de revistas de Comunicación cubiertas en Google Scholar Metrics, Scopus y WOS

Google Scholar Metrics duplica la cobertura, reduce el sesgo anglosajón que poseen Web of Science y Scopus. Google Scholar Metrics proporciona índices h más elevados (un promedio de un 47% superior a Scopus y un 40% a Web of Science) con lo que permite discriminar mejor las posiciones de las revistas en el ranking. En conclusión, Google Scholar Metrics es una herramienta capaz de identificar las principales revistas de comunicación ofreciendo resultados tan solventes, fiables y válidos como los generados por Web of Science y Scopus.

Tabla 2. Ejemplo del índice h de las revistas de Comunicación en Google Scholar Metrics (2007-2011)

Respecto a un post anterior publicado sobre las revistas de Comunicación en Google Scholar Metrics, el ranking que presenta este artículo está depurado (se han eliminado revistas que no pertenecen al área) y se ha ampliado con otras revistas de Comunicación que no estaban incluidas en un principio (el presente índice registra 277 revistas, mientras que la primera versión obtenida en noviembre ofrecía 223). 

• Delgado López-Cozar, E. & Repiso, R. (2013). El impacto de las revistas de comunicación: comparando Google Scholar Metrics, Web of Science y Scopus. Comunicar, 41. (DOI: 10.3916/C41-2013-04)
  ARTÍCULO EN ESPAÑOL
• Delgado López-Cozar, E. & Repiso, R. (2013). Índice h de las revistas de Comunicación en Google Scholar Metrics (2007-2011). Comunicar, 41.
  RANKING DE REVISTAS
• Delgado López-Cozar,  E. & Repiso, R. (2013). El impacto de las revistas de comunicación: comparando Google Scholar Metrics, Web of Science y Scopus [The Impact of Scientific Journals of Communication: Comparing Google Scholar Metrics, Web of Science and Scopus]. Comunicar 41. (DOI 10.3916/C41-2013-04
  ARTÍCULO EN INGLÉS

Descubriendo al autor: Consejos para la identificación de los autores en las revisiones ciegas

El sistema de ciego simple y doble ciego en las revistas científicas tiene sus seguidores y detractores, (hay quien propone,  el triple, cuádruple y séxtuple ciego ). No es el objeto de este post hablar de las bondades del sistema, sino todo lo contrario. El objetivo de este post es "hacer que los ciegos vean" (Jn 9:39). No obstante este texto también está dirigido a los autores que deben aprender a mantenerse en el anonimato y editores de revistas que deben velar por el anonimato de los trabajos en revisión.

Un buen científico debería poder identificar a los autores de los trabajos de su área, especialmente los trabajos de sus compatriotas, o al menos acotar suficientemente el número  de «sospechosos». Esto por supuesto tiene sus limitaciones, es muy difícil identificar a los nuevos investigadores del sistema o a los investigadores que cambian de línea de investigación. A veces las identificaciones son erróneas, puesto que se identifican a los maestros y compañeros de los autores, que tienen líneas de investigación y grupos sociales académicos similares. Podemos decir que uno de los objetivos inherentes a toda revisión ciega es la identificación del autor, para ello el trabajo se convierte en un tablero de "cluedo" y el investigador debe ir descubriendo las pistas, ponerlas en contexto y descubrir a Mr. X.

Como documentalista, tengo mis "trucos" especializados por influencia del área. Mientras que unos leen el futuro en los posos del té y del café, los documentalistas estamos especializados en descifrar los misterios de la ciencia en los «posos» de los artículos; las referencias bibliográficas. Las referencias son para el científico lo mismo que los análisis de sangre para los médicos, unos indicadores excelentes que nos hablan de la salud y las enfermedades de un trabajo, incluso aplicando ingeniería podemos averiguar parte, si no entero, del ADN del padre de la criatura. No obstante también utilizamos otros métodos. Ahí van una lista de lugares donde encontrar pistas:

Archivo:

• A veces el archivo de revisión del trabajo lleva incluido el nombre del autor del mismo. Pinchamos sobre le documento antes de abrirlo, botón derecho, propiedades y ahí saldría. Esto es obra de un autor torpón y una revisión editorial descuidada.

Título:

• El título en teoría suele representar más al trabajo que al autor, no obstante con frecuencia nos encontramos trabajos que son continuaciones de trabajos previos o aplicaciones de una misma metodología a otras áreas.

Introducción:

• La introducción es uno de los campos más subjetivos, el estilo y la redacción del autor es "más libre" en este apartado. A veces los autores se permiten licencias poéticas, y como decía Ricardo Darín en "El secreto de sus ojos" aunque una persona cambie de cara e identidad, lo que nunca cambian son sus pasiones, y la introducción es un buen área para expresarse.

Material y Métodos:

• El autor debe comprobar quienes han utilizado antes la misma fuente de información, eso le permite acotar mucho la búsqueda, sobre todo si es una fuente de información poco común. Si la muestra se ha usado previamente podemos suponer que fueron los mismos autores tratando de aprovechar esfuerzos y energías. El método también es clave, dependiendo de la complejidad y originalidad del mismo podremos acotar mucho o poco a los sospechosos. Por ejemplo, yo utilizo el Análisis de Redes Sociales para estudiar la estructura social a partir de los tribunales de tesis, y al igual que yo sólo 7 personas más, entre ellos 3 investigadores de mi grupo. 

Análisis y Resultados:

• En el capítulo análisis y resultados (como en el resto) vemos la capacidad de análisis de los autores, por tanto podemos entrever su madurez científica y discernir a qué grupo pertenece (investigadores profesionales y amateurs). Por otra parte la creatividad de los autores tiene reflejo en la metodología (pocas veces) y en el análisis y resultados. En la ejecución de las figuras y tablas, podemos identificar estilos pictóricos; por eso (entre otros motivos) en comunicación científica se recomienda estilos sobrios y planos. 

Discusión y Conclusiones:

• Muchos autores se autocitan en las conclusiones, puesto que sus trabajos suelen ser continuaciones de investigaciones previas y conocen sus resultados y las implicaciones de estos perfectamente. La discusión y conclusiones además nos permite descartar autores, todos aquellos autores con los que en la introducción y en este apartado los autores se muestren disconformes...
• Por otra parte, en áreas de Ciencias Sociales y Humanidades es común que los autores reflejen en este apartado opiniones propias, en muchos casos alejadas de las opiniones comunes. Como decía Umberto Eco; la belleza tiene formas limitadas, en cambio la fealdad, el error es ilimitado, por lo que es más fácil identificar a alguien que se confunde o se separa de los cánones normales donde todos coinciden.

Bibliografía:

• Citación nacional vs internacional. Nos da una idea de en qué ámbito se mueven los autores. Incluso podemos saber a qué país pertenecen.
• Citación excesiva a libros. Dependiendo de la temática del trabajo podemos pensar que el autor  es amateur, nacional, un doctorando, etc.
• Citación a un pre-print. Si un autor cita un pre-print no publicado es evidente que es su autor.
• Citación excesiva a un autor. Cuando Mr X cita excesivamente a un autor las sospechas aumentan, sobre todo cuando los trabajos no se relacionan directamente con el artículo presentado. 
• Citación a materiales raros. Cuando se citan materiales poco comunes, tesis, congresos, descriptores de asignaturas deberíamos sospechar el porqué de esta práctica. Si encima los materiales no están disponibles en internet o citados en Google Scholar es muy probable que el autor de estos sea el autor de la obra. Un golpe de tuerca sería además buscar si estos materiales han sido citados previamente.
• Citación excesiva a una revista (especialmente los dos últimos años). Deberíamos ver quién es el editor de la revista o quién del staff publica sobre este tema.
• En general, si se tienen sospechosos podemos comprobar sus parámetros de citación en busca de similitudes. Como dice Emilio Delgado en relación a la ciencia "Somos lo que comemos".

Cómo descartar

• Descartar a los autores con los que se muestre disconformidad.
• Descartar a los popes de la disciplina que no son citados. Muchas veces este hecho viene dado por enemistades, lo que nos da una pista más de Mr. X.

En fin, probablemente se me habrá olvidado algún consejo más (tengo esa sensación). Espero que el lector ahora sepa identificar mejor a los autores y camuflar mejor su identidad. Si a alguien se le ocurre algún consejo más, le animo a incluirlo en los comentarios del post. 

De abril a noviembre: el crecimiento de Google Scholar Metrics

La actualización en noviembre de los rankings de revistas publicados por Google Scholar Metrics abre por primera vez la posibilidad de medir las diferencias producidas entre las ediciones de abril y noviembre de 2012 en los indicadores bibliométricos en los 10 rankings de revistas ofertados; así como, comparar la estabilidad de los rankings.

En este documento de trabajo se intenta:

1. Medir las diferencias en los indicadores bibliométricos en los 10 rankings de revistas ofrecidos por Google Scholar Metrics entre abril y noviembre de 2012
2. Comparar la estabilidad de los rankings en esos dos momentos temporales

Si quieres conocer los resultados pincha aquí

Referencia bibliográfica

Delgado López-Cózar, E.De abril a noviembre: el crecimiento de Google Scholar Metrics. EC3 Working Papers 9: 22 de noviembre de 2012. 

http://digibug.ugr.es/bitstream/10481/22466/1/Google_Scholar_Metrics.pdf

Los repositorios en Google Scholar Metrics o ¿qué hace un tipo documental como tú en un lugar como ese?

Delgado López-Cózar, Emilio (2012). Los repositorios en Google Scholar Metrics o qué hace un tipo documental como tú en un lugar como ese. EC3 Working Papers, 4, 3 de abril. Disponible en: http://digibug.ugr.es/handle/10481/20236

Los repositorios en Google Scholar Metrics o 

qué hace un tipo documental como tú en un lugar como ese 

Si en nuestra primera nota analizando las características de Google Scholar Metrics (http://eprints.rclis.org/handle/10760/16830) formulábamos una pregunta retórica para evidenciar el sinsentido de mezclar inopinadamente revistas y repositorios en un ranking, ahora ofreceremos nuevos argumentos y, sobre todo, datos empíricos que demuestran lo falaz y errónea de esta actuación de Google. 

¿Es que acaso los responsables de Google Metrics desconocen la diferente naturaleza de estos productos que impide su comparación bibliométrica? Pues bien, para aclarar esta cuestión intentemos responder a la que entiendo es la pregunta crucial ¿En qué se parece un repositorio a una revista científica? A mi juicio en bastante poco. 

No es razonable comparar los repositorios, que son depósitos digitales de una cobertura temática muy amplia (multidisciplinar), creados para guardar y difundir materiales académicos muy diversos, con las revistas científicas que son medios destinados a publicar exclusivamente trabajos de investigación en un ámbito temático muy restringido (disciplina o especialidad), y que son seleccionados tras un estricto proceso de evaluación científica. 

Pero lo realmente sorprendente es que tras analizar los 160 trabajos más citados en los cuatro repositorios que ocupan los puestos cabeceros en el ranking de Google Scholar Metrics (REPEC, SSRN, ArXiv, NBER resulta que el 95% de los mismos son artículos de revistas y que la mayoría de ellos figuran simultáneamente en varios repositorios. Ante esta situación cabe preguntarse ¿A quién habría, entonces, que atribuir las citas, a la revista donde se publicó el artículo o al repositorio donde se depositó el preprint? ¿y a qué repositorio cuando el preprint figura en varios? En fin todo un despropósito. Se concluye este análisis mostrando el deficiente control bibliográfico que realiza Google Scholar Metrics. 

Si queréis conocer los detalles podéis leer el trabajo completo:

No creo que la cobertura de un producto deba plantearse como una cuestión de gusto o agrado. Google tiene derecho a hacer lo que quiera y nosotros a criticarlo. Ahora bien, cuando alguien toma una decisión, y más si está relacionada con el ámbito científico-académico, esta debe estar soportada por la lógica, esto es, apoyada en razones bien argumentadas. 

Y ahora me pregunto ¿tendremos que traducir al inglés este mensaje para que se enteren en Mountain View? ¡Qué remedio! Las críticas a algunos de los crasos errores advertidos en la nota anterior fueron subsanados inmediatamente (la revista age(years) se cayó del puesto 99 del listado de revistas en español, la revista española de cardiología quedó unificada en un solo título, los títulos abreviados de revistas fueron eliminados…).

¿Es posible usar Google Scholar para evaluar las revistas científicas nacionales en los ámbitos de Ciencias Sociales y Jurídicas? El caso de las revistas españolas.

Cabezas-Clavijo, Álvaro; Delgado-López-Cózar, Emilio (2012). “¿Es posible usar Google Scholar para evaluar las revistas científicas nacionales en los ámbitos de Ciencias Sociales y Jurídicas? El caso de las revistas españolas. EC3 Working Papers, 3, 23 de abril. Disponible en http://hdl.handle.net/10760/16888

Listado de las revistas españolas de Ciencias Sociales según su índice H
Listado de las revistas españolas de Ciencias Jurídicas según su índice H

INTRODUCCIÓN

Tras dos notas previas centradas en describir el nuevo producto de Google, Scholar Metrics (Cabezas-Clavijo y Delgado López-Cózar, 2012a) y testar su cobertura y utilidad para la evaluación de las revistas españolas de Ciencias Sociales y Jurídicas (Cabezas-Clavijo y Delgado López-Cózar, 2012b), en este tercer working paper, el foco se centra en Google Scholar como fuente de información para la evaluación de revistas científicas en general, y de entornos nacionales, en particular, en el ámbito de las Ciencias Sociales y Jurídicas. En el marco de una serie de estudios exploratorios que EC3 ha desarrollado en los últimos meses, presentamos aquí los índices H y G de las revistas españolas de Ciencias Sociales y Jurídicas, tomando Google Scholar como fuente para su cálculo. Esta línea de trabajo se centra en el uso de fuentes de información alternativas a las ofrecidas por las grandes bases de datos multidisciplinares de la ciencia (ISI y Scopus), y en el estudio de la solvencia de Google Scholar como fuente válida para análisis bibliométricos, siguiendo la prolífica línea de investigación desarrollada en los últimos años (Harzing y der Wal, 2008; Torres-Salinas et al, 2009; Aguillo, 2012).

Antes de exponer los datos más relevantes de nuestro estudio, hemos de señalar que en España existen en la actualidad diversos (incluso diríamos que demasiados) productos encaminados a valorar de manera justa la actividad investigadora en los campos de Ciencias Sociales y Humanidades. Esta furia evaluadora de las instancias responsables de la política científica y universitaria ha llevado a la creación de un verdadero estado de excepción evaluativa (Delgado López-Cózar, 2008), que vive un nuevo episodio estos días con la elección de los sexenios de investigación como factor discriminador en las universidades no sólo de los méritos en investigación, sino también como baremo para asignar horas docentes a los profesores universitarios. Productos para la evaluación en Ciencias Sociales, como DICE o IN-RECS son mencionados en algunas de las convocatorias de carácter evaluador existentes en nuestro país, aunque justo es reconocer que ninguno de ellos se ha establecido como un estándar de facto.

En nuestro caso, la exploración de Google Scholar como fuente de información obedece a razones prácticas de índole económica; las restricciones presupuestarias de los últimos tiempos nos hacen explorar formas más eficientes (si bien es probable que la familia IN-RECx sea uno de los índices bibliométricos menos costosos que se confeccionan en nuestro país), para  la elaboración de índices de impacto en las disciplinas sociales y humanísticas.

Fue el ámbito de las revistas científicas españolas de estas áreas el primero que centró nuestra atención, como es lógico, ya que nuestro grupo viene produciendo desde el año 2003 IN-RECS (Índice de impacto de las revistas españolas de Ciencias Sociales) e IN-RECJ (Índice de impacto de las revistas españolas de Ciencias Jurídicas), y desde fechas recientes IN-RECH (Índice de impacto de las revistas españolas de Ciencias Humanas), productos para evaluar la ciencia española en dichas disciplinas, escasamente cubiertas por las bases de datos tradicionales para evaluación de la actividad investigadora. Con fines experimentales, en julio 2011 hicimos una réplica de nuestros índices usando en este caso Google Scholar, incluso acariciamos en cierto momento lanzar una versión denominada IN-RECS SCHOLAR. Tras realizar las búsquedas en el susodicho buscador de los más de 1000 títulos de revistas incluidos en nuestros índices, y tras el inexcusable proceso de normalización de los datos obtuvimos unos rankings de revistas en base a dos indicadores bibliométricos,  el índice h (Hirsch, 2005) y el índice g (Egghe, 2006). La ventana de citación empleada fue de diez años: 2001-2010.

Por tratarse de un ejercicio puramente experimental y por cautela, siempre necesaria en estos temas que tanta trascendencia están tomando en España para la vida y haciendas de los investigadores e instituciones científicas, decidimos no publicar los datos, a fin de no introducir más productos que pudieran confundir, más que aclarar el panorama de la evaluación de las revistas científicas españolas. Ahora, al calor de la aparición de Google Metrics, y con el reverdecimiento del debate sobre Google Scholar como fuente válida para la evaluación creemos oportuno publicar los resultados para mostrar de manera comparativa el alcance y las posibles limitaciones de esta fuente de datos.

RESULTADOS

A modo de síntesis mostramos las revistas con mayor impacto, en función de su índice h para cada una de las categorías de IN-RECS (tabla 1) e IN-RECJ (tabla 2). 

Tabla 1: Revistas con mayor índice H según categorías IN-RECS (sombreadas en verde las revistas que ocupan posiciones dentro del primer cuartil de su categoría en el impacto acumulativo 2000-2009 en IN-RECS)

CATEGORÍA / REVISTA	INDICADORES
ANTROPOLOGÍA	H INDEX	G INDEX
PASOS. Revista de Turismo y Patrimonio Cultural	10	13
AIBR. Revista de Antropología Iberoamericana	7	8
Gazeta de Antropología	6	19
Trans. Revista Transcultural de Música	6	11
Revista de Antropología Social	6	9
Revista de Antropología Experimental	6	9
CIENCIA POLÍTICA	H INDEX	G INDEX
América Latina, Hoy. Revista de Ciencias Sociales	13	21
Revista Española de Ciencia Política	13	19
Política y Sociedad	12	15
Revista CIDOB d Afers Internacionals	9	25
Pasajes	8	15
Ecología Política. Cuadernos de Debate Internacional	8	15
Revista de Estudios Políticos	8	11
DOCUMENTACIÓN	H INDEX	G INDEX
El Profesional de la Información	19	26
Revista Española de Documentación Científica	15	20
Cybermetrics: International Journal of Scientometrics, Informetrics and Bibliometrics	11	19
Anales de Documentación	11	17
COMUNICACIÓN	H INDEX	G INDEX
Telos. Cuadernos de Comunicación e Innovación	11	13
Anàlisi: quaderns de comunicació i cultura	10	16
Zer. Revista de Estudios de Comunicación	9	13
Revista Latina de Comunicación Social	9	12
Estudios sobre el Mensaje Periodístico	8	11
Comunicar. Revista de Medios de Comunicación y Educación	8	11
Comunicación y sociedad: Revista de la Facultad de Comunicación	8	10
ECONOMÍA	H INDEX	G INDEX
Papeles de Economía Española	20	26
Spanish Economic Review	19	28
Investigaciones Económicas	19	28
Revista de Economía Aplicada	17	23
Hacienda Pública Española	16	22
Ciriec-España. Revista de Economía Pública, Social y Cooperativa	16	21
Economía Industrial	15	21
Investigaciones Regionales	13	22
Información Comercial Española. Revista de Economía	13	0
Distribución y Consumo	12	13
Moneda y Crédito	11	16
Revista Española de Financiación y Contabilidad	11	16
Revista de Historia Económica	11	16
Estudios de Economía Aplicada	11	16
Cuadernos de Turismo	11	15
Universia Business Review	11	15
Estadística Española	11	14
Cuadernos de Economía y Dirección de la Empresa	11	13
EDUCACIÓN	H INDEX	G INDEX
Enseñanza de las Ciencias. Revista de Investigación y Experiencias Didácticas	29	45
Revista Iberoamericana de Educación	21	29
Revista de Educación (Madrid)	18	15
Infancia y Aprendizaje	16	23
Profesorado. Revista de Currículum y Formación del Profesorado	15	23
Revista Interuniversitaria de Formación del Profesorado	15	22
RED. Revista de Educación a Distancia (Murcia)	15	21
Cuadernos de Pedagogía	15	18
Revista Electrónica de Enseñanza de las Ciencias	14	23
Pixel-Bit. Revista de Medios y Educación	13	19
Apunts. Educación Física y Deportes	13	18
Electronic Journal of Research in Educational Psychology	13	18
Revista de Universidad y Sociedad del Conocimiento, RUSC	12	22
RIE. Revista de Investigación Educativa	12	20
Revista Española de Pedagogía	12	18
Bordón	12	17
GEOGRAFÍA	H INDEX	G INDEX
Scripta Nova. Revista Electrónica de Geografía y Ciencias Sociales	20	26
Migraciones	14	19
Boletín de la Asociación de Geógrafos Españoles	14	18
Biblio 3W. Revista Bibliográfica de Geografía y Ciencias Sociales	12	18
Cuadernos de Turismo	11	15
Ciudad y Territorio. Estudios Territoriales	10	16
Investigaciones Geográficas	9	13
Ería	9	12
Papeles de Geografía	9	10
PSICOLOGÍA	H INDEX	G INDEX
Psicothema	37	50
International Journal of Clinical and Health Psychology	30	53
Anales de Psicología	20	28
The Spanish Journal of Psychology	18	27
Papeles del Psicólogo: Revista del Colegio Oficial de Psicólogos	18	25
International Journal of Psychology and Psychological Therapy	18	24
Infancia y Aprendizaje	16	23
Ansiedad y Estrés	16	20
Adicciones. Revista de Socidrogalcohol	16	20
Revista de Psicología Social	16	19
Análisis y Modificación de Conducta	15	21
SOCIOLOGÍA	H INDEX	G INDEX
Revista Española de Investigaciones Sociológicas	16	22
Athenea Digital. Revista de Pensamiento e Investigación Social	14	23
Revista de Estudios de Juventud	13	17
Política y Sociedad	12	16
Sistema. Revista de Ciencias Sociales	11	17
Revista Internacional de Sociología	11	15
Nómadas: Revista Crítica de Ciencias Sociales y Jurídicas	11	14
Archipiélago: Cuadernos de crítica de la cultura	10	26
Sociología del Trabajo	10	15
Claves de Razón Práctica	10	15
Redes	10	14
URBANISMO	H INDEX	G INDEX
Ciudad y Territorio. Estudios Territoriales	9	11
Revista de Obras Públicas	5	6

Tabla 2: Revistas con mayor índice H según categorías IN-RECJ (sombreadas en verde las revistas que ocupan posiciones dentro del primer cuartil de su categoría en el impacto acumulativo 2000-2009 en IN-RECJ)

CATEGORÍA / REVISTA	INDICADORES
ADMINISTRATIVO	H INDEX	G INDEX
Análisis Local	7	9
Revista de Administración Pública	6	7
Civitas. Revista Española de Derecho Administrativo	5	7
DS : Derecho y Salud	5	6
Revista Vasca de Administración Pública	4	8
Revista Aranzadi de Derecho Ambiental	4	5
Revista Catalana de Dret Públic	4	5
Cuadernos de Derecho Público	4	4
Justicia Administrativa. Revista de Derecho Administrativo	4	4
Revista Aragonesa de Administración Pública	4	4
Patrimonio Cultural y Derecho	4	4
CIVIL Y MERCANTIL	H INDEX	G INDEX
Consultor inmobiliario	7	10
Estudios sobre Consumo	5	6
Revista de Derecho Privado	5	6
Anuario de Derecho Civil	4	5
Revista de Derecho de Sociedades	4	5
Revista Jurídica de Castilla y León	4	5
Aranzadi Civil	4	4
Revista Crítica de Derecho Inmobiliario	4	4
Revista de Derecho Bancario y Bursátil	3	4
Revista de Derecho Concursal y Paraconcursal	3	4
AR: Revista de Derecho Informático	3	4
Actualidad Civil	3	3
CIRIEC-España. Revista jurídica de economía social y cooperativa	3	3
Cuadernos de Derecho y Comercio	3	3
Derecho Privado y Constitución	3	3
Revista de Derecho Mercantil	3	3
Revista de Derecho Patrimonial	3	3
CT. Catastro. Revista de la Dirección General del Catastro	3	3
IDP : Revista de Internet, Derecho y Política	3	3
Revista de Derecho de Familia. Doctrina, Jurisprudencia, Legislación	3	3
Revista de la Contratación Electrónica	3	3
Revista Española de Seguros	3	3
CONSTITUCIONAL	H INDEX	G INDEX
Revista de Estudios Políticos	8	11
Revista Española de Derecho Constitucional	6	11
Anuario Iberoamericano de Justicia Constitucional	5	16
Historia Constitucional. Revista Electrónica de Historia Constitucional	5	6
Cuadernos de Derecho Público	4	4
Revista de las Cortes Generales	3	4
Aequalitas : Revista jurídica de igualdad de oportunidades entre mujeres y hombres	3	4
Anuario de Derechos Humanos	3	4
Revista de Derecho Constitucional Europeo	3	4
Derecho Privado y Constitución	3	3
Revista de Derecho Político	3	3
Teoría y Realidad Constitucional	3	3
Empresas Políticas	3	3
ECLESIÁSTICO	H INDEX	G INDEX
Revista General de Derecho Canónico y Derecho Eclesiástico del Estado	2	2
Revista Española de Derecho Canónico	2	2
FILOSOFÍA DEL DERECHO	H INDEX	G INDEX
Doxa. Cuadernos de Filosofía del Derecho	8	10
Anales de la Cátedra Francisco Suárez	7	8
Cuadernos Electrónicos de Filosofía del Derecho	6	8
FINANCIERO	H INDEX	G INDEX
Presupuesto y Gasto Público	8	9
Revista Valenciana de Economía y Hacienda	7	9
Documentos - Instituto de Estudios Fiscales	7	9
Crónica Tributaria	6	8
Quincena Fiscal: Revista de Actualidad Fiscal	5	6
Estudios Financieros. Revista de Contabilidad y Tributación	4	5
Impuestos. Revista de Doctrina, Legislación y Jurisprudencia	4	5
Civitas. Revista Española de Derecho Financiero	4	4
INTERNACIONAL	H INDEX	G INDEX
Revista Electrónica de Estudios Internacionales	6	11
Revista de Derecho Comunitario Europeo	5	6
Noticias de la Unión Europea	5	5
Revista Española de Derecho Internacional	4	5
Cuadernos Europeos de Deusto	4	5
MULTIDISCIPLINAR	H INDEX	G INDEX
Nómadas: Revista Crítica de Ciencias Sociales y Jurídicas	11	14
Jueces para la Democracia	6	10
InDret. Revista para el análisis del derecho	6	8
Cuadernos de Derecho Judicial	5	6
DS : Derecho y Salud	5	6
ICADE. Revista de las Facultades de Derecho y Ciencias Económicas y Empresariales	5	6
Revista Catalana de Dret Públic	4	5
Actualidad Jurídica Aranzadi	4	4
Cuadernos de Derecho Público	4	4
Revista Jurídica de Catalunya	4	4
Persona y Derecho	4	4
Revista de Llengua i Dret	4	4
PENAL Y PROCESAL	H INDEX	G INDEX
Revista Electrónica de Ciencia Penal y Criminología	11	18
REIC. Revista Española de Investigación Criminológica	8	10
Revista de Derecho Penal	5	7
Revista Penal	5	7
La Ley Penal. Revista de Derecho Penal, Procesal y Penitenciario	5	5
Anuario de Psicología Jurídica	5	5
Actualidad Jurídica Aranzadi	4	4
Revista del Poder Judicial	4	4
ROMANO E HISTORIA DEL DERECHO	H INDEX	G INDEX
Historia Constitucional. Revista Electrónica de Historia Constitucional	5	6
Cuadernos de Historia del Derecho	3	3
Estudis Històrics i Documents dels Arxius de Protocols	2	3
Anuario de Historia del Derecho Español	2	2
Iura vasconiae: revista de derecho histórico y autonómico de Vasconia	2	2
Revista General de Derecho Romano	2	2
TRABAJO	H INDEX	G INDEX
Revista del Ministerio de Trabajo e Inmigración	11	14
Cuadernos de Relaciones Laborales	9	13
Revista Internacional del Trabajo	7	11
Lan Harremanak: Revista de Relaciones Laborales	6	10
Temas Laborales. Revista Andaluza de Trabajo y Bienestar Social	5	8
Revista Internacional de Seguridad Social	5	7
Revista de Derecho Social	5	6
Aranzadi Social (Estudios Doctrinales)	5	5

CONCLUSIONES

Basándonos en los datos de este trabajo exploratorio realizado en julio de 2011, nuestras conclusiones de cara al uso de Google Scholar con fines evaluativos, en general, y de revistas españolas, en particular, son las siguientes:

-    Es posible usar Google Scholar para identificar las revistas españolas nucleares de las distintas disciplinas que conforman las Ciencias Sociales. Dichos núcleos  vienen a coincidir básicamente, con algunas notables excepciones, con los resultados ofrecidos por IN-RECS (sombreadas en verde en las tablas), producto que trabaja con menores volúmenes de datos (artículos y citas) y bajo un entorno estrictamente controlado (selección de revistas fuente, procesamiento manual e individualizado de las referencias…).

-    En cambio, no ocurre lo mismo con los rankings generados en las distintas disciplinas de Ciencias Jurídicas. Para empezar, los valores de los h son de escasa entidad (el valor máximo es de 11) y, por ello, muy poco discriminatorios y mucho menos fiables. De hecho los resultados son poco reconocibles. Una posible explicación a esta escasa entidad de los valores obtenidos pueden encontrarse en la limitada circulación electrónica de las publicaciones de Ciencias Jurídicas, que se mueven en unos entornos por lo general muy controlados, y no siempre, dentro de la llamada web académica. A ello habría que añadir la escasez del uso de repositorios por parte de los investigadores en Ciencias Jurídicas, o del uso de webs académicas para colgar su producción, dos de las fuentes preferidas de Google Scholar para recuperar las publicaciones. Esto añade una nueva variable, las disciplinas que siguen teniendo una alta dependencia del formato papel para publicar van a aparecer peor reflejadas en Google Scholar que aquellas que hacen uso habitual de la publicación electrónica.

-    En julio de 2011 era necesario, y creemos que también todavía hoy, emplear series temporales mayores a la de cinco años que ha adoptado Google Scholar Metrics. La opción de usar la década no es nada descabellado para las Ciencias Sociales y Humanidades, donde los procesos de citación son mucho más lentos que para las Ciencias Experimentales. Esto genera unos resultados ciertamente estables a lo largo del tiempo, aunque también posee una serie de limitaciones como que complica a las revistas más nuevas y a aquéllas con menor producción escalar puestos en dichos rankings. Tampoco capta bien el impacto a corto plazo, por lo que se puede concluir que el uso de marcos temporales más extensos conduce a visualizar la estructura profunda de una disciplina, mientras que el uso de periodos cronológicos más cortos permitiría visualizar la situación coyuntural (trabajos muy citados, temas emergentes). En cualquier caso, esta decisión es por motivos puramente prácticos; si no se hace así los valores del h serán excesivamente pequeños y, por tanto, poco discriminatorios. Recuérdese la nota anterior en que se comparaba el índice h a cinco años de Google Scholar Metrics con el calculado a diez años por EC3  y que mostraba a las claras el mayor poder discriminador de la ventana de citación más extensa.

-    Conviene emplear además del índice h otro indicador que ayude a diferenciar los valores idénticos. Además del índice h, nuestro grupo optó por emplear el índice g, un indicador que permite captar de forma más precisa los trabajos altamente citados de los investigadores, y que se pierden cuando únicamente se usa el índice h como medida bibliométrica. El indicador usado por Scholar Metrics, la mediana de las citas recibidas por los artículos que contribuyen al índice h también es una medida adecuada para discriminar, si bien la diferencia esencial es que el índice g capta mejor los trabajos muy citados mientras que la mediana refleja mejor la citación promedio de una revista.

-    En general se detecta un ligero sesgo favorable a aquellas revistas en formato electrónico y cuyos contenidos están en acceso abierto y gratuito. Seguramente, aunque esto sería una hipótesis sujeta a comprobación, la explicación se encuentre en la contabilización de las propias autocitas, que opera plenamente en este tipo de publicaciones así como en la cada vez menor disposición de los autores a usar materiales que no estén accesibles online. Ejemplos paradigmáticos de revistas electrónicas que muestran un comportamiento mejor a través de Google Scholar que el que muestran en IN-RECS son Biblio 3W. Revista Bibliográfica de Geografía y Ciencias Sociales, Athenea Digital. Revista de Pensamiento e Investigación Social, RED. Revista de Educación a Distancia (Murcia), Distribucion y Consumo, Revista CIDOB d’Afers Internacionals, PASOS. Revista de Turismo y Patrimonio Cultural, América Latina, Hoy. Revista de Ciencias Sociales o finalmente, la Revista Electrónica de Ciencia Penal y Criminología, o la Revista Electrónica de Estudios Internacionales, en Ciencias Jurídicas.

-    Es factible y viable, haciendo uso de Google Scholar como fuente, y teniendo en cuenta las limitaciones señaladas, generar productos bibliométricos a menores costes que las herramientas de evaluación tradicionales, sin una merma significativa en su solvencia.

Entendemos que el gran problema o las grandes dudas que se ciernen sobre el empleo de Google Scholar como herramienta evaluativa en los niveles de revista e individuales tiene que ver más con la ética, el comportamiento y la sociología de la conducta humana que con los problemas de orden técnico (indicadores, normalización), que seguramente serán perfilados en el futuro. Si bien en entornos controlados también es posible trampear los resultados (una exploración en ISI o en IN-RECS por ejemplo detalla comportamientos muy anómalos en ciertas revistas encaminados sin duda a la mejora de su impacto), lo cierto es que dentro de Google Scholar cualquier persona puede inflar su índice h (o el de su revista) sin mayores problemas. En una próxima nota de EC3 se analizará más a fondo este problema. Mención aparte de despertar el narciso que habita en los científicos (Wouters y Costas, 2012), la presión por publicar avivada por los sistemas de evaluación del rendimiento científico adoptados en todos ámbitos y países puede exacerbar las malas artes y prácticas comunicativas de los científicos a fin de manipular la orientación y el sentido de los números. Y es que, a día de hoy no existen más controles o filtros para evitar el fraude en los datos que las reservas éticas y morales de los propios investigadores.

FINANCIACIÓN

Trabajo financiado con cargo al proyecto HAR2011-30383-C02-02 de la Dirección General de Investigación y Gestión del Plan Nacional de I+D+I. Ministerio de Economía y Competitividad.

REFERENCIAS

Aguillo, I. F. (2012). “Is Google Scholar useful for bibliometrics? A webometric analysis”. Scientometrics, 91(2), 343-351.

Cabezas-Clavijo, Á. & Delgado-López-Cózar, E. (2012a). “Scholar Metrics: el impacto de las revistas según Google, ¿un divertimento o un producto científico aceptable?”. EC3 Working Papers, 1 http://ec3noticias.blogspot.com.es/2012/04/scholar-metrics-el-impacto-de-las.html

Cabezas-Clavijo, Á. & Delgado-López-Cózar, E. (2012b). “Las revistas españolas de Ciencias Sociales y Jurídicas en Google Scholar Metrics, ¿están todas las que son?”. EC3 Working Papers, 2 http://ec3noticias.blogspot.com.es/2012/04/las-revistas-espanolas-de-ciencias.html

Delgado López-Cózar, E. (2008). “La evaluación científica en Humanidades y Ciencias Sociales: herramientas e indicadores”. Pamplona: Universidad de Navarra.

Egghe, L. (2006). “Theory and practise of the g-index”. Scientometrics, 69(1), 131-152.

Harzing, A.-W., & van der Wal, R. (2008). “Google Scholar as a new source for citation analysis”. Ethics in Science and Environmental Politics, 8(1), 61-73.

Hirsch, J. (2005). “An index to quantify an individual’s scientific research output”. PNAS, 102(46), 16569-16572.

Torres-Salinas, D., Ruiz-Pérez, R. & Delgado-López-Cózar, E. (2009). "Google Scholar como herramienta para la evaluación científica". El profesional de la Información, 18(5), 501-510.

Wouters, P., & Costas, R. (2012). “Users , narcissism and control – tracking the impact of scholarly publications in the 21st century”. Utrecht: SURF Foundation.

ANEXO

Listado de las revistas españolas de Ciencias Sociales según su índice H

Listado de las revistas españolas de Ciencias Jurídicas según su índice H