Scholar Metrics: el impacto de las revistas según Google, ¿un divertimento o un producto científico aceptable?

EC3 ofrece una primera valoración de urgencia del nuevo producto de Google, Scholar Metrics. En los próximos días publicaremos más análisis sobre diversos aspectos de esta nueva herramienta bibliométrica.

--------------

UPDATE: Download the English version of our paper!

Scholar Metrics: the impact of journals according to Google, just an amusement or a valid scientific tool?

-------------

Cabezas-Clavijo, Álvaro; Delgado-López-Cózar, Emilio (2012). “Scholar Metrics: el impacto de las revistas según Google, ¿un divertimento o un producto científico aceptable?”. EC3 Working Papers, 1, 9 de abril. Disponible en http://hdl.handle.net/10760/16830 

 

INTRODUCCIÓN

Google sorprendía el pasado 1 de abril con el lanzamiento de Google Scholar Metrics, un nuevo producto que ofrece un índice de impacto de las revistas científicas, medido a partir de recuentos de citas. La fecha no pasó inadvertida para la comunidad investigadora en las redes sociales que se preguntaba si era un producto real o una broma (el 1 de abril es el April Fools' Day, equivalente al Día de los Inocentes español). Sin embargo, para solaz de bibliómetras e intranquilidad de algunas multinacionales de la edición científica, el producto de Google no era una broma, sino un paso natural de Google dentro de la expansión de la familia Scholar.

Este movimiento no por esperado deja de ser relevante. Tras algún tiempo calibrándose la utilidad de Google Scholar como herramienta para la evaluación científica (Torres-Salinas, Ruiz-Pérez y Delgado-López-Cózar, 2009), Google se adentra ahora en el mismísimo santo y seña de la bibliometría: los índices de impacto de las revistas. El lanzamiento hace escasos meses de Google Scholar Citations (Cabezas-Clavijo y Torres-Salinas, 2012), herramienta de medición del impacto de los investigadores, suponía un aviso de los planes de Google en el mundo de la información y evaluación científica. La puesta en marcha ahora de la clasificación de revistas en función de su índice h entra en competencia directa con los diferentes productos e índices de revistas existentes en el mercado, y muy particularmente con los Journal Citation Reports (JCR), el estándar para la medición del impacto de las revistas.

En esta nota urgente repasamos las características más significativas de Google Scholar Metrics, señalando sus fortalezas y debilidades  (siempre teniendo en cuenta que los productos de Google van incorporando progresivamente nuevas funcionalidades), y se discuten las posibilidades de adopción para la evaluación de revistas.

DESCRIPCIÓN

Scholar Metrics ofrece en su primera versión una clasificación de las primeras cien revistas del mundo por idioma de publicación. La ordenación de estas listas se basa en el índice h de las revistas, calculado a partir de los artículos publicados en los últimos cinco años (2007-2011). Esto es, una revista con un índice h de 12 (por ejemplo, El Profesional de la Información) significa que ha publicado 12 trabajos con al menos 12 citas cada uno de ellos. Como dato adicional se ofrece asimismo la mediana del número de citas obtenida por los artículos que contribuyen al índice h. Lógicamente, el valor de la mediana nunca puede ser inferior al valor del índice h de la revista. Scholar Metrics usa este indicador (h5-median) para ordenar las revistas con el mismo valor de h-index, algo necesario dado que, al tomar valores discretos, este indicador tiene escaso poder discriminatorio. Asimismo se pueden consultar los artículos que contribuyen al índice h de cada revista.

Figura 1: Página de inicio de Google Scholar Metrics con las publicaciones con mayor índice h.

La consulta de Scholar Metrics se puede realizar de dos formas distintas:

• Accediendo a los listados por idiomas (diez en la actualidad: inglés, chino, portugués, alemán, español, francés, coreano, japonés, holandés e italiano). Se muestra por cada idioma un ranking de las 100 revistas con mayor índice h.
• Haciendo uso del buscador para buscar por palabras incluidas en los títulos de las revistas. En este caso, solo ofrece 20 resultados.  

Figura 2: Las 20 publicaciones con mayor índice h con el término "Library" en el título.

A este respecto hay que señalar que las revistas incluidas en este producto no son todas las indizadas en Google Scholar, sino que se ha hecho una selección, en base a dos criterios: solo se incluyen revistas que hayan publicado al menos 100 artículos en el periodo 2007-2011 y que hayan recibido alguna cita (esto es, se excluyen las revistas con índice h=0).

Conviene advertir que los índices de las revistas son los alcanzados por las mismas a fecha 1 de abril de 2012. No se trata, por tanto, de un sistema de información dinámico pues no se actualiza a medida que las revistas van recibiendo más citas sino que queda fijo con los datos a dicha fecha. Aunque no se anuncia, es de esperar que periódicamente Google actualice dichos listados.

Figura 3: Listado de algunos de los artículos que contribuyen al índice h de la revista El Profesional de la Información.

LIMITACIONES 

Una revisión de las prestaciones de Google Metrics junto a una primera observación de los listados de revistas ofrecidos ya apunta alguna de las principales limitaciones del producto.

• Cobertura. Resulta francamente sorprendente la ambigua por no decir confusa definición de cuáles son los documentos objeto de medición de Google Metrics. Aunque a lo largo de la escueta nota metodológica que acompaña al producto las referencias explicitas a las revistas científicas son constantes (“…If you can't find the journal you're looking for…”, “If you're wondering why your Journal…”), se declara que se incluyen artículos de revistas procedentes de las webs que cumplen los criterios de inclusión de Google así como “actas de congresos” y preprints de “algunas fuentes seleccionadas manualmente”. Hay que esperar a ver los listados ofrecidos o realizar algunas consultas bibliográficas para encontrarse con la gran sorpresa: la indiscriminada mezcla de fuentes documentales tan distintas como las revistas, repositorios (RePEc, Arxiv y Social Science Research Network), bases de datos (Cochrane database of systematic reviews), actas de congreso (IEEE Conference on Computer Vision and Pattern Recognition, CVPR; Proceedings of the ESSCIRC; Proceedings of SPIE; AIP Conference Proceedings) y working papers (Nber Working Paper Series). ¿Es que acaso los responsables de Google Metrics desconocen las diferente naturaleza de estos productos que impide su comparación bibliométrica?  Así no es de extrañar que de las diez publicaciones con mayor índice h en inglés, tres sean repositorios (RePEc, Arxiv y Social Science Research Network), probablemente algunas de esas “fuentes seleccionadas manualmente”. La pregunta es evidente: ¿por qué se seleccionan estos y no otros? Meritorios repositorios como Dialnet o E-LIS, aunque tengan distintos propósitos y coberturas, podrían aparecer perfectamente en los listados. En fin, esta decisión es sorprendente y desde luego, no está justificada, máxime cuando la inclusión se ha limitado a una serie de fuentes de información y no al conjunto de actas de congresos, bases de datos o repositorios de materiales de investigación.

• Control de fuentes: A las ya clásicas erratas detectadas por Peter Jacsó (2008) en Google Scholar, que encontró a tan prolíficos autores como Password,  Building, Introduction o View cabría añadir en Google Metrics la no tan productiva revista pero de tan simpar rareza como “Age (years)” incluida en el listado de revistas en español en el puesto 99.

• Falta de normalización. Confeccionar un índice de impacto de revistas exige un laborioso a la par que enojoso trabajo de normalización de los títulos de revista. Esto es el abc en bibliometría. Es por lo que resulta impropio que Google, reconociendo el problema pues afirman que han encontrado hasta 959 formas de nombrar a la revista PNAS (Proceedings of the National Academy of Sciences) cometa errores tan infantiles como el de la Revista Española de Cardiologia que aparece con dos entradas distintas (una con ñ con un h de 24 y otra sin ñ con un h de 19). Más inadmisible resulta que Google haya prestado tan poco cuidado a la presentación formal del producto cuando ni siquiera se ha molestado en mostrar uniformemente los títulos de las revistas: unos aparecen –los más- con su denominación completa, otros con la abreviada (Nutr Hosp, Rev Argent Cardiol, Rev. CEFAC, Rev. bras. Enferm…); algunos títulos figuran en mayúscula (REVISTA DE SALUD PÚBLICA, BOLETÍN GEOLÓGICO Y MINERO, REVISTA BRASILEIRA DE OTORRINOLARINGOLOGIA…) frente a la mayoría que se presentan en redonda. En fin, pequeños detalles que no hubiera costado mucho subsanar dado que en los listados solo se visualizan 1200 revistas.

• Consulta de resultados. Pero la principal crítica no se dirige a estos aspectos, sino que versa sobre la manera en que Google ha dispuesto la consulta de los datos. La posibilidad de consulta únicamente por idiomas es desde luego inédita en bibliometría, y tiene poco valor práctico. Lo lógico sería disponer los datos para su consulta por áreas o disciplinas científicas, dado que los indicadores bibliométricos como el índice h son enormemente dependientes de los patrones de producción y citación de cada área científica y no son comparables entre disciplinas. De esta manera la única forma de consultar las revistas con impacto en un área determinada es buscarlas una a una, y sin la certeza de si están o no incluidas, ya que no se ofrece en ninguna parte un directorio con las fuentes de información recogidas por Scholar Metrics.

UNAS REFLEXIONES FINALES

Señaladas estas limitaciones, hay que valorar positivamente este paso adelante de Google, que va a facilitar la consulta del impacto de las revistas por parte de muchos investigadores que no tienen acceso a las tradicionales bases de datos de citas, lo que puede estimular la competencia entre los diferentes productos. Asimismo la popularidad del índice h para evaluar investigadores, y su facilidad para el cálculo y comparación pueden hacer arraigar esta medida, también para la evaluación de revistas, muy especialmente en Humanidades, área que cuenta con pocos indicadores bibliométricos de impacto de las revistas.

Desde el punto de vista de la evaluación científica, ya es incuestionable que Google Scholar se adentra en este nicho de mercado y que trabaja en productos que son competencia directa de Thomson Reuters y de Elsevier. De la medida en que Scholar Metrics solvente algunas de las limitaciones referidas y se integre con los perfiles personales de Google Scholar Citations y con los resultados de la búsqueda clásica en Google Scholar dependerá muy probablemente su éxito entre los científicos y su utilidad para la comunidad evaluadora.  

De momento hay que ser muy críticos: es decepcionante ver como Google,  un imperio económico fastuoso que maneja unos recursos impresionantes, presenta un producto de tan cortos vuelos y de tan mala ejecución desde el punto de vista bibliométrico. Google debe ser consciente de que hacer productos bibliométricos serios exige algún esfuerzo y algunos medios más que poner en danza un algoritmo y un robot que produzcan automáticamente resultados. Da la impresión que para Google, la evaluación científica con herramientas bibliométricas es un campo para “jugar” y no para retar científicamente a la competencia y mejorar la cuenta de resultados.

Por último, conviene no olvidar que este producto llega en un momento de creciente debate entre la comunidad investigadora en dos frentes, diferentes pero relacionados. Por un lado, está aún candente el debate acerca de las leyes de acceso a la información científica como la Research Works Act estadounidense (Ley de Trabajos de Investigación), apoyada en principio por multinacionales como Elsevier y que retiró su apoyo a dicha ley tras el boicot a sus revistas auspiciado por un grupo de científicos, y que ha conseguido reverdecer el movimiento open access. Por otro lado, dentro de la comunidad evaluadora también existe una tendencia encaminada a la búsqueda de nuevos indicadores de impacto y visibilidad de la producción científica, dentro de las iniciativas conocidas como alt-metrics o métricas alternativas. Probablemente también en la medida en que Google sepa despertarse las simpatías de ambos movimientos aumentará su posición de fuerza en la comunidad académica. Pero sin duda lo que depertará las simpatías de los gestores de las políticas científicas es la gratuidad de los productos de la compañía de Silicon Valley en comparación con los costes de las bases de datos de Thomson Reuters y de Elsevier.

-------

Éstas son unas primeras valoraciones de urgencia de Google Scholar Metrics. En próximos días ofreceremos un análisis más detallado del producto y de las consecuencias que se derivan para la evaluación investigadora.

REFERENCIAS

Cabezas-Clavijo, Á. & Torres-Salinas, D. (2012). “Google Scholar Citations y la emergencia de nuevos actores en la evaluación de la investigación”. Anuario ThinkEPI, 6. http://ec3noticias.blogspot.com.es/2011/12/thinkepi-google-scholar-citations-y-la.html

Jacso, P. (2008). “The pros and cons of computing the h-index using Google Scholar”. Online Information Review  32(3), 437-452. http://www.jacso.info/PDFs/jacso-GS-for-h-index-unabridged.pdf

Torres-Salinas, D., Ruiz-Pérez, R. & Delgado-López-Cózar, E. (2009). "Google Scholar como herramienta para la evaluación científica". El profesional de la Información, 18(5), 501-510. http://ec3.ugr.es/publicaciones/d700h04j123154rr.pdf 

 

Traduce