EC3 ofrece la segunda nota de la serie sobre Google Scholar. En este caso se estudia la cobertura de las revistas españolas de Ciencias Sociales y Jurídicas en Google Metrics y se desaconseja el uso de esta nueva herramienta para la evaluación de publicaciones en dichas disciplinas
----------------
Cabezas-Clavijo, Álvaro; Delgado-López-Cózar, Emilio (2012). “Las revistas españolas de Ciencias Sociales y Jurídicas en Google Scholar Metrics, ¿están todas las que son?”
EC3 Working Papers, 2, 17 de abril. Disponible en
http://hdl.handle.net/10760/16892
INTRODUCCIÓN
Hemos de confesar que la carrera iniciada por Google Scholar con sus productos
Citations, nacido en julio de 2011 (
Cabezas-Clavijo y Torres-Salinas, 2012) y Metrics, lanzado hace pocos días ha cogido al grupo
EC3 (Evaluacion de la Ciencia y de la Comunicación Científica) en plena faena de experimentación de las potencialidades que ofrece el buscador para la medición del impacto de la producción científica generada en España en el ámbito de las Humanidades y Ciencias Sociales.
En este sentido, el producto recién lanzado por la compañía de Silicon Valley nos lleva a la necesidad de diferenciar desde un primer momento entre la
fuente de información Google Scholar, y el
producto Google Scholar Metrics. En este análisis, siguiendo la serie iniciada en la nota anterior (
Cabezas-Clavijo y Delgado-López-Cózar, 2012), nos ocupamos del
producto Google Scholar Metrics, estudiando su cobertura en lo que concierne a las revistas españolas de Ciencias Sociales y Jurídicas, y discutiendo su potencial uso como herramienta para la evaluación en estas áreas.
Uno de los primeros estudios a realizar, a fin de testar la utilidad de Google Scholar Metrics para fines evaluativos, es la medición de su cobertura. Así, tomando como caso las revistas españolas más influyentes en los índices
IN-RECS (Índice de impacto de las revistas españolas de Ciencias Sociales) e
IN-RECJ (Índice de impacto de las revistas españolas de Ciencias Jurídicas), se ha calculado la tasa de cobertura para las diferentes disciplinas dentro de dichas áreas. Hay que señalar que se trata de un análisis relevante ya que Scholar Metrics excluye del cómputo del índice h a las revistas con una producción menor a 100 documentos entre 2007 y 2011, así como a aquéllas cuyo índice h es igual a cero.
RESULTADOS
Para las revistas españolas con mayor promedio de citas en IN-RECS para el período 2000-2009, la tasa de cobertura del nuevo producto de Google alcanza el 69,8%, mostrando importantes variaciones entre disciplinas. Así, Comunicación, Documentación y Ciencia Política muestran tasas de cobertura iguales o por encima del 80% mientras que Urbanismo y Economía son las disciplinas donde existen un mayor número de revistas no cubiertas por Google Scholar Metrics (tabla 1). Cuando se desciende a nivel micro, saltan a la vista notorias ausencias: Revista Española de Ciencia Política, en Ciencias Políticas, Análisis y Modificación de la Conducta en Psicología o las recientemente fusionadas Spanish Economic Review e Investigaciones Económicas, en Economía son algunas de las más llamativas.
Tabla 1: Cobertura en Google Scholar Metrics de las revistas más relevantes de IN-RECS (2000-2009) según disciplinas.
ÁREA
|
INCLUIDAS
|
NO INCLUIDAS
|
TOTAL
|
COBERTURA
|
COMUNICACIÓN
|
7
|
1
|
8
|
87,5
|
DOCUMENTACION
|
6
|
1
|
7
|
85,7
|
CIENCIA
POLÍTICA
|
8
|
2
|
10
|
80,0
|
PSICOLOGÍA
|
17
|
5
|
22
|
77,3
|
ANTROPOLOGÍA
|
6
|
2
|
8
|
75,0
|
EDUCACION
|
27
|
9
|
36
|
75,0
|
SOCIOLOGÍA
|
11
|
4
|
15
|
73,3
|
GEOGRAFÍA
|
8
|
5
|
13
|
61,5
|
ECONOMIA
|
23
|
17
|
40
|
57,5
|
URBANISMO
|
2
|
4
|
6
|
33,3
|
TOTAL (sin
duplicados)
|
113
|
49
|
162
|
69,8
|
En cuanto al Derecho, la tasa de cobertura es del 62,1%, esto es, cuatro de cada diez revistas relevantes en las Ciencias Jurídicas españolas quedan fuera de la herramienta de Google destinada a medir el impacto de las publicaciones. En este caso, junto a los umbrales de producción establecidos por Google (son muchas las revistas españolas en Jurídicas que no alcanzan los veinte trabajos al año), la menor tasa de cobertura se puede explicar porque Scholar Metrics no lista las revistas con índice h=0, algo que no es inusual en la ciencia jurídica española cuando se aplican tan leoninos marcos temporales.
Tabla 2: Cobertura en Google Scholar Metrics de las revistas más relevantes de IN-RECJ (2000-2009) según disciplinas.
ÁREA
|
INCLUIDAS
|
NO INCLUIDAS
|
TOTAL
|
COBERTURA
|
ECLESIASTICO
|
2
|
0
|
2
|
100,0
|
FINANCIERO
|
6
|
2
|
8
|
75,0
|
TRABAJO
|
9
|
3
|
12
|
75,0
|
CIVIL Y
MERCANTIL
|
16
|
6
|
22
|
72,7
|
INTERNACIONAL
|
7
|
3
|
10
|
70,0
|
CONSTITUCIONAL
|
7
|
4
|
11
|
63,6
|
ADMINISTRATIVO
|
10
|
7
|
17
|
58,8
|
MULTIDISCIPLINAR
|
12
|
11
|
23
|
52,2
|
PENAL Y
PROCESAL
|
5
|
6
|
11
|
45,5
|
FILOSOFIA
|
2
|
3
|
5
|
40,0
|
ROMANO
|
1
|
4
|
5
|
20,0
|
TOTAL (sin
duplicados)
|
72
|
44
|
116
|
62,1
|
Hay que señalar que para ambos casos se ha tomado una muestra de revistas relevantes en cada especialidad. Cabría esperar que a medida que se ampliara la muestra elegida, y dado que las revistas menos relevantes tienden a publicar menos trabajos y a generar menor impacto, la tasa de cobertura de las revistas nacionales en Sociales y Jurídicas fuera incluso más reducida.
Otro aspecto importante a reseñar es la ventana de citación elegida, con la que no podemos estar de acuerdo. En revistas de los ámbitos de las Humanidades y de las Ciencias Sociales, todas ellas, además de marcada orientación nacional, lo más prudente es emplear períodos amplios, a fin de generar valores significativos y discriminatorios. Para comprobar lo cierto de este planteamiento mostramos los índices H de las revistas españolas de Ciencias Sociales que figuran en el listado publicado por Google Metrics con una ventana de citación de 5 años (2007-2011) y los compararemos con el índice H que obtenían estas revistas en Julio de 2011 usando Google Scholar como fuente. Dichos cálculos se efectuaron por parte de EC3 para las revistas españolas de Ciencias Sociales y Jurídicas para un período de 10 años (2001-2010), trabajo que mostraremos en una próxima nota.
En la comparación de los datos de impacto recabados por EC3 en 2011, frente a los ofrecidos por Google Metrics (tabla 3), se aprecia claramente el mayor valor discriminatorio de la ventana de citación más extensa. De este modo, la extensión del rango del índice h permite aflorar diferencias importantes entre revistas de la misma especialidad. Dada la lentitud de los procesos de producción, difusión y recepción del conocimiento científico en estos campos emplear períodos más largos es beneficioso para capturar la máxima potencialidad de citación de los documentos. Véase a modo de ejemplo las revistas con índice h=10 en Scholar Metrics que en el cálculo de EC3 con ventana de diez años se extiende ahora en un rango de índice h de entre 7 y 21.
Tabla 3: Índices h de las revistas españolas más destacadas de Ciencias Sociales, calculado según Google Scholar Metrics (2012, sobre el periodo 2007-2011) y EC3 (2011, sobre el periodo 2001-2010).
REVISTA
|
GOOGLE 2007-2011
|
EC3 2001-2010
|
Psicothema
|
22
|
37
|
International Journal of Clinical and Health Psychology
|
20
|
30
|
Revista
de educación
|
15
|
18
|
El
Profesional de la Informacion
|
12
|
19
|
Scripta
Nova
|
12
|
17
|
Papeles
del Psicólogo
|
12
|
18
|
Anales de
Psicología
|
12
|
20
|
International Journal of Psychology and Psychological Therapy
|
11
|
18
|
Revista
iberoamericana de educación
|
10
|
21
|
Revista
de economía aplicada
|
10
|
17
|
Revista
de Universidad y Sociedad del Conocimiento, RUSC
|
10
|
12
|
Profesorado:
Revista de curriculum y formación del profesorado
|
10
|
15
|
Revista
de Psicodidáctica
|
10
|
7
|
Enseñanza
de las ciencias
|
9
|
29
|
Infancia
y Aprendizaje
|
9
|
16
|
Revista
Latina de comunicación social
|
9
|
9
|
Revista
de Psicología del Deporte
|
9
|
13
|
Economía
industrial
|
9
|
15
|
Pixel-Bit:
Revista de medios y educación
|
9
|
13
|
Revista
española de Documentación Científica
|
9
|
15
|
Información
Comercial Española, ICE: Revista de economía
|
9
|
13
|
Hacienda
pública española
|
8
|
16
|
Cuadernos
de Psicología del Deporte
|
8
|
9
|
Política
y sociedad
|
8
|
12
|
América
Latina Hoy
|
8
|
13
|
Cuadernos
de Pedagogía
|
8
|
15
|
Revista
Interuniversitaria de Formación del Profesorado
|
8
|
15
|
Revista
de Investigación en Educación
|
8
|
6
|
Hay que señalar que esta limitación no es exclusiva de las revistas españolas en Sociales y Humanidades, ya que es un fenómeno que afecta a las publicaciones en idiomas diferentes al inglés.
Una rápida exploración de las cien revistas con más elevados índices h por idiomas permite observar lo limitado del rango de este indicador para la mayor parte de idiomas (por ejemplo, Alemán: 27-6; Español: 24-8; Francés: 13-6; Italiano: 9-2) con lo que parece complicado la realización de evaluaciones rigurosas con tan limitados marcos temporales y las subsecuentes mínimas diferencias entre revistas.
Dicho esto,
llama igualmente la atención observar como en el plazo de un año los valores H se han incrementado notablemente, piénsese que estamos comparando un período de cinco frente a uno de diez años. Esto se explica en el hecho de que la información científica circulante en formato electrónico crece a ritmos vertiginosos y los robots de Google así lo reflejan. Como botón de muestra,
Aguillo (2012) señalaba que el número de documentos indizados en Google Scholar bajo el dominio .es era de 907.000 en agosto de 2010, mientras que un cálculo a de abril de 2012 refleja que el número de documentos recogidos por el buscador se sitúa en torno a los tres millones, es decir,
en menos de dos años, el número de documentos en Google Scholar se ha triplicado en el caso de España. Por tanto, en el futuro, por mor del crecimiento de datos tendremos números cada vez más fiables y robustos estadísticamente lo que también permitirá reducir los marcos temporales a usar para obtener datos solventes. En cualquier caso conviene recalcar que
nuestra recomendación actualmente es el uso de marcos temporales de diez años si la evaluación se refiere a revistas de ámbito nacional; si se operara en un entorno internacional, no sería necesario el uso de marcos temporales tan extensos, dado el mayor universo potencial de citación de las revistas internacionales.
CONCLUSIÓN
Los datos recabados en este análisis permiten concluir que, pese a las potencialidades de Google Scholar como fuente para evaluación de la investigación,
Scholar Metrics es un producto inmaduro que consta de múltiples limitaciones en su configuración actual para la evaluación de las publicaciones de corte nacional en los ámbitos de Ciencias Sociales y de Jurídicas, y por extensión, del conjunto de las Humanidades. Lo inadecuado del marco temporal aplicado por Google junto a la exclusión de revistas relevantes para los investigadores de múltiples disciplinas sociales y jurídicas
no aconseja por el momento el uso de Scholar Metrics en ningún proceso de evaluación.
FINANCIACIÓN
Trabajo financiado con cargo al proyecto HAR2011-30383-C02-02 de la Dirección General de Investigación y Gestión del Plan Nacional de I+D+I. MInisterio de Economía y Competitividad.
REFERENCIAS
Aguillo, I. F. (2012). “Is Google Scholar useful for bibliometrics? A webometric analysis”. Scientometrics, 91(2), 343-351.
DOI: 10.1007/s11192-011-0582-8
Cabezas-Clavijo, Á. & Delgado-López-Cózar, E. (2012). “Scholar Metrics: el impacto de las revistas según Google, ¿un divertimento o un producto científico aceptable?”. EC3noticias
http://ec3noticias.blogspot.com.es/2012/04/scholar-metrics-el-impacto-de-las.html
Cabezas-Clavijo, Á. & Torres-Salinas, D. (2012). “Google Scholar Citations y la emergencia de nuevos actores en la evaluación de la investigación”. Anuario ThinkEPI, 6.
http://ec3noticias.blogspot.com.es/2011/12/thinkepi-google-scholar-citations-y-la.html
