lunes, abril 23, 2012

¿Es posible usar Google Scholar para evaluar las revistas científicas nacionales en los ámbitos de Ciencias Sociales y Jurídicas? El caso de las revistas españolas.


Cabezas-Clavijo, Álvaro; Delgado-López-Cózar, Emilio (2012). “¿Es posible usar Google Scholar para evaluar las revistas científicas nacionales en los ámbitos de Ciencias Sociales y Jurídicas? El caso de las revistas españolas. EC3 Working Papers, 3, 23 de abril. Disponible en http://hdl.handle.net/10760/16888



INTRODUCCIÓN

Tras dos notas previas centradas en describir el nuevo producto de Google, Scholar Metrics (Cabezas-Clavijo y Delgado López-Cózar, 2012a) y testar su cobertura y utilidad para la evaluación de las revistas españolas de Ciencias Sociales y Jurídicas (Cabezas-Clavijo y Delgado López-Cózar, 2012b), en este tercer working paper, el foco se centra en Google Scholar como fuente de información para la evaluación de revistas científicas en general, y de entornos nacionales, en particular, en el ámbito de las Ciencias Sociales y Jurídicas. En el marco de una serie de estudios exploratorios que EC3 ha desarrollado en los últimos meses, presentamos aquí los índices H y G de las revistas españolas de Ciencias Sociales y Jurídicas, tomando Google Scholar como fuente para su cálculo. Esta línea de trabajo se centra en el uso de fuentes de información alternativas a las ofrecidas por las grandes bases de datos multidisciplinares de la ciencia (ISI y Scopus), y en el estudio de la solvencia de Google Scholar como fuente válida para análisis bibliométricos, siguiendo la prolífica línea de investigación desarrollada en los últimos años (Harzing y der Wal, 2008; Torres-Salinas et al, 2009; Aguillo, 2012).

Antes de exponer los datos más relevantes de nuestro estudio, hemos de señalar que en España existen en la actualidad diversos (incluso diríamos que demasiados) productos encaminados a valorar de manera justa la actividad investigadora en los campos de Ciencias Sociales y Humanidades. Esta furia evaluadora de las instancias responsables de la política científica y universitaria ha llevado a la creación de un verdadero estado de excepción evaluativa (Delgado López-Cózar, 2008), que vive un nuevo episodio estos días con la elección de los sexenios de investigación como factor discriminador en las universidades no sólo de los méritos en investigación, sino también como baremo para asignar horas docentes a los profesores universitarios. Productos para la evaluación en Ciencias Sociales, como DICE o IN-RECS son mencionados en algunas de las convocatorias de carácter evaluador existentes en nuestro país, aunque justo es reconocer que ninguno de ellos se ha establecido como un estándar de facto.

En nuestro caso, la exploración de Google Scholar como fuente de información obedece a razones prácticas de índole económica; las restricciones presupuestarias de los últimos tiempos nos hacen explorar formas más eficientes (si bien es probable que la familia IN-RECx sea uno de los índices bibliométricos menos costosos que se confeccionan en nuestro país), para  la elaboración de índices de impacto en las disciplinas sociales y humanísticas.

Fue el ámbito de las revistas científicas españolas de estas áreas el primero que centró nuestra atención, como es lógico, ya que nuestro grupo viene produciendo desde el año 2003 IN-RECS (Índice de impacto de las revistas españolas de Ciencias Sociales) e IN-RECJ (Índice de impacto de las revistas españolas de Ciencias Jurídicas), y desde fechas recientes IN-RECH (Índice de impacto de las revistas españolas de Ciencias Humanas), productos para evaluar la ciencia española en dichas disciplinas, escasamente cubiertas por las bases de datos tradicionales para evaluación de la actividad investigadora. Con fines experimentales, en julio 2011 hicimos una réplica de nuestros índices usando en este caso Google Scholar, incluso acariciamos en cierto momento lanzar una versión denominada IN-RECS SCHOLAR. Tras realizar las búsquedas en el susodicho buscador de los más de 1000 títulos de revistas incluidos en nuestros índices, y tras el inexcusable proceso de normalización de los datos obtuvimos unos rankings de revistas en base a dos indicadores bibliométricos,  el índice h (Hirsch, 2005) y el índice g (Egghe, 2006). La ventana de citación empleada fue de diez años: 2001-2010.

Por tratarse de un ejercicio puramente experimental y por cautela, siempre necesaria en estos temas que tanta trascendencia están tomando en España para la vida y haciendas de los investigadores e instituciones científicas, decidimos no publicar los datos, a fin de no introducir más productos que pudieran confundir, más que aclarar el panorama de la evaluación de las revistas científicas españolas. Ahora, al calor de la aparición de Google Metrics, y con el reverdecimiento del debate sobre Google Scholar como fuente válida para la evaluación creemos oportuno publicar los resultados para mostrar de manera comparativa el alcance y las posibles limitaciones de esta fuente de datos.

RESULTADOS

A modo de síntesis mostramos las revistas con mayor impacto, en función de su índice h para cada una de las categorías de IN-RECS (tabla 1) e IN-RECJ (tabla 2). 

Tabla 1: Revistas con mayor índice H según categorías IN-RECS (sombreadas en verde las revistas que ocupan posiciones dentro del primer cuartil de su categoría en el impacto acumulativo 2000-2009 en IN-RECS)
CATEGORÍA / REVISTA
INDICADORES
ANTROPOLOGÍA
H INDEX
G INDEX
PASOS. Revista de Turismo y Patrimonio Cultural
10
13
AIBR. Revista de Antropología Iberoamericana
7
8
Gazeta de Antropología
6
19
Trans. Revista Transcultural de Música
6
11
Revista de Antropología Social
6
9
Revista de Antropología Experimental
6
9
CIENCIA POLÍTICA
H INDEX
G INDEX
América Latina, Hoy. Revista de Ciencias Sociales
13
21
Revista Española de Ciencia Política
13
19
Política y Sociedad
12
15
Revista CIDOB d Afers Internacionals
9
25
Pasajes
8
15
Ecología Política. Cuadernos de Debate Internacional
8
15
Revista de Estudios Políticos
8
11
DOCUMENTACIÓN
H INDEX
G INDEX
El Profesional de la Información
19
26
Revista Española de Documentación Científica
15
20
Cybermetrics: International Journal of Scientometrics, Informetrics and Bibliometrics
11
19
Anales de Documentación
11
17
COMUNICACIÓN
H INDEX
G INDEX
Telos. Cuadernos de Comunicación e Innovación
11
13
Anàlisi: quaderns de comunicació i cultura
10
16
Zer. Revista de Estudios de Comunicación
9
13
Revista Latina de Comunicación Social
9
12
Estudios sobre el Mensaje Periodístico
8
11
Comunicar. Revista de Medios de Comunicación y Educación
8
11
Comunicación y sociedad: Revista de la Facultad de Comunicación
8
10
ECONOMÍA
H INDEX
G INDEX
Papeles de Economía Española
20
26
Spanish Economic Review
19
28
Investigaciones Económicas
19
28
Revista de Economía Aplicada
17
23
Hacienda Pública Española
16
22
Ciriec-España. Revista de Economía Pública, Social y Cooperativa
16
21
Economía Industrial
15
21
Investigaciones Regionales
13
22
Información Comercial Española. Revista de Economía
13
0
Distribución y Consumo
12
13
Moneda y Crédito
11
16
Revista Española de Financiación y Contabilidad
11
16
Revista de Historia Económica
11
16
Estudios de Economía Aplicada
11
16
Cuadernos de Turismo
11
15
Universia Business Review
11
15
Estadística Española
11
14
Cuadernos de Economía y Dirección de la Empresa
11
13
EDUCACIÓN
H INDEX
G INDEX
Enseñanza de las Ciencias. Revista de Investigación y Experiencias Didácticas
29
45
Revista Iberoamericana de Educación
21
29
Revista de Educación (Madrid)
18
15
Infancia y Aprendizaje
16
23
Profesorado. Revista de Currículum y Formación del Profesorado
15
23
Revista Interuniversitaria de Formación del Profesorado
15
22
RED. Revista de Educación a Distancia (Murcia)
15
21
Cuadernos de Pedagogía
15
18
Revista Electrónica de Enseñanza de las Ciencias
14
23
Pixel-Bit. Revista de Medios y Educación
13
19
Apunts. Educación Física y Deportes
13
18
Electronic Journal of Research in Educational Psychology
13
18
Revista de Universidad y Sociedad del Conocimiento, RUSC
12
22
RIE. Revista de Investigación Educativa
12
20
Revista Española de Pedagogía
12
18
Bordón
12
17
GEOGRAFÍA
H INDEX
G INDEX
Scripta Nova. Revista Electrónica de Geografía y Ciencias Sociales
20
26
Migraciones
14
19
Boletín de la Asociación de Geógrafos Españoles
14
18
Biblio 3W. Revista Bibliográfica de Geografía y Ciencias Sociales
12
18
Cuadernos de Turismo
11
15
Ciudad y Territorio. Estudios Territoriales
10
16
Investigaciones Geográficas
9
13
Ería
9
12
Papeles de Geografía
9
10
PSICOLOGÍA
H INDEX
G INDEX
Psicothema
37
50
International Journal of Clinical and Health Psychology
30
53
Anales de Psicología
20
28
The Spanish Journal of Psychology
18
27
Papeles del Psicólogo: Revista del Colegio Oficial de Psicólogos
18
25
International Journal of Psychology and Psychological Therapy
18
24
Infancia y Aprendizaje
16
23
Ansiedad y Estrés
16
20
Adicciones. Revista de Socidrogalcohol
16
20
Revista de Psicología Social
16
19
Análisis y Modificación de Conducta
15
21
SOCIOLOGÍA
H INDEX
G INDEX
Revista Española de Investigaciones Sociológicas
16
22
Athenea Digital. Revista de Pensamiento e Investigación Social
14
23
Revista de Estudios de Juventud
13
17
Política y Sociedad
12
16
Sistema. Revista de Ciencias Sociales
11
17
Revista Internacional de Sociología
11
15
Nómadas: Revista Crítica de Ciencias Sociales y Jurídicas
11
14
Archipiélago: Cuadernos de crítica de la cultura
10
26
Sociología del Trabajo
10
15
Claves de Razón Práctica
10
15
Redes
10
14
URBANISMO
H INDEX
G INDEX
Ciudad y Territorio. Estudios Territoriales
9
11
Revista de Obras Públicas
5
6


Tabla 2: Revistas con mayor índice H según categorías IN-RECJ (sombreadas en verde las revistas que ocupan posiciones dentro del primer cuartil de su categoría en el impacto acumulativo 2000-2009 en IN-RECJ)
CATEGORÍA / REVISTA
INDICADORES
ADMINISTRATIVO
H INDEX
G INDEX
Análisis Local
7
9
Revista de Administración Pública
6
7
Civitas. Revista Española de Derecho Administrativo
5
7
DS : Derecho y Salud
5
6
Revista Vasca de Administración Pública
4
8
Revista Aranzadi de Derecho Ambiental
4
5
Revista Catalana de Dret Públic
4
5
Cuadernos de Derecho Público
4
4
Justicia Administrativa. Revista de Derecho Administrativo
4
4
Revista Aragonesa de Administración Pública
4
4
Patrimonio Cultural y Derecho
4
4
CIVIL Y MERCANTIL
H INDEX
G INDEX
Consultor inmobiliario
7
10
Estudios sobre Consumo
5
6
Revista de Derecho Privado
5
6
Anuario de Derecho Civil
4
5
Revista de Derecho de Sociedades
4
5
Revista Jurídica de Castilla y León
4
5
Aranzadi Civil
4
4
Revista Crítica de Derecho Inmobiliario
4
4
Revista de Derecho Bancario y Bursátil
3
4
Revista de Derecho Concursal y Paraconcursal
3
4
AR: Revista de Derecho Informático
3
4
Actualidad Civil
3
3
CIRIEC-España. Revista jurídica de economía social y cooperativa
3
3
Cuadernos de Derecho y Comercio
3
3
Derecho Privado y Constitución
3
3
Revista de Derecho Mercantil
3
3
Revista de Derecho Patrimonial
3
3
CT. Catastro. Revista de la Dirección General del Catastro
3
3
IDP : Revista de Internet, Derecho y Política
3
3
Revista de Derecho de Familia. Doctrina, Jurisprudencia, Legislación
3
3
Revista de la Contratación Electrónica
3
3
Revista Española de Seguros
3
3
CONSTITUCIONAL
H INDEX
G INDEX
Revista de Estudios Políticos
8
11
Revista Española de Derecho Constitucional
6
11
Anuario Iberoamericano de Justicia Constitucional
5
16
Historia Constitucional. Revista Electrónica de Historia Constitucional
5
6
Cuadernos de Derecho Público
4
4
Revista de las Cortes Generales
3
4
Aequalitas : Revista jurídica de igualdad de oportunidades entre mujeres y hombres
3
4
Anuario de Derechos Humanos
3
4
Revista de Derecho Constitucional Europeo
3
4
Derecho Privado y Constitución
3
3
Revista de Derecho Político
3
3
Teoría y Realidad Constitucional
3
3
Empresas Políticas
3
3
ECLESIÁSTICO
H INDEX
G INDEX
Revista General de Derecho Canónico y Derecho Eclesiástico del Estado
2
2
Revista Española de Derecho Canónico
2
2
FILOSOFÍA DEL DERECHO
H INDEX
G INDEX
Doxa. Cuadernos de Filosofía del Derecho
8
10
Anales de la Cátedra Francisco Suárez
7
8
Cuadernos Electrónicos de Filosofía del Derecho
6
8
FINANCIERO
H INDEX
G INDEX
Presupuesto y Gasto Público
8
9
Revista Valenciana de Economía y Hacienda
7
9
Documentos - Instituto de Estudios Fiscales
7
9
Crónica Tributaria
6
8
Quincena Fiscal: Revista de Actualidad Fiscal
5
6
Estudios Financieros. Revista de Contabilidad y Tributación
4
5
Impuestos. Revista de Doctrina, Legislación y Jurisprudencia
4
5
Civitas. Revista Española de Derecho Financiero
4
4
INTERNACIONAL
H INDEX
G INDEX
Revista Electrónica de Estudios Internacionales
6
11
Revista de Derecho Comunitario Europeo
5
6
Noticias de la Unión Europea
5
5
Revista Española de Derecho Internacional
4
5
Cuadernos Europeos de Deusto
4
5
MULTIDISCIPLINAR
H INDEX
G INDEX
Nómadas: Revista Crítica de Ciencias Sociales y Jurídicas
11
14
Jueces para la Democracia
6
10
InDret. Revista para el análisis del derecho
6
8
Cuadernos de Derecho Judicial
5
6
DS : Derecho y Salud
5
6
ICADE. Revista de las Facultades de Derecho y Ciencias Económicas y Empresariales
5
6
Revista Catalana de Dret Públic
4
5
Actualidad Jurídica Aranzadi
4
4
Cuadernos de Derecho Público
4
4
Revista Jurídica de Catalunya
4
4
Persona y Derecho
4
4
Revista de Llengua i Dret
4
4
PENAL Y PROCESAL
H INDEX
G INDEX
Revista Electrónica de Ciencia Penal y Criminología
11
18
REIC. Revista Española de Investigación Criminológica
8
10
Revista de Derecho Penal
5
7
Revista Penal
5
7
La Ley Penal. Revista de Derecho Penal, Procesal y Penitenciario
5
5
Anuario de Psicología Jurídica
5
5
Actualidad Jurídica Aranzadi
4
4
Revista del Poder Judicial
4
4
ROMANO E HISTORIA DEL DERECHO
H INDEX
G INDEX
Historia Constitucional. Revista Electrónica de Historia Constitucional
5
6
Cuadernos de Historia del Derecho
3
3
Estudis Històrics i Documents dels Arxius de Protocols
2
3
Anuario de Historia del Derecho Español
2
2
Iura vasconiae: revista de derecho histórico y autonómico de Vasconia
2
2
Revista General de Derecho Romano
2
2
TRABAJO
H INDEX
G INDEX
Revista del Ministerio de Trabajo e Inmigración
11
14
Cuadernos de Relaciones Laborales
9
13
Revista Internacional del Trabajo
7
11
Lan Harremanak: Revista de Relaciones Laborales
6
10
Temas Laborales. Revista Andaluza de Trabajo y Bienestar Social
5
8
Revista Internacional de Seguridad Social
5
7
Revista de Derecho Social
5
6
Aranzadi Social (Estudios Doctrinales)
5
5


CONCLUSIONES

Basándonos en los datos de este trabajo exploratorio realizado en julio de 2011, nuestras conclusiones de cara al uso de Google Scholar con fines evaluativos, en general, y de revistas españolas, en particular, son las siguientes:

-    Es posible usar Google Scholar para identificar las revistas españolas nucleares de las distintas disciplinas que conforman las Ciencias Sociales. Dichos núcleos  vienen a coincidir básicamente, con algunas notables excepciones, con los resultados ofrecidos por IN-RECS (sombreadas en verde en las tablas), producto que trabaja con menores volúmenes de datos (artículos y citas) y bajo un entorno estrictamente controlado (selección de revistas fuente, procesamiento manual e individualizado de las referencias…).

-    En cambio, no ocurre lo mismo con los rankings generados en las distintas disciplinas de Ciencias Jurídicas. Para empezar, los valores de los h son de escasa entidad (el valor máximo es de 11) y, por ello, muy poco discriminatorios y mucho menos fiables. De hecho los resultados son poco reconocibles. Una posible explicación a esta escasa entidad de los valores obtenidos pueden encontrarse en la limitada circulación electrónica de las publicaciones de Ciencias Jurídicas, que se mueven en unos entornos por lo general muy controlados, y no siempre, dentro de la llamada web académica. A ello habría que añadir la escasez del uso de repositorios por parte de los investigadores en Ciencias Jurídicas, o del uso de webs académicas para colgar su producción, dos de las fuentes preferidas de Google Scholar para recuperar las publicaciones. Esto añade una nueva variable, las disciplinas que siguen teniendo una alta dependencia del formato papel para publicar van a aparecer peor reflejadas en Google Scholar que aquellas que hacen uso habitual de la publicación electrónica.

-    En julio de 2011 era necesario, y creemos que también todavía hoy, emplear series temporales mayores a la de cinco años que ha adoptado Google Scholar Metrics. La opción de usar la década no es nada descabellado para las Ciencias Sociales y Humanidades, donde los procesos de citación son mucho más lentos que para las Ciencias Experimentales. Esto genera unos resultados ciertamente estables a lo largo del tiempo, aunque también posee una serie de limitaciones como que complica a las revistas más nuevas y a aquéllas con menor producción escalar puestos en dichos rankings. Tampoco capta bien el impacto a corto plazo, por lo que se puede concluir que el uso de marcos temporales más extensos conduce a visualizar la estructura profunda de una disciplina, mientras que el uso de periodos cronológicos más cortos permitiría visualizar la situación coyuntural (trabajos muy citados, temas emergentes). En cualquier caso, esta decisión es por motivos puramente prácticos; si no se hace así los valores del h serán excesivamente pequeños y, por tanto, poco discriminatorios. Recuérdese la nota anterior en que se comparaba el índice h a cinco años de Google Scholar Metrics con el calculado a diez años por EC3  y que mostraba a las claras el mayor poder discriminador de la ventana de citación más extensa.

-    Conviene emplear además del índice h otro indicador que ayude a diferenciar los valores idénticos. Además del índice h, nuestro grupo optó por emplear el índice g, un indicador que permite captar de forma más precisa los trabajos altamente citados de los investigadores, y que se pierden cuando únicamente se usa el índice h como medida bibliométrica. El indicador usado por Scholar Metrics, la mediana de las citas recibidas por los artículos que contribuyen al índice h también es una medida adecuada para discriminar, si bien la diferencia esencial es que el índice g capta mejor los trabajos muy citados mientras que la mediana refleja mejor la citación promedio de una revista.

-    En general se detecta un ligero sesgo favorable a aquellas revistas en formato electrónico y cuyos contenidos están en acceso abierto y gratuito. Seguramente, aunque esto sería una hipótesis sujeta a comprobación, la explicación se encuentre en la contabilización de las propias autocitas, que opera plenamente en este tipo de publicaciones así como en la cada vez menor disposición de los autores a usar materiales que no estén accesibles online. Ejemplos paradigmáticos de revistas electrónicas que muestran un comportamiento mejor a través de Google Scholar que el que muestran en IN-RECS son Biblio 3W. Revista Bibliográfica de Geografía y Ciencias Sociales, Athenea Digital. Revista de Pensamiento e Investigación Social, RED. Revista de Educación a Distancia (Murcia), Distribucion y Consumo, Revista CIDOB d’Afers Internacionals, PASOS. Revista de Turismo y Patrimonio Cultural, América Latina, Hoy. Revista de Ciencias Sociales o finalmente, la Revista Electrónica de Ciencia Penal y Criminología, o la Revista Electrónica de Estudios Internacionales, en Ciencias Jurídicas.

-    Es factible y viable, haciendo uso de Google Scholar como fuente, y teniendo en cuenta las limitaciones señaladas, generar productos bibliométricos a menores costes que las herramientas de evaluación tradicionales, sin una merma significativa en su solvencia.

Entendemos que el gran problema o las grandes dudas que se ciernen sobre el empleo de Google Scholar como herramienta evaluativa en los niveles de revista e individuales tiene que ver más con la ética, el comportamiento y la sociología de la conducta humana que con los problemas de orden técnico (indicadores, normalización), que seguramente serán perfilados en el futuro. Si bien en entornos controlados también es posible trampear los resultados (una exploración en ISI o en IN-RECS por ejemplo detalla comportamientos muy anómalos en ciertas revistas encaminados sin duda a la mejora de su impacto), lo cierto es que dentro de Google Scholar cualquier persona puede inflar su índice h (o el de su revista) sin mayores problemas. En una próxima nota de EC3 se analizará más a fondo este problema. Mención aparte de despertar el narciso que habita en los científicos (Wouters y Costas, 2012), la presión por publicar avivada por los sistemas de evaluación del rendimiento científico adoptados en todos ámbitos y países puede exacerbar las malas artes y prácticas comunicativas de los científicos a fin de manipular la orientación y el sentido de los números. Y es que, a día de hoy no existen más controles o filtros para evitar el fraude en los datos que las reservas éticas y morales de los propios investigadores.

FINANCIACIÓN

Trabajo financiado con cargo al proyecto HAR2011-30383-C02-02 de la Dirección General de Investigación y Gestión del Plan Nacional de I+D+I. Ministerio de Economía y Competitividad.

REFERENCIAS

Aguillo, I. F. (2012). “Is Google Scholar useful for bibliometrics? A webometric analysis”. Scientometrics, 91(2), 343-351.

Cabezas-Clavijo, Á. & Delgado-López-Cózar, E. (2012a). “Scholar Metrics: el impacto de las revistas según Google, ¿un divertimento o un producto científico aceptable?”. EC3 Working Papers, 1 http://ec3noticias.blogspot.com.es/2012/04/scholar-metrics-el-impacto-de-las.html

Cabezas-Clavijo, Á. & Delgado-López-Cózar, E. (2012b). “Las revistas españolas de Ciencias Sociales y Jurídicas en Google Scholar Metrics, ¿están todas las que son?”. EC3 Working Papers, 2 http://ec3noticias.blogspot.com.es/2012/04/las-revistas-espanolas-de-ciencias.html

Delgado López-Cózar, E. (2008). “La evaluación científica en Humanidades y Ciencias Sociales: herramientas e indicadores”. Pamplona: Universidad de Navarra.

Egghe, L. (2006). “Theory and practise of the g-index”. Scientometrics, 69(1), 131-152.

Harzing, A.-W., & van der Wal, R. (2008). “Google Scholar as a new source for citation analysis”. Ethics in Science and Environmental Politics, 8(1), 61-73.

Hirsch, J. (2005). “An index to quantify an individual’s scientific research output”. PNAS, 102(46), 16569-16572.

Torres-Salinas, D., Ruiz-Pérez, R. & Delgado-López-Cózar, E. (2009). "Google Scholar como herramienta para la evaluación científica". El profesional de la Información, 18(5), 501-510.

Wouters, P., & Costas, R. (2012). “Users , narcissism and control – tracking the impact of scholarly publications in the 21st century”. Utrecht: SURF Foundation.

ANEXO

Listado de las revistas españolas de Ciencias Sociales según su índice H

Listado de las revistas españolas de Ciencias Jurídicas según su índice H

No hay comentarios: