Índice H de las revistas de Comunicación según Google Scholar Metrics (2009-2013)

Google Scholar Metrics ha realizado una tercera actualización (Google Scholar Metrics 2014: una herramienta bibliométrica "low cost"), lo que nos ha permitido volver a sacar el listado de revistas de Comunicación ordenadas según este producto, y ya van tres (2007-2011 y 2008-2012).

Este listado permite contextualizar a las principales revistas de Comunicación (aquellas que registra Google Scholar Metrics) dentro de sus diferentes entornos; nacional, regional e internacional, una visión que actualmente no ofrece ningún producto de manera tan exhaustiva.

Como resultado de esta nueva actualización el índice de revistas de Comunicación asciende a 434 revistas. En relación al listado de revistas del anterior índice (2008-2012), se incorporan 113 revistas, mientras que 26 desaparecen.

Repiso, R. y Delgado López-Cózar, E. (2013). H Index Communication Journals according to Google Scholar Metrics (2008-2013). EC3 Reports 10, 24. July, 24, 2014. [ENLACE]

Science Communication: Flawed citation indexing

Acabamos de publicar en el último número de Science una carta en la que alertamos a la comunidad de la que consideramos la principal debibilidad de Google Scholar de cara a su uso con fines bibliométricos y de evaluación: la facilidad con la que puede ser manipulado. Para ello, reseñamos nuestro trabajo recientemente publicado en JASIST:

Delgado López-Cózar, E., Robinson-García, N & Torres-Salinas, D. The Google Scholar Experiment: How to index false papers and manipulate bibliometric indicators. Journal of the American Society for Information Science and Technology. doi:10.1002/asi.23056 Disponible en OA aquí: http://arxiv.org/ftp/arxiv/papers/1309/1309.2413.pdf

En él describimos cómo cualquiera y sin ningún tipo de conocimientos informáticos puede manipular los indicadores bibliométricos ofrecidos por Google Scholar de manera sencilla, simple y eficaz y se basa en la información ofrecida en un working paper anterior. Para ello modificamos el perfil de 47 investigadores y 52 revistas generando más de 700 citas falsas de un investigador inexistente.

LEER LA CARTA COMPLETA

Delgado López-Cózar, E., Robinson-García, N. & Torres-Salinas, D. Science Communication: Flawed Citation Indexing. Science, 342(6163), 1169. doi:10.1126/science.342.6163.1169-b.

Google Scholar Metrics 2013: nada nuevo bajo el sol

Acaba de hacerse pública la versión 2013 de Google Scholar Metrics. Tenemos por fuerza que comenzar repitiendo lo que ya dijimos en nuestra revisión anterior (1) y es que en lo que empieza a ser ya la seña de identidad de esta empresa, Google ha decidido sorprendernos  con el lanzamiento de la actualización de Google Scholar Metrics, en este caso, el 25 de julio, en plenas vacaciones veraniegas. Parece que Google se ha empeñado en seguir siendo diferente, y si las empresas dedicadas a la evaluación bibliométrica de revistas (Thomson Reuters y Scopus) actualizan sus productos anualmente, Google lo ha hecho esta vez 8 meses y medio después del lanzamiento de la segunda versión del producto (15 de noviembre 2012). Recordemos que la anterior vez fue a los 7 meses y medio de su nacimiento el 1 de abril de 2012. Sin embargo, y a tenor de lo expuesto en la nota de lanzamiento parece que ésta será la única versión que se lance en 2013, lo que sugiere la actualización de este producto cobrará carácter anual.

Hemos de confesar que esperábamos el movimiento de la compañía californiana. La actualización del producto de Google era un paso lógico tras el decepcionante producto inicial  y la posterior mejora sustancial del mismo. Esta mejora apuntada en noviembre de 2012 parece, sin embargo, que no se ha visto refrendada en esta actualización de julio de 2013 ya que no se aprecian novedades o mejoras respecto a la versión previa, excepción hecha de la supresión del ranking de revista en coreano. En definitiva, Google se ha limitado a actualizar los datos. Por tanto, persisten muchos de los errores y limitaciones señalados en trabajos previos como la falta de categorización por áreas y disciplinas de las revistas no inglesas, los problemas de normalización o las dificultades para enlazar a la fuente primaria de un trabajo.

En esta nota urgente repasamos las características más significativas de esta nueva versión de Google Scholar Metrics, subrayando las novedades y las debilidades detectadas.

LEER EL ARTÍCULO COMPLETO 

--------------

Cabezas-Clavijo, Álvaro; Delgado López-Cózar, Emilio (2013). Google Scholar Metrics 2013: nada nuevo bajo el sol. EC3 Working Papers, 12 : 25 de julio de 2013. Accesible: http://arxiv.org/ftp/arxiv/papers/1307/1307.6941.pdf

El impacto de las revistas de comunicación: comparando Google Scholar Metrics, Web of Science y Scopus

The Impact of Scientific Journals of Communication: Comparing Google Scholar Metrics, Web of Science and Scopus

Como os adelantamos hace unos días (post previo), la revista COMUNICAR publicará próximamente un número especial dedicado a Evaluación Científica titulado "Los agujeros negros de la comunicación: comunicación científica y metainvestigación" coordinado por Elea Giménez y Evaristo Jiménez. En ese número el Grupo EC3 tenemos dos artículos. En este post os presentamos el segundo trabajo dedicado a las revistas de Comunicación en Google Scholar Metrics. 

Delgado López-Cozar, E. & Repiso, R. (2013). El impacto de las revistas de comunicación: comparando Google Scholar Metrics, Web of Science y Scopus. Comunicar, 41. (DOI: 10.3916/C41-2013-04)

La aparición de Google Scholar Metrics en abril de 2012 como nuevo sistema de evaluación bibliométrica de revistas científicas a partir del recuento de las citas bibliográficas que éstas han recibido en Google Scholar rompe el duopolio ejercido hasta el momento por las bases de datos Web of Science y Scopus. 

El objetivo de este trabajo es comparar la cobertura que poseen estas tres bases de datos y la similitud que puedan presentar los rankings elaborados a partir de ellas (http://bit.ly/X7HFBO). Se ha elegido como muestra las revistas de Comunicación indizadas en las tres bases de datos. Se calcula el índice h de las 277 revistas identificadas y se averigua la correlación existente entre los rankings generados. 

Figura 1. Número de revistas de Comunicación cubiertas en Google Scholar Metrics, Scopus y WOS

Google Scholar Metrics duplica la cobertura, reduce el sesgo anglosajón que poseen Web of Science y Scopus. Google Scholar Metrics proporciona índices h más elevados (un promedio de un 47% superior a Scopus y un 40% a Web of Science) con lo que permite discriminar mejor las posiciones de las revistas en el ranking. En conclusión, Google Scholar Metrics es una herramienta capaz de identificar las principales revistas de comunicación ofreciendo resultados tan solventes, fiables y válidos como los generados por Web of Science y Scopus.

Tabla 2. Ejemplo del índice h de las revistas de Comunicación en Google Scholar Metrics (2007-2011)

Respecto a un post anterior publicado sobre las revistas de Comunicación en Google Scholar Metrics, el ranking que presenta este artículo está depurado (se han eliminado revistas que no pertenecen al área) y se ha ampliado con otras revistas de Comunicación que no estaban incluidas en un principio (el presente índice registra 277 revistas, mientras que la primera versión obtenida en noviembre ofrecía 223). 

• Delgado López-Cozar, E. & Repiso, R. (2013). El impacto de las revistas de comunicación: comparando Google Scholar Metrics, Web of Science y Scopus. Comunicar, 41. (DOI: 10.3916/C41-2013-04)
  ARTÍCULO EN ESPAÑOL
• Delgado López-Cozar, E. & Repiso, R. (2013). Índice h de las revistas de Comunicación en Google Scholar Metrics (2007-2011). Comunicar, 41.
  RANKING DE REVISTAS
• Delgado López-Cozar,  E. & Repiso, R. (2013). El impacto de las revistas de comunicación: comparando Google Scholar Metrics, Web of Science y Scopus [The Impact of Scientific Journals of Communication: Comparing Google Scholar Metrics, Web of Science and Scopus]. Comunicar 41. (DOI 10.3916/C41-2013-04
  ARTÍCULO EN INGLÉS

Posicionamiento de las revistas de urbanismo y arquitectura

El pasado viernes participamos en las XXII Jornadas ABBA: La Investigación en Arquitectura, construcción y Urbanismo:  Publicación de resultados y evaluación. Sevilla 2013, Mayo, ETS Arquitectura. Universidad de Sevilla. Mesa Redonda  Estrategias y posicionamiento de las revistas de arquitectura. Aquí está la presentación:

Posicionamiento de las revistas de arquitectura y urbanismo from Torres Salinas

Nuevos trabajos sobre Google Scholar Metrics

Aprovechando la "Google Scholar week" en la UGR, damos noticia de nuestros dos últimos papers sobre Google Scholar Metrics (GSM), recién publicados y que ya podéis descargaros.

En el primero de ellos, publicado en Learned Publishing, se compara GSM con los Journal Citation Reports (JCR) de Thomson Reuters y con Scimago Journal Rank (SJR), no sólo desde el punto de vista bibliométrico sino que también en cuanto a funcionalidades, prestaciones, cobertura, etc. El artículo concluye que, pese a las limitaciones del producto de Google, es una herramienta útil para autores y editores a la hora de identificar las revistas más significativas de una disciplina ya que presenta resultados muy similares a los de JCR y SJR. Asimismo volvemos a incidir en la idea, ya apuntada en algunos de los último working papers, de que esta herramienta puede suponer una seria competencia a los productos de evaluación de revistas existentes en el mercado.

El segundo trabajo, publicado en Medicina Intensiva, tiene una orientación clara hacia los investigadores del ámbito biomédico, a los que se les presenta la nueva terna de productos de Google, Scholar Metrics y Citations, piezas clave en la popularización de la evaluación bibliométrica en los últimos tiempos. Se realiza también una revisión de las limitaciones y ventajas del índice h como indicador para la evaluación, y finalmente se comparan las revistas e investigadores más destacados en Medicina Intesiva a través de Google Scholar, Web of Science y Scopus. Se concluye que no hay variaciones sustantivas en las clasificaciones generadas a partir de una u otra fuente de datos y que, pese a los problemas técnicos, Google Scholar es una herramienta válida para los investigadores en Ciencias de la Salud, tanto a efectos de recuperación de información como de cara a la extracción de indicadores bibliométricos.

Ambos trabajos tienen el contenido embargado en las webs de las revistas por un tiempo, por lo que los hemos puesto en abierto a través de arxiv.

------------------------------------------------------------------------------------

Delgado-Lopez-Cozar, E., & Cabezas-Clavijo, A. (2013). Ranking journals: could Google Scholar Metrics be an alternative to Journal Citation Reports and Scimago Journal Rank?. Learned Publishing, 26(2), 101-114. http://dx.doi.org/10.1087/20130206
[DESCARGA DESDE ARXIV]

Cabezas-Clavijo, A., & Delgado-López-Cózar, E. (2013). Google Scholar e índice h en biomedicina: la popularización de la evaluación bibliométrica. Medicina Intensiva. http://dx.doi.org/10.1016/j.medin.2013.01.008

[DESCARGA DESDE ARXIV]

De abril a noviembre: el crecimiento de Google Scholar Metrics

La actualización en noviembre de los rankings de revistas publicados por Google Scholar Metrics abre por primera vez la posibilidad de medir las diferencias producidas entre las ediciones de abril y noviembre de 2012 en los indicadores bibliométricos en los 10 rankings de revistas ofertados; así como, comparar la estabilidad de los rankings.

En este documento de trabajo se intenta:

1. Medir las diferencias en los indicadores bibliométricos en los 10 rankings de revistas ofrecidos por Google Scholar Metrics entre abril y noviembre de 2012
2. Comparar la estabilidad de los rankings en esos dos momentos temporales

Si quieres conocer los resultados pincha aquí

Referencia bibliográfica

Delgado López-Cózar, E.De abril a noviembre: el crecimiento de Google Scholar Metrics. EC3 Working Papers 9: 22 de noviembre de 2012. 

http://digibug.ugr.es/bitstream/10481/22466/1/Google_Scholar_Metrics.pdf

Google Scholar Metrics revisado: Ahora empieza a ir en serio

DESCARGAR EC3 WORKING PAPER, 8

En lo que empieza a ser ya la tónica de esta empresa, Google ha decidido seguir sorprendiéndonos con el lanzamiento el 15 de noviembre de la actualización de Google Scholar Metrics.

Las críticas que formulamos en nuestra serie de documentos parecen que han hecho algo de mella, ya que se han corregido una buena parte de los problemas mencionados en los diversos análisis, siendo las novedades más llamativas la inclusión de rankings por áreas y disciplinas, y un importante cambio de criterio respecto al tratamiento de los documentos de repositorios.

En esta nota urgente repasamos las características más significativas de la versión revisada (noviembre 2012) de Google Scholar Metrics, subrayando las novedades y las debilidades detectadas en un primer análisis.

Delgado López-Cózar, Emilio; Cabezas-Clavijo, Álvaro (2012). Google Scholar Metrics revisado: Ahora empieza a ir en serio. EC3 Working Papers, 8: 16 de noviembre de 2012.

 

 

Lee la nota completa

Descarga el índice de áreas y disciplinas

Repositories in Google Scholar Metrics or what is this document type doing in a place as such?

Acabamos de publicar un nuevo trabajo en Cybermetrics. Se trata de un trabajo crítico sobre uno de los últimos productos de la familia Google Scholar: GS Metrics. Se trata de rankings de revistas científicas ordenados en función de su Indice H. En este caso analizamos las consecuencias que tiene la desafortunada decisión de Google Scholar de incluir en dichos listados a repositorios científicos equiparándolos a revistas. Aquí tenéis el resumen:

The present paper analyzes GS Metrics, Google's newest product aiming at ranking journals according to their H-Index. Specifically, we analyze GS Metrics' decision of considering journals and repositories as equal and therefore, including them in the product. In this sense, the authors position themselves against this decision and provide several arguments of different nature warning against the shortcomings this product has. The first one is of a conceptual nature and is related to the definition of journal and repository. Secondly, they refer at the methodological issues mixing repositories and journals can bring out. Then, they deepen on many other flaws GS Metrics presents. Finally, GS Metrics and its possible use as an evaluation tool are discussed and possible solutions to its shortcomings are provided.

 Referencia:
Delgado López-Cózar, Emilio & Robinson-García, Nicolás (2012). Repositories in Google Scholar Metrics or what is this document type doing in a place as such? Cybermetrics, 16(1), paper 4.

Google Scholar Metrics: an unreliable tool for assessing scientific journals

DOWNLOAD Google Scholar Metrics: an unreliable tool for assessing scientific journals

Acabamos de publicar en la revista El Profesional de la Información un trabajo sobre Google Scholar Metrics. Este artículo sintetiza el contenido de los diferentes working papers que hemos ido distribuyendo en los últimos meses a través del blog y de las listas de correo profesionales. Al mismo tiempo se señalan más limitaciones y deficiencias que se han localizado en un análisis más profundo de la herramienta de Google. También ofrecemos en nuestra web un documento con material adicional, en el que se ofrecen las capturas de pantalla de las limitaciones señaladas en el texto.

Tanto la versión en inglés del artículo, como la española ya están disponibles en acceso abierto.

ENGLISH ABSTRACT

We introduce Google Scholar Metrics (GSM), a new bibliometric product of Google that aims at providing the H-index for scientific journals and other information sources. We conduct a critical review of GSM showing its main characteristics and possibilities as a tool for scientific evaluation. We discuss its coverage along with the inclusion of repositories, bibliographic control, and its options for browsing and searching. We conclude that, despite Google Scholar’s value as a source for scientific assessment, GSM is an immature product with many shortcomings, and therefore we advise against its use for evaluation purposes. However, the improvement of these shortcomings would place GSM as a serious competitor to the other existing products for evaluating scientific journals.

RESUMEN EN ESPAÑOL

Se presenta Google Scholar Metrics (GSM), el nuevo producto bibliométrico de Google, que computa el índice h de revistas y otras fuentes de información científica. Se exponen las principales características de GSM, y se realiza una revisión crítica de sus posibilidades como herramienta para la evaluación de revistas científicas. Se estudia, entre otros aspectos, su cobertura, la inclusión de repositorios junto a las revistas científicas, el control bibliográfico de la información, y las posibilidades de consulta y visualización de resultados. Se concluye que, pese a las potencialidades de Google Scholar como fuente para la evaluación científica, GSM es un producto inmaduro y con múltiples limitaciones por lo que no se aconseja su uso con fines evaluativos. Igualmente se plantea que la mejora de sus prestaciones, posicionaría a GSM como una seria competencia para los productos de evaluación de revistas existentes en el mercado de la información científica.

Delgado-López-Cózar, Emilio; Cabezas-Clavijo, Álvaro. “Google Scholar Metrics: an unreliable tool for assessing scientific journals”. El Profesional de la Información, 2012, July-August, v. 21, n. 4, pp. 419-427. http://dx.doi.org/10.3145/epi.2012.jul.15 --- (Supplementary material)

Manipular Google Scholar Citations y Google Scholar Metrics: simple, sencillo y tentador

La aparición de Google Scholar Citations y Google Scholar Metrics puede suponer una auténtica revolución en la mundo de la evaluación científica porque pone al alcance de todos los científicos herramientas para la medición bibliométrica.

Si en trabajos anteriores hemos apostado abiertamente por la utilización de Google Scholar para la evaluación minimizando los efectos de sus sesgos y problemas técnicos y metodológicos, con este trabajo queremos alertar a la comunidad científica de la facilidad que existe para manipular los datos e indicadores bibliométricos.

Con el fin de alertar a la comunidad científica de la facilidad que existe para manipular los datos e indicadores bibliométricos que proporcionan estos productos de Google, os presentamos una pequeña nota en la que realizamos un simple y sencillo experimento consistente en la manipulación del impacto de los miembros de un grupo de investigación y de sus trabajos tal como son reflejados en los perfiles de autores que ofrece Google Citations así como del número de citas e índice h de una muestra de revistas.

Independientemente de los problemas técnicos y metodológicos de que adolece la familia Google Scholar, su irrupción supone una auténtica voladura de todos los controles o filtros científicos a los que estaban sometidos los investigadores, sus trabajos y las publicaciones en las que comunicaban sus resultados de investigación, constituyendo un nuevo desafío para el mundo de la evaluación. Desde el momento en que Google Scholar automáticamente rastrea, indiza y vacía cualquier documento de apariencia científica que cuelga de un dominio académico por voluntad de un autor sin sufrir ningún control externo previo (el de los repositorios es solo un filtro técnico que no opera sobre los contenidos) abre la posibilidad a que cualquier persona sin escrúpulos pueda manipular a su entero gusto y beneficio documentos que repercuten directamente sobre la evaluación de su producción e impacto bibliométrico.

Delgado López-Cózar, Emilio; Robinson-García, Nicolás; Torres-Salinas, Daniel (2012). Manipular Google Scholar Citations y Google Scholar Metrics: simple, sencillo y tentador. EC3 Working Papers 6, 29 de mayo.

SI QUIERES CONOCER TODOS LOS DETALLES DEL EXPERIMENTO, PINCHA AQUÍ

http://digibug.ugr.es/handle/10481/20469

JOURNAL SCHOLAR: Una alternativa internacional, gratuita y de libre acceso para medir el impacto de las revistas de Arte, Humanidades y Ciencias Sociales*

El grupo EC3 (Evaluación de la Ciencia y de la Comunicación Científica) de la Universidad de Granada presenta el prototipo de lo que será JOURNAL SCHOLAR, un índice bibliométrico que pretende medir el rendimiento de las revistas científicas de Arte, Humanidades y Ciencias Sociales a partir del recuento de sus publicaciones y de las citas bibliográficas que estas han recibido a través de Google Scholar.  Pretende visualizar cuál es nuestra alternativa a Google Scholar Metrics, el reciente producto lanzado por Google para evaluar el impacto de las revistas científicas, y a los tradicionales índices promovidos por Thomson Reuters (Web of Science) y Elsevier (SCOPUS), que tan exigua y sesgadamente cubren los campos científicos del Arte, las Humanidades y las Ciencias Sociales.

Tras varios años explorando las posibilidades de Google Scholar como herramienta de evaluación científica (Delgado López-Cózar 2008, 2009a-b; Torres Salinas, Ruiz Pérez y Delgado López-Cózar 2009, Delgado

López-Cózar et al. 2012a-b) en los últimos meses el grupo EC3 ha empezado a experimentar con la creación de distintos productos destinados a medir el rendimiento científico en el campo de las Humanidades y Ciencias Sociales, en general, y muy particularmente para medir el impacto de las revistas científicas en estos campos (Cabezas y Delgado López-Cózar 2012a-b-c).

Figura 1. Pantalla de inicio de JOURNAL SCHOLAR

 JOURNAL SCHOLAR acogerá publicaciones de todos los países del mundo y en todos los idiomas. Como indicadores bibliométricos se emplearán los índices H y G. Las revistas se ordenarán en cuartiles y se presentarán por períodos de 5 o 10 años bien en rankings internacionales o por regiones.

Para identificar la producción científica y las citas asociadas a la misma en Google Scholar se ha ejecutado con el software Harzing’s Publish and Perish una búsqueda bibliográfica de cada revista a fin de identificar todas sus posibles publicaciones y las citas enlazadas a las mismas. Dado que este producto tiene una vocación experimental, se ha querido probar la precisión y exhaustividad de la búsqueda a partir del ISSN de la revista y no del título, como es lo habitual. Se han tenido en cuenta los distintos ISSN que pueden estar asociados a una misma revista (normalmente ISSN de la versión impresa y de la versión online).Tras un proceso manual de depuración de resultados (eliminación de duplicados y unión de citaciones), se calcula el índice H y G de cada revista.

Figura 2. Pantalla de consulta de los listados de revistas

JOURNAL SCHOLAR

Para ilustrar las prestaciones del producto se presentan los resultados de la disciplina Information and Library Science, que ofrece un ranking en el que se calcula el impacto de 462 revistas editadas en 59 países.  Las búsquedas bibliográficas en Google Scholar se efectuaron entre el 10 y el 15 de julio de 2011.

Aprovechando los datos se realiza una comparación de  la cobertura y los resultados de JOURNAL SCHOLAR con los ofrecidos por SCOPUS y WOS en esta disciplina. JOURNAL SCHOLAR cuadruplica la cobertura, reduce el sesgo anglosajón. Al identificar muchas más citas, JOURNAL SCHOLAR proporciona índices h muy elevados (en promedio es un 44% superior a SCOPUS y un 77% aWeb of Science) con lo que permite discriminar mejor las posiciones de las revistas en el ranking.

En conclusión, se demuestra que es factible y viable generar productos bibliométricos con Google Scholar. A pesar de su carácter incontrolado (ni selección de fuentes ni normalización de datos) obtiene resultados tan solventes, fiables y válidos como los índices de SCOPUS y WOS. Y todo a ello a menores costes que las herramientas de evaluación tradicionales –aspecto trascendental dadas las millonarias sumas que cuestan los productos elaborados por Thomson Reuters y Elsevier-.

Figura 3.Pantalla de resultados de los listados de revistas

JOURNAL SCHOLAR

SI QUIERES CONOCER LOS DETALLES DEL PRODUCTO Y EL RANKING DE REVISTAS EN

Information and Library Science pincha aquí

http://digibug.ugr.es/handle/10481/20375

-----

• Cabezas
  Clavijo, Á.;  Delgado López-Cózar, E. (2012a). Scholar Metrics: the impact of journals according to Google, just an amusement or a valid scientific tool? EC3 Working Papers 1, Accesible en http://eprints.rclis.org/handle/10760/16836


• Cabezas-Clavijo, Á.; Delgado López-Cózar, E. (2012b). Las revistas españolas de Ciencias Sociales y Jurídicas en Google Scholar Metrics, ¿están todas las que son? EC3 Working Papers, 2, Accesible en http://eprints.rclis.org/handle/10760/16892


• Cabezas-Clavijo, Á.; Delgado López-Cózar, E. (2012c). ¿Es posible usar Google Scholar para evaluar las revistas científicas nacionales en los ámbitos de Ciencias Sociales y Jurídicas? El caso de las revistas españolas. EC3 Working Papers 3, 23 de abril 2012. Accesible en http://hdl.handle.net/10760/16888


• Delgado López-Cózar, E. (2008).  Qué es y cómo utilizar Google Scholar. V Foro sobre evaluación de la calidad de la
  educación superior y de la investigación. Fundación Española de Ciencia y Tecnología (FECYT) / Universidad del País Vasco. San Sebastián, 2-5 septiembre 2008. ISBN 978-84-691-3972-1. Accesible en http://ec3.ugr.es/publicaciones/Delgado_Lopez-Cozar,_E-Que_es_y_como_utilizar_Google_Scholar.pdf


• Delgado López-Cózar, E. (2009a). Google Scholar: ¿Herramienta de evaluación científica? En: II Seminario sobre
  evaluación y comunicación de la ciencia. Granada, 2 de abril, 2009.Universidad de Granada. Accesible en: http://hdl.handle.net/10760/14088


• Delgado López-Cózar, E. (2009b). Qué es y cómo utilizar Google Scholar. VI Foro sobre evaluación de la calidad de la educación superior y de la investigación. Fundación Española de Ciencia y Tecnología (FECYT) / Universidad de Vigo. Vigo, 8-11 septiembre 2009.


• Delgado López-Cózar, E.; Marcos Cartagena, D.; Cabezas Clavijo, A.; Jiménez Contreras, E.; Ruiz Pérez,
  R. (2012). Índice H de las revistas españolas de Ciencias Jurídicas según Google Scholar (2001-2010). Accesible en http://hdl.handle.net/10481/20234


• Delgado López-Cózar, E.;Marcos Cartagena, D.; Cabezas Clavijo, A.; Jiménez Contreras, E.; Ruiz Pérez,
  R. (2012). Índice H de las revistas españolas de Ciencias Sociales según Google Scholar (2001-2010). Accesible en http://hdl.handle.net/10481/20235


• Torres-Salinas, D., Ruiz-Pérez, R. & Delgado-López-Cózar, E. (2009). Google Scholar como herramienta para la evaluación científica. El profesional de la Información, 18(5): 501-510. http://ec3.ugr.es/publicaciones/d700h04j123154rr.pdf 

Los repositorios en Google Scholar Metrics o ¿qué hace un tipo documental como tú en un lugar como ese?

Delgado López-Cózar, Emilio (2012). Los repositorios en Google Scholar Metrics o qué hace un tipo documental como tú en un lugar como ese. EC3 Working Papers, 4, 3 de abril. Disponible en: http://digibug.ugr.es/handle/10481/20236

Los repositorios en Google Scholar Metrics o 

qué hace un tipo documental como tú en un lugar como ese 

Si en nuestra primera nota analizando las características de Google Scholar Metrics (http://eprints.rclis.org/handle/10760/16830) formulábamos una pregunta retórica para evidenciar el sinsentido de mezclar inopinadamente revistas y repositorios en un ranking, ahora ofreceremos nuevos argumentos y, sobre todo, datos empíricos que demuestran lo falaz y errónea de esta actuación de Google. 

¿Es que acaso los responsables de Google Metrics desconocen la diferente naturaleza de estos productos que impide su comparación bibliométrica? Pues bien, para aclarar esta cuestión intentemos responder a la que entiendo es la pregunta crucial ¿En qué se parece un repositorio a una revista científica? A mi juicio en bastante poco. 

No es razonable comparar los repositorios, que son depósitos digitales de una cobertura temática muy amplia (multidisciplinar), creados para guardar y difundir materiales académicos muy diversos, con las revistas científicas que son medios destinados a publicar exclusivamente trabajos de investigación en un ámbito temático muy restringido (disciplina o especialidad), y que son seleccionados tras un estricto proceso de evaluación científica. 

Pero lo realmente sorprendente es que tras analizar los 160 trabajos más citados en los cuatro repositorios que ocupan los puestos cabeceros en el ranking de Google Scholar Metrics (REPEC, SSRN, ArXiv, NBER resulta que el 95% de los mismos son artículos de revistas y que la mayoría de ellos figuran simultáneamente en varios repositorios. Ante esta situación cabe preguntarse ¿A quién habría, entonces, que atribuir las citas, a la revista donde se publicó el artículo o al repositorio donde se depositó el preprint? ¿y a qué repositorio cuando el preprint figura en varios? En fin todo un despropósito. Se concluye este análisis mostrando el deficiente control bibliográfico que realiza Google Scholar Metrics. 

Si queréis conocer los detalles podéis leer el trabajo completo:

No creo que la cobertura de un producto deba plantearse como una cuestión de gusto o agrado. Google tiene derecho a hacer lo que quiera y nosotros a criticarlo. Ahora bien, cuando alguien toma una decisión, y más si está relacionada con el ámbito científico-académico, esta debe estar soportada por la lógica, esto es, apoyada en razones bien argumentadas. 

Y ahora me pregunto ¿tendremos que traducir al inglés este mensaje para que se enteren en Mountain View? ¡Qué remedio! Las críticas a algunos de los crasos errores advertidos en la nota anterior fueron subsanados inmediatamente (la revista age(years) se cayó del puesto 99 del listado de revistas en español, la revista española de cardiología quedó unificada en un solo título, los títulos abreviados de revistas fueron eliminados…).