Análisis de cobertura del BKCI publicado en Online Information Review

Seguimos anunciando nuevos trabajos con la publicación reciente del primer análisis que realizamos del Book Citation Index y que ya reseñamos en su momento en nuestra Book Citation Index Series junto con el resto de análisis que habíamos hecho de esta base de datos. En este trabajo nos centramos en la cobertura editorial, temática e idiomática de la base de datos, centrándonos en el nivel de especialización de las editoriales así como las principales limitaciones técnicas y conceptuales de la base de datos.

Field Normalization Citation Score and Concentration Index according to the Book Citation Index. 2005-2012 (Fig. 3 de Torres-Salinas et al. 2013)

Referencia

Torres-Salinas, D., Robinson-García, N., Campanario, J.M. & Delgado López-Cózar, E. (2013). Coverage, specialization and impact of scientific publishers in the Book Citation Index. Online Information Review, 38(1)

LEE EL TEXTO COMPLETO AQUÍ

Science Communication: Flawed citation indexing

Acabamos de publicar en el último número de Science una carta en la que alertamos a la comunidad de la que consideramos la principal debibilidad de Google Scholar de cara a su uso con fines bibliométricos y de evaluación: la facilidad con la que puede ser manipulado. Para ello, reseñamos nuestro trabajo recientemente publicado en JASIST:

Delgado López-Cózar, E., Robinson-García, N & Torres-Salinas, D. The Google Scholar Experiment: How to index false papers and manipulate bibliometric indicators. Journal of the American Society for Information Science and Technology. doi:10.1002/asi.23056 Disponible en OA aquí: http://arxiv.org/ftp/arxiv/papers/1309/1309.2413.pdf

En él describimos cómo cualquiera y sin ningún tipo de conocimientos informáticos puede manipular los indicadores bibliométricos ofrecidos por Google Scholar de manera sencilla, simple y eficaz y se basa en la información ofrecida en un working paper anterior. Para ello modificamos el perfil de 47 investigadores y 52 revistas generando más de 700 citas falsas de un investigador inexistente.

LEER LA CARTA COMPLETA

Delgado López-Cózar, E., Robinson-García, N. & Torres-Salinas, D. Science Communication: Flawed Citation Indexing. Science, 342(6163), 1169. doi:10.1126/science.342.6163.1169-b.

Frentes de investigación científica de la Región de Murcia a través de mapas heliocéntricos

Hace ya unos días, se presentó en Murcia el último informe de EC3 - EC3metrics elaborado por encargo de la Fundación Séneca, la agencia regional de Ciencia y Tecnología de la Región de Murcia, y con quienes tenemos el placer de colaborar desde hace ya varios años.

Portada del informe

Este informe, denominado Frentes de investigación científica de la Región de Murcia a través de mapas heliocéntricos, analiza las principales temáticas de la investigación murciana en el periodo 2007-2011 a través de una técnica de mapping conocida como mapas heliocentricos y que ya había sido empleada con éxito en algún paper del grupo, pero que es inédita en lo que respecta a este tipo de informes. A través de esta técnica, el lector pueda aprehender de forma rápida y sencilla los principales contenidos de la investigación regional. Al mismo tiempo puede percibirse tanto el impacto, medido en términos bibliométricos, de dicha actividad científica, como el tamaño de las comunidades científicas adscritas a estos frentes de investigación. 

Detalle de mapa heliocéntrico para una de las áreas de investigación

 

A través del desglose de 21 disciplinas (10 de Ciencias, 5 de Biomedicina, 3 de Ingenierías y 3 de Ciencias Sociales) se ha logrado identificar los temas que despiertan el interés de los principales centros de I+D de la Región. Los datos presentados muestran una investigación regional muy vinculada a algunos de sus principales actividades económicas, como es la relacionada con la industria agroalimentaria y en concreto con la producción y conservación de frutas y verduras, así como en la elaboración de productos derivados como zumos o vinos.

El informe puede consultarse online desde la web de la Fundación Séneca, o descargarse completo para una lectura agradable y reposada.  

Nuevo artículo: ¿Existe relación entre el tamaño del grupo de investigación y su rendimiento científico?

En el fragor de la intensa actividad docente, científica y profesional de los últimos meses, se nos ha pasado reseñar uno de los últimos trabajos del grupo, publicado en la Revista España de Documentación Científica. Aquí tocamos el tema de la relación entre el tamaño del grupo de investigación y el rendimiento científico, asunto también derivado de la tesis doctoral recientemente defendida por Álvaro.

Así reza el resumen:

Se presenta un análisis del rendimiento de grupos de investigación desde una perspectiva bibliométrica. Tomando como caso de estudio los grupos de investigación de la Universidad de Murcia, salvo los del área de Humanidades (n=258), se indaga en la relación entre el tamaño del grupo de investigación, y su rendimiento científico, usando para ello medidas bibliométricas absolutas y relativas. Los resultados indican que los grupos con más miembros muestran valores absolutos de producción, visibilidad e impacto más elevados que el resto de grupos, como consecuencia de su mayor tamaño. En lo que respecta a los indicadores relativos, se concluye que existe relación estadísticamente significativa entre tamaño del grupo y porcentaje de publicación en revistas del primer cuartil, así como con el valor de citas normalizado. Estos resultados vienen dados por el área de Ciencias Sociales donde la productividad per cápita también se ve afectada positivamente por el mayor tamaño del grupo de investigación. En las restantes áreas, sin embargo, no hay evidencia estadística de que los indicadores relativos estén influidos por el tamaño del grupo de investigación. Finalmente, se discuten las implicaciones de estos resultados para la toma de decisiones en política científica. 

-----------

Cabezas-Clavijo, Á., Jiménez-Contreras, E., & Delgado López-Cózar, E. (2013). ¿Existe relación entre el tamaño del grupo de investigación y su rendimiento científico? Estudio de caso de una universidad española. Revista española de Documentación Científica, 36(2): e006 doi: 10.3989/redc.2013.2.984 

EC3 en el ISSI 2013

La pasada semana se celebró el 14th International Society for Scientometrics & Informetrics Conference en Viena, el principal congreso internacional en bibliometría donde estuvimos Evaristo y Nicolás en representación del Grupo EC3 presentando los distintos trabajos del grupo. Allí se reunieron alrededor de 350 personas para compartir ideas y discutir sobre los principales temas y novedades que acontecen en este campo. Hot topics como las conocidas Altmetrics y los nuevos indicadores que están surgiendo para medir el impacto social de la ciencia estuvieron ampliamente cubiertos en el congreso junto a temas más clásicos como la evaluación de universidades y los rankings, la detección de temas emergentes, la visualización de la ciencia o el desarrollo de nuevos indicadores. Asimismo, por vez primera se dedicó una sesión enteramente a la evaluación de libros y monografías (con Evaristo como moderador), una de las principales debilidades de la bibliometría de cara a la evaluación de la actividad científica.

Por nuestra parte, participamos en el congreso con tres comunicaciones distintas. La primera estuvo dedicada a los rankings de universidades, donde aprovechamos para presentar los Rankings I-UGR de Universidades, fruto de nuestra colaboración con el grupo de investigación Soft Computing, liderado por Francisco Herrera y que este año han cumplido ya con su cuarta edición:

Robinson-García, N., Moreno Torres, J.G., Torres-Salinas, D., Delgado López-Cózar, E. & Herrera, F. The role of national university rankings in an international context: the case of the I-UGR Rankings of Spanish universities. Conference Proceedings from the 14th International Society of Scientometrics and Informetrics Conference, vol. 2, 1550-1565.

http://arxiv.org/ftp/arxiv/papers/1305/1305.1216.pdf

The role of national university rankings in an international context: The case of the I-UGR Rankings of Spanish Universities from Nicolas Robinson-Garcia

Fruto de nuestra colaboración con nuestros colegas de Viena y en concreto con Juan Gorraiz y su equipo, presentamos una comunicación en la que analizamos la posibilidad de utilizar el préstamo en bibliotecas como criterio para la selección de monografías por parte de los índices de citas como el Book Citation Index:

Cabezas-Clavijo, Á., Robinson-García, N., Torres-Salinas, D., Jiménez-Contreras, E., Mikulka, T., Gumpenberger, C., Wernisch, A. & Gorraiz, J. Most borrowed is most cited? Library loans as a proxy for monograph selection in citation indexes. Conference Proceedings from the 14th International Society of Scientometrics and Informetrics Conference , vol. 2, 1237-1252.

http://arxiv.org/ftp/arxiv/papers/1305/1305.1488.pdf

Most borrowed is most cited? Library loan statistics as a proxy for monograph selection in citation indexes from Nicolas Robinson-Garcia

Finalmente, ya centrados en el Book Citation Index, hicimos un análisis sobre los patrones de citación de los libros de acuerdo a una serie de variables (libros editados, incluidos en serie y tipo de editorial). Un trabajo que es una continuación de trabajos anteriores analizando esta base de datos.

Torres-Salinas, D., Robinson-García, N., Cabezas-Clavijo, Á., Jiménez-Contreras, E. Analyzing the citation characteristics of books: Edited books, book series and types of publishers in the Book Citation Index. Conference Proceedings from the 14th International Society of Scientometrics and Informetrics Conference, vol. 1, 96-108.

http://arxiv.org/ftp/arxiv/papers/1305/1305.1483.pdf

Analyzing the citation characteristics of books: edited books, book series and types of publishers in the Book Citation Index from Nicolas Robinson-Garcia

¿Van de la mano los indicadores bibliométricos y la revisión por pares en la evaluación de proyectos?

DESCARGAR Reviewers’ Ratings and Bibliometric Indicators: Hand in Hand When Assessing Over Research Proposals?

Acabamos de publicar en PLOS ONE un trabajo en el que analizamos hasta qué punto coinciden los indicadores bibliométricos con la revisión por pares en la evaluación de proyectos de investigación. A partir de los solicitantes de proyectos en la convocatoria del Plan Nacional de Investigación en el año 2007, se determina para cada una de las áreas el grado en que ambas cuestiones van parejas. Para ello hemos contado con las puntuaciones otorgadas por la ANEP a dichos proyectos así como con el listado de proyectos concedidos por el Ministerio, entonces de Ciencia (la ANEP sólo evalúa, el Ministerio concede los proyectos).

Explicación del proceso de evaluación de proyectos en el Plan Nacional 2007

Los resultados señalan en primer lugar que los proyectos se conceden a los solicitantes que han mostrado mejor rendimiento previo. En términos bibliométricos los solicitantes que reciben proyectos presentan datos de productividad e impacto que suelen duplicar los de los solicitantes denegados. Pese a algunas discrepancias, sólo explicables bajo criterios no científicos (prioridades políticas, áreas estratégicas, re-equilibrios territoriales o de género) el sistema cumple razonablemente bien su proposito. Interesante es también señalar que, entre los cinco parámetros evaluados, el principal factor que asegura la concesión de un proyecto de investigación es el cv del investigador principal.

A partir de estos datos y de diversos análisis estadísticos, proponemos el uso de indicadores bibliométricos como complemento al peer review, para evaluar el cv de los solicitantes, ya que, de facto, es lo que están haciendo los evaluadores. También analizamos, área por área, qué indicador bibliométrico (o combinación de ellos) influye más en la concesión del proyecto (producción vs impacto)

Este estudio es uno de los pocos, hasta el momento, que analizan el proceso de evaluación y concesión de proyectos en España. Con ello pretendemos contribuir al debate sobre la política científica en nuestro país.

RESUMEN

Background

The peer review system has been traditionally challenged due to its many limitations especially for allocating funding. Bibliometric indicators may well present themselves as a complement.

Objective

We analyze the relationship between peers’ ratings and bibliometric indicators for Spanish researchers in the 2007 National R&D Plan for 23 research fields.

Methods and Materials

We analyze peers’ ratings for 2333 applications. We also gathered principal investigators’ research output and impact and studied the differences between accepted and rejected applications. We used the Web of Science database and focused on the 2002-2006 period. First, we analyzed the distribution of granted and rejected proposals considering a given set of bibliometric indicators to test if there are significant differences. Then, we applied a multiple logistic regression analysis to determine if bibliometric indicators can explain by themselves the concession of grant proposals.

Results

63.4% of the applications were funded. Bibliometric indicators for accepted proposals showed a better previous performance than for those rejected; however the correlation between peer review and bibliometric indicators is very heterogeneous among most areas. The logistic regression analysis showed that the main bibliometric indicators that explain the granting of research proposals in most cases are the output (number of published articles) and the number of papers published in journals that belong to the first quartile ranking of the Journal Citations Report.

Discussion

Bibliometric indicators predict the concession of grant proposals at least as well as peer ratings. Social Sciences and Education are the only areas where no relation was found, although this may be due to the limitations of the Web of Science’s coverage. These findings encourage the use of bibliometric indicators as a complement to peer review in most of the analyzed areas.

------------------

Cabezas-Clavijo Á., Robinson-García N., Escabias M., Jiménez-Contreras E. (2013) Reviewers’ Ratings and Bibliometric Indicators: Hand in Hand When Assessing Over Research Proposals? PLoS ONE 8(6): e68258. doi:10.1371/journal.pone.0068258

Book Citation Index y Altmetrics, nuestras contribuciones al nuevo Anuario ThinkEPI

Acaba de publicarse la última edición del anuario ThinkEPI (séptima edición ya), la publicación que con carácter anual se encarga de recoger las tendencias más destacadas en Información y Documentación. En esta ocasión el anuario 2013 recoge las notas difundidas a través de Iwetel en 2012, así como algunos informes de situación inéditos. El #giec3 participa con dos aportaciones sobre temas centrales en el grupo en los últimos tiempos: Book Citation Index y Altmetrics, o lo que es lo mismo, nuevas fuentes de información y nuevos indicadores para enriquecer los análisis de actividad científica. Como es costumbre, ya podéis descargar gratuitamente ambos trabajos.

Torres-Salinas, D. & Delgado-López-Cózar, E. (2013). Cobertura de las editoriales científicas del Book citation index en ciencias sociales y humanidades: ¿la historia se repite? Anuario ThinkEPI, 7, 110–113. [DESCARGAR]

Resumen: En 2010 Thomson lanzó un nuevo índice de citas dedicado a los libros: el Book Citation Index. Esta nueva base de datos ha abierto nuevas posibilidades para el análisis bibliométrico de campos como las humanidades y las ciencias sociales. Sin embargo debido a su juventud aún sabemos poco sobre su cobertura y especialmente de los editores científicos que se han tenido en cuenta en su elaboración. Se analiza la cobertura por países, idiomas, concentración editorial y una comparación con el producto español Scholarly publishers indicators (SPI), del CCHS/CSIC. Se concluye que tiene una orientación marcadamente anglosajona, gran concentración editorial y, para agravar la situación, ausencia de editores reputados.

Torres-Salinas, D. & Cabezas-Clavijo, Á. (2013). Altmetrics: no todo lo que se puede contar, cuenta. Anuario ThinkEPI, 7, 114–117. [DESCARGAR]

 

Resumen: En 2012 se multiplicaron las propuestas sobre nuevos indicadores asociados a aplicaciones de la web social, denominados altmetrics (o métricas alternativas) y se presentan como una alternativa a la evaluación de la actividad científica. Sin embargo, pese a las múltiples propuestas, dicho campo aún está en fase embrionaria. Se presentan algunas posibles limitaciones de los nuevos indicadores: 1) gran número de fuentes de información e indicadores que hacen difícil establecer su clasificación y relevancia; 2) muchos no tienen demasiada validez estadística por los pobres resultados que generan; 3) es difícil determinar cuál es el significado de las nuevas medidas ya que no sabemos si se mide exactamente impacto social o científico; y 4) carácter evanescente y efímero.

Nuevos trabajos sobre Google Scholar Metrics

Aprovechando la "Google Scholar week" en la UGR, damos noticia de nuestros dos últimos papers sobre Google Scholar Metrics (GSM), recién publicados y que ya podéis descargaros.

En el primero de ellos, publicado en Learned Publishing, se compara GSM con los Journal Citation Reports (JCR) de Thomson Reuters y con Scimago Journal Rank (SJR), no sólo desde el punto de vista bibliométrico sino que también en cuanto a funcionalidades, prestaciones, cobertura, etc. El artículo concluye que, pese a las limitaciones del producto de Google, es una herramienta útil para autores y editores a la hora de identificar las revistas más significativas de una disciplina ya que presenta resultados muy similares a los de JCR y SJR. Asimismo volvemos a incidir en la idea, ya apuntada en algunos de los último working papers, de que esta herramienta puede suponer una seria competencia a los productos de evaluación de revistas existentes en el mercado.

El segundo trabajo, publicado en Medicina Intensiva, tiene una orientación clara hacia los investigadores del ámbito biomédico, a los que se les presenta la nueva terna de productos de Google, Scholar Metrics y Citations, piezas clave en la popularización de la evaluación bibliométrica en los últimos tiempos. Se realiza también una revisión de las limitaciones y ventajas del índice h como indicador para la evaluación, y finalmente se comparan las revistas e investigadores más destacados en Medicina Intesiva a través de Google Scholar, Web of Science y Scopus. Se concluye que no hay variaciones sustantivas en las clasificaciones generadas a partir de una u otra fuente de datos y que, pese a los problemas técnicos, Google Scholar es una herramienta válida para los investigadores en Ciencias de la Salud, tanto a efectos de recuperación de información como de cara a la extracción de indicadores bibliométricos.

Ambos trabajos tienen el contenido embargado en las webs de las revistas por un tiempo, por lo que los hemos puesto en abierto a través de arxiv.

------------------------------------------------------------------------------------

Delgado-Lopez-Cozar, E., & Cabezas-Clavijo, A. (2013). Ranking journals: could Google Scholar Metrics be an alternative to Journal Citation Reports and Scimago Journal Rank?. Learned Publishing, 26(2), 101-114. http://dx.doi.org/10.1087/20130206
[DESCARGA DESDE ARXIV]

Cabezas-Clavijo, A., & Delgado-López-Cózar, E. (2013). Google Scholar e índice h en biomedicina: la popularización de la evaluación bibliométrica. Medicina Intensiva. http://dx.doi.org/10.1016/j.medin.2013.01.008

[DESCARGA DESDE ARXIV]

The Book Citation Index Series

En los últimos meses hemos trabajado en una serie de análisis sobre la nueva base de datos de libros científicos de Thomson Reuters: el Book Citation Index. El BKCI abre nuevas posibilidades al desarrollo de indicadores de evaluación dentro del campo de las Ciencias Sociales y las Humanidades, donde las monografías tienen una especial importancia como medio de comunicación entre investigadores. Sin embargo, como sucede siempre que surge una nueva herramienta de información científica, ésta debe ser analizada y evaluada para conocer sus fortalezas y debilidades y comprobar si se atiene a unos requisitos mínimos para su uso en el contexto de la evaluación científica y la bibliometría. A continuación os mostramos los tres primeros estudios que hemos realizado:

Torres-Salinas, D., Robinson-García, N., Campanario, J.M., Delgado López-Cózar, E. Coverage, specialization and impact of scientific publishers in the Book Citation Index. Online Information Review. Aceptado para publicación.

Este trabajo ofrece una descriptiva general de la base de datos, analizando su cobertura temática e idiomática así como el impacto de las editoriales, su nivel de especialización y limitaciones de cara al uso de esta base de datos con própósitos bibliométricos. Pondremos este paper en Acceso Abierto en cuanto sea publicado por la revista.

Torres-Salinas, D., Robinson-García, N., Jiménez-Contreras, E., Delgado López-Cózar, E. (2012). Towards a ‘Book Publishers Citation Reports’. First approach using the Book Citation Index. Revista Española de Documentación Científica, 35(4), 615-620. doi: 10.3989/redc.2012.4.1010

En este trabajo analizamos la viabilidad de un posible Book Publishers Citation Reports similar a los JCR que publica Thomson Reuters anualmente para rankear revistas. Ya anunciamos este paper cuando se publicó y está disponible en Acceso Abierto a través del enlace: http://hdl.handle.net/10481/22700

Torres-Salinas, D., Rodríguez-Sánchez, R., Robinson-García, N., Fdez-Valdivia, J., García, J.A. (2013). Mapping citation patterns of book chapters in the Book Citation Index. Journal of Informetrics, 7(2), 412-424. doi: 10.1016/j.joi.2013.01.004

Es el paper más reciente de los tres. Vamos un paso más allá y utilizamos el BKCI como fuente para analizar los patrones de citación de los capítulos de libro, poco estudiados en la literatura bibliométrica. Para ello utilizamos medidas de information gain, ya aplicadas anteriormente para comparar universidades y perfeccionamos su visualización desarrollando lo que hemos llamado como ‘heliocentric clockwise maps’. Estos mapas heliocéntricos muestran la similitud de una editorial en concreto con el estándar de la disciplina de acuerdo a su ganancia de información de acuerdo a la distribución de citas que presentan sus capítulos de libros. De manera que cuanto más próxima esté al centro, más similar es al estándar de la disciplina. Por otra parte, se denominan clockwise (según las agujas del reloj) porque el orden en el que están situadas las editoriales alrededor del eje representa el promedio de citas de cada editorial, de manera que la editorial situada en el punto más alto es la que mayor promedio de citas muestra, siguiendo un orden decreciente hasta la que se sitúa a su izquiera que es la editorial con menor promedio de citas. Este trabajo está en Acceso abierto a través del enlace: http://arxiv.org/abs/1302.5544

Heliocentric Clockwise Map para el campo de las Ciencias Sociales (Fig. 5 de Torres-Salinas et al, 2013)

Google Scholar Metrics revisado: Ahora empieza a ir en serio

DESCARGAR EC3 WORKING PAPER, 8

En lo que empieza a ser ya la tónica de esta empresa, Google ha decidido seguir sorprendiéndonos con el lanzamiento el 15 de noviembre de la actualización de Google Scholar Metrics.

Las críticas que formulamos en nuestra serie de documentos parecen que han hecho algo de mella, ya que se han corregido una buena parte de los problemas mencionados en los diversos análisis, siendo las novedades más llamativas la inclusión de rankings por áreas y disciplinas, y un importante cambio de criterio respecto al tratamiento de los documentos de repositorios.

En esta nota urgente repasamos las características más significativas de la versión revisada (noviembre 2012) de Google Scholar Metrics, subrayando las novedades y las debilidades detectadas en un primer análisis.

Delgado López-Cózar, Emilio; Cabezas-Clavijo, Álvaro (2012). Google Scholar Metrics revisado: Ahora empieza a ir en serio. EC3 Working Papers, 8: 16 de noviembre de 2012.

 

 

Lee la nota completa

Descarga el índice de áreas y disciplinas