miércoles, mayo 28, 2014

Sobre el número de documentos académicos visibles y libremente accesibles en la web académica. Primera reseña en GoogleScholarDigest

Hoy hemos publicado en nuestro blog Google Scholar Digest, el boletín que informa de las evidencias empíricas generadas por los trabajos de investigación publicados sobre Google Scholar, nuestra primera reseña bibliográfica.


El trabajo escogido ha sido el publicado por Khasba y Giles  en PLoS ONE la semana pasada


¿Cuántos documentos académicos son visibles y libremente accesibles en la web?
Esta es nada más y nada menos que la peliaguda cuestión a la que pretenden responder. Con esta recensión comenzamos nuestra serie de reseñas en Google Scholar Digest. La inclusión de este trabajo en nuestro boletín se justifica no sólo porque se usa Google Scholar como fuente para realizar las estimaciones sino porque se intenta calcular parcialmente su tamaño, eso sí, limitado a los documentos escritos en lengua inglesa.

Hemos adoptado una estructura estándar en el contenido de la reseña que plantee claramente cuales son las preguntas y objetivos de investigación del trabajo, su metodología (unidad de análisis, diseño, muestra), los resultados  una sección de discusión, donde mostramos nuestras opiniones sobre los fortalezas, debilidades, interrogantes, limitaciones, y consecuencias del trabajo. No obstante, hemos de confesar que esta reseña ha adquirido casi las proporciones de un working paper. La verdad es que el tema abordado es de tal calibre que ha sobrepasado la exensión recomendable para una reseña. 
En fin, simplemente desear que sea útil su lectura.
Emilio Delgado López-Cózar
Huétor Vega, 28 de mayo de 2014

miércoles, abril 30, 2014

Lanzamiento de GOOGLE SCHOLAR DIGEST. Research on Google Scholar: empirical evidences

Me place enormemente glosar públicamente desde el blog del grupo de investigación  EC3 (Evaluación de la Ciencia y de la Comunicación Científica), un nuevo producto de nuestra factoría: GOOGLE SCHOLAR DIGEST. Research on Google Scholar: empirical evidences, un boletin informativo creado y mantenido por EC3,  con la pretensión de informar sobre los resultados de las investigaciones que vayan viendo la luz sobre Google Scholar y sus productos derivados (Google Scholar Citations and Google Scholar Metrics). Dado que los productos confeccionados por Google reciben un amplio eco y suscitan, a veces, enconados debates, es imprescindible ofrecer evidencias empíricas basadas en investigación de cuales pueden ser sus usos y aplicaciones, determinando con precisión cuales son sus fortalezas y debilidades como fuente datos.
Inauguramos el blog con un primer informe que pretende sintetizar las principales evidencias empíricas existentes sobre el rendimiento de los dos principales buscadores académicos existentes a día de hoy: Google Scholar (GS) y Microsoft Academic Search (MAS), poniendo una especial atención en los siguientes tópicos: cobertura, correlación entre ranking de revistas y uso de estos buscadores académicos.


Los pobres resultados obtenidos por Microsoft Academic Search nos han conducido a descubrir un inesperado y lamentable hecho: MICROSOFT ACADEMIC SEARCH HA DEJADO DE ACTUALIZARSE DESDE 2013. Por tanto, la segunda parte de nuestro informe tiene por objetivo avanzar algunos datos que demuestran esta falta de actualización. No podemos más que entristecernos por la pérdida de prestaciones del producto de Microsoft, que atizaba la sana competencia y que había desplegado sencillos a la par que ricos indicadores bibliométricos y brillantísimas herramientas de visualización. Esperemos que resucite para bien de todos, de la búsqueda de información académica y de la evaluación científica.

Este producto no es más que la guinda a más de cinco años de trabajo continuado dentro EC3. Conscientes de las potencialidades de Google Scholar para la generación de sistemas de información con indicadores bibliométricos, el grupo EC3 decidió iniciar en 2009 una línea de investigación orientada a testar la credibilidad científica de la nueva fuente y de los nuevos productos derivados de la misma.
A modo de prontuario bio-bibliográfico de este quinquenio de investigación decir que hemos trabajado en cinco ámbitos habiendo producido más de 30 trabajos. A saber:

1. Análisis de las prestaciones y cobertura de Google Scholar y de sus productos derivados (Google Scholar Metrics & Google Scholar Citations) pero especialmente de de Google Scholar Metrics.

Los resultados de nuestras pesquisas han visto la luz bien en forma de publicaciones y documentos de trabajo bien en forma de informes destinados a la creación de índices para medir el impacto por medio de recuentos de citas de las revistas científicas de Humanidades y Ciencias Sociales.

Publicaciones y documentos de trabajo:

Delgado López-Cózar, E.; Cabezas Clavijo, A. (2013). Ranking journals: could Google Scholar Metrics be an alternative to Journal Citation Reports and Scimago Journal Rank? Learned Publishing, 26 (2): 101-113. 
 Delgado-López-Cózar, E., Orduña-Malea, E., Jiménez-Contreras, E., & Ruiz-Pérez, R. (2014). H Index Scholar: el índice h de los profesores de las universidades públicas españolas en humanidades y ciencias sociales. El Profesional de la Información, 23(1), 87-94
 Delgado López-Cozar,  E. & Repiso, R. (2013). The Impact of Scientific Journals of Communication: Comparing Google Scholar Metrics, Web of Science and Scopus. Comunicar 41. (DOI 10.3916/C41-2013-04.
 Cabezas-Clavijo A, Delgado-López-Cózar, E. (2013). Google Scholar e índice h en biomedicina: la popularización de la evaluación bibliométrica. Medicina Intensiva 37 (5), 343–354.
 Delgado-López-Cózar, E; Cabezas-Clavijo, Á. (2012). Google Scholar Metrics: an unreliable tool for assessing scientific journals. El profesional de la información, 2012, 21 (4), 419-427.
 Delgado López-Cózar, E.; Robinson-Garcia, N. Repositories in Google Scholar Metrics or what is this document type doing in a place as such? Cybermetrics, 2012, 16(1), paper 4.
 Cabezas-Clavijo, Álvaro; Delgado López-Cózar, Emilio (2013). Google Scholar Metrics 2013: nothing new under the sun. EC3 Working Papers, 12 : 25 de julio de 2013.
 Delgado López-Cózar, E. (2013). The Google Scholar Family: ¿Is it an alternative for the evaluation of science? En: IV Seminario EC3: Altmetrics y Unidades de Bibliometría. Universidad de Granada, Facultad de Comunicación y Documentación, 14-15 marzo 2013
 Delgado López-Cózar, E; Cabezas-Clavijo, Á (2012). Google Scholar Metrics updated: Now it begins to get serious. EC3 Working Papers 8: 16 de noviembre de 2012.
 Cabezas-Clavijo, Á; Delgado López-Cózar, E (2012). ¿Es posible usar Google Scholar para evaluar las revistas científicas nacionales en los ámbitos de Ciencias Sociales y Jurídicas? El caso de las revistas españolas. EC3 Working Papers 3: 23 de abril 2012.
 Cabezas-Clavijo, Á; Delgado López-Cózar, E (2012). Las revistas españolas de Ciencias Sociales y Jurídicas en Google Scholar Metrics, ¿están todas las que son? EC3 Working Papers, 2. 17 de abril de 2012. 
 Cabezas-Clavijo, Á; Delgado López-Cózar, E (2012). Scholar Metrics: the impact of journals according to Google, just an amusement or a valid scientific tool? EC3 Working Papers 1: 11 de abril de 2012.

Informes

Se han confeccionado 8 productos de evaluación bibliométrica de publicaciones científicas a partir de Google Scholar y Google Scholar Metrics. A saber:

Reina Leal, L.M.; Repiso, R.; Delgado López-Cózar, E. (2014). H Index of scientific Nursing journals according to Google Scholar Metrics (2008-2012). EC3 Reports, 8: 1 march 2014.
Delgado-López-Cózar, E., Orduña-Malea, E., Jiménez-Contreras, E., Torres Salinas, D.; Ruiz-Pérez, R. (2013). H Index Scholar: el índice h de los profesores de las universidades públicas españolas en humanidades y ciencias sociales.   http://hindexscholar.com
Ayllón, Juan Manuel; Ruiz Pérez, Rafael; Delgado López-Cózar, Emilio (2013). Índice H de las revistas científicas españolas según Google Scholar Metrics (2008-2012). EC3 Reports, 7. Granada, 18 de noviembre de 2013.
Delgado López-Cózar, E.; Ayllón, JM, Ruiz-Pérez, R. (2013). Índice H de las revistas científicas españolas según Google Scholar Metrics (2007-2011). 2ª edición. EC3 Informes, 3: 9 de abril de 2013. Available:
Repiso, Rafael; Delgado López-Cózar, Emilio (2013). H Index Communication Journals according to Google Scholar Metrics (2008-2012).
Delgado López-Cózar, E; Repiso, R. (2012). Índice H de las revistas de Comunicación según Google Scholar Metrics (2007-2011).
Delgado López-Cózar, E.; Ramírez Sánchez, M. (2013). Índice H de las revistas españolas de Historia según Google Scholar Metrics (2007-2011). EC3 Working Papers 10: 7 de febrero de 2013.
Delgado López-Cózar, E.; Orduña Malea, E.; Marcos Cartagena, D.; Jiménez Contreras, E.; Ruiz Pérez, R. (2012). JOURNAL SCHOLAR: Una alternativa internacional, gratuita y de libre acceso para medir el impacto de las revistas de Arte, Humanidades y Ciencias Sociales. EC3 Working Papers 5: 12 de mayo de 2012.
Delgado López-Cózar, E.; Marcos Cartagena, D.; Cabezas Clavijo, A.; Jiménez Contreras, E.; Ruiz Pérez, R. (2012). Índice H de las revistas españolas de Ciencias Jurídicas según Google Scholar (2001-2010).
Delgado López-Cózar, E.; Marcos Cartagena, D.; Cabezas Clavijo, A.; Jiménez Contreras, E.; Ruiz Pérez, R. (2012). Índice H de las revistas españolas de Ciencias Sociales según Google Scholar (2001-2010)1.

2. Análisis de la posibilidad de manipulación de las publicaciones, citas e indicadores bibliométricos suministrados por Google Scholar y sus productos derivados.

Delgado López-Cózar, E., Robinson-García, N., & Torres-Salinas, D.  (2013). Science Communication: Flawed Citation Indexing. Science, 342(6163): 1169.
 Delgado López-Cózar, E., Robinson-García, N., & Torres-Salinas, D. (2013). The Google Scholar Experiment: how to index false papers and manipulate bibliometric indicators. Journal of the American Society for Information Science and Technology, 65(3): 446–454.

3. Análisis de la capacidad de crecimiento en la cobertura de fuentes de Google Scholar y Google Scholar Metrics.

Orduña-Malea, E., & Delgado López-Cózar, E.  (2014). Google Scholar Metrics evolution: an analysis according to languages. Scientometrics, In press

4. Estudio de la fiabilidad y validez de Google Scholar como herramienta para la evaluación científica.

Esta actuación está en plena ejecución y es objeto de una beca FPI que disfruta Juan Manuel Ayllón. 

5. Exploración de las posibilidades de Google Scholar para generar un ranking de editoriales españolas de libros y monografías.

Esta actuación se desarrolla dentro del proyecto “Evaluación de editoriales y libros científicos españolas en Humanidades y Ciencias Sociales a traves de análisis de citas y difusión en bibliotecas (2000-2008)” (Referencia HAR2011-30383-C02-02), financiado por la Dirección General de Investigación y Gestión del Plan Nacional de I+D+I. (2012-2014) 

En fin, solo podemos prometer que una vez abierto el camino seguiremos hasta donde las fuerzas nos alcancen.
Emilio Delgado López-Cózar
Huétor Vega, 30 de abril de 2014

viernes, abril 25, 2014

Maratón docente con los nuevos doctorandos de la Universidad de Granada

Como todos sabréis este año hemos estrenado la enésima reforma del doctorado. Se están constituyendo Escuelas de Doctorado en todas las universidades, se están agrupando y reorganizando los programas de doctorado, y se está implantando un “nuevo” plan académico. En este nuevo plan se contempla un período de formación dirigido a adiestrar al doctorando fundamentalmente en habilidades metodológicas y técnicas.
 
En este contexto en la Universidad de Granada, donde los programas de doctorado  se encuentran alojados en tres Escuelas de Doctorado (Ciencia y Tecnología, Ciencias de la Salud, Humanidades/Ciencias Sociales y Jurídicas), juiciosamente se decidió fijar una formación instrumental común a todos los programas. Y dentro de esos cursos se aceptó una propuesta elevada por Evaristo y por mí, para formar a los estudiantes en la Búsqueda y gestión de la información bibliográfica. Pues bien hemos impartido cuatro cursos de 3 créditos cada uno a unos 120 doctorandos de todas las áreas de conocimiento.
El objetivo general de curso ha sido enseñar a los doctorandos a buscar y a organizar la información bibliográfica necesaria para emprender una investigación y muy en particular la requerida para su tesis doctoral.
Tras mostrar cómo se hace una investigación señalando cuáles son las fases del trabajo científico, hemos dedicado una especial atención a enseñar cómo definir el problema de investigación de la tesis con una demostración práctica y un ejercicio a realizar por todos los participantes.
A continuación, entramos en la materia central del curso: aprender a buscar información bibliográfica y a organizarla. Primero, nos centramos en aprender a diseñar nuestra estrategia de búsqueda (términos a emplear y forma de relacionarlos entre sí). Cada doctorando ha tenido que construir su ecuación de búsqueda para su tesis. En segundo lugar, hemos repasado y recomendado las principales bases de datos bibliográficas para buscar libros (Dialnet y WorldCat) y artículos de revistas y otros documentos: internacionales especializadas (utilizando la plataforma Proquest) internacionales multidisciplinares: Scopus, Web of Science, Google Scholar) y nacionales (CSIC, Dialnet). En tercer lugar, hemos repasado las formas de acceder y guardar los documentos pertinentes que deben leer necesariamente.
Por último, nos hemos ocupado de instruir en la forma de almacenar y organizar la información bibliográfica y las notas derivadas de la misma a fin de poder recuperarla cuando sea preciso y especialmente a la hora de redactar la tesis. Especial énfasis se ha puesto en la forma de redactar las referencias bibliográficas. Y para ello hemos mostrado las principales aplicaciones informáticas existentes en el mercado (Refworks. Mendeley, My Library, Refworks, Endnote).
No quisiera terminar esta crónica sin revelar cuales eran las prácticas informativas de los doctorandos que han arribado a este curso. De manera informal hicimos una pequeña encuesta sobre los conocimientos sobre búsqueda información y, especialmente, de cuáles son sus hábitos al respecto. Hay que tener en cuenta que se trata de alumnos que disponen de un grado o licenciatura y de un máster especializado (algunos, incluso, disponían de dos o tres titulaciones). Se trata, por tanto, de personas con alta formación. Pues bien,  los resultados de nuestro informal cuestionario son sumamente elocuentes:

1.    Cuando se les preguntó cómo buscaban información bibliográfica y qué fuentes o bases de datos empleaban, se evidenció:

a.     Prácticamente el 100% emplean de forma más o menos sistemática Google y Google Scholar. Esta práctica es especialmente recurrente en los doctorandos de Humanidades y Ciencias Sociales.
b.     Se detectaron diferencias acusadas según campo de conocimiento, algo que es bien sabido:
                                                    i.     En ciencia de la salud Pubmed (el histórico Medline) sigue siendo el referente indiscutible e indiscutido.
                                                   ii.     En Humanidades, Ciencias Jurídicas y, en algunas Ciencias Sociales (Antropología) Dialnet es una fuente de información muy apreciada, aunque no suscita la unanimidad de Google y Google Scholar o Pubmed.
c.    Muy pocos (no más del 10%) fueron capaces de señalar alguna otra base de datos bibliográfica sea multidisciplinar o especializada. Entre las multidisciplinares se nombraba algo más Scopus que Web of Science, pero ninguna de las dos era tan popular como uno podía intuir de antemano. En fin, algo sorprendente. De las bases de datos especializadas pocas fueron citadas (Psycinfo, MLA…)

2.     Cuando se les preguntó cómo organizaban la información bibliográfica y si empleaban algún gestor bibliográfico, las respuesta fueron:

a.  La forma mayoritaria de gestionar la información era sumamente artesanal, empleando para ello procesadores de texto. No existía una práctica sistemática y rigurosamente organizada.
b. Solo un 5% de los doctorandos fue capaz de mencionar algún gestor bibliográfico. Los más mencionados y usados fueron RefWorks y Mendeley. Una persona declaró utilizar Endnote, otra Reference Manager y otra Zotero.

Confesar que la experiencia ha sido sumamente gratificante aunque sin gratificación –de momento, eso espero–. Creo que hemos sembrado una semilla en un campo muy fértil. Los alumnos estuvieron muy receptivos, el ambiente sumamente familiar y las clases muy divertidas. Las ocurrencias de Evaristo, con quién hacía tiempo no compartía tarima, ayudaron mucho en este sentido.

No me resisto a reproducir algunos de los lisonjeros mensajes recibidos de los alumnos.

“…Para mí este curso ha sido todo un descubrimiento, no sólo por enseñarme el maravilloso mundo de los gestores bibliográficos (a partir de ahora, sin duda, Mendeley es mi mejor amigo…), sino por abrirme el universo del mundo de Scopus y Web of Science, que desde entonces utilizo a menudo….
De nuevo, muchas gracias por todo…”
 “…agradecer nuevamente a ambos por las lecciones del seminario porque me han sido de muchísima utilidad, en la forma de organizarme, buscar datos y demás, fructífero 100 x 100…”
“…Gracias por facilitarnos la información y hacer tan amenas aquellas clases, la verdad es que me fue de mucha utilidad…”
 “…Le agradezco su clase, me ha servido de mucho… gracias por enseñarnos todas estas herramientas tan útiles, nuevamente un gran saludo…”
 “…gracias de nuevo por compartir con nosotros sus conocimientos…”
“…Aplicaré sus consultas inmediatamente, porque han sido muy útiles!”
 “Muchas gracias por el taller, ha sido muy útil”
“…Finalmente, le agradezco la claridad expositiva del Taller el cual me ha parecido muy útil”
“Me gustó mucho el curso y creo que nos es de mucha utilidad”
“Gracias a ambos por el curso, sin duda seguro que nos será muy útil…”

Para un profesor no hay mejor recompensa que el reconocimiento proveniente de sus discípulos. Una auténtica inyección de moral.
Emilio Delgado López-Cózar
Huétor Vega, 25 de abril de 2014

martes, abril 22, 2014

A las puertas de SciELO

SciELO Citation Index y Chinese Science Citation Index se incorporan a las bases de datos de Web of Science con el propósito de suplir la principal carencia frente a su rival Scopus -la baja cobertura en revistas regionales-; y lo hace sin tener que sacrificar el concepto elitista de sus productos referentes: Science Citation Index, Social Science Citation Index y Art & Humanities Citation Index (Web of Science Core Collection). No obstante, no es la primera maniobra que hace Web of Science para tratar de aumentar la cobertura regional de países como España. Allá por el año 2007, coincidiendo con la firma de la licencia FECYT, se empezaron a incluir un buen número de revistas que, si bien no tenían impacto en el mundo anglosajón, representaban lo más selecto de la casa.

figura1scielo

¿Cuál es el problema de SciELO?
SciELO, para las revistas españolas supone un problema doble.
En primer lugar, al ser la principal solución de Thomson Reuters para suplir la falta de cobertura en España e Iberoamérica, es de prever que las revistas españolas que están indexadas en WOS dejen de disfrutar de su status preferente y tengan que justificar su indexación como el resto, mediante su impacto científico. Esto nos adelanta un futuro inmediato en el que las revistas españolas en WOS se van a ver reducidas. Como un mal presagio, en Social Science Citation Index hay nueve revistas españolas cuyos trabajos no son indexados desde el año 2012. Son las siguientes:
  • Revista de Educación
  • Revista de Economia Mundial
  • Universia Business Review
  • ESE-Estudios Sobre Educacion
  • Dynamis
  • Aibr-Revista de Antropologia Iberoamericana
  • Anuario de Estudios Medievales
  • Comunicacion y Sociedad
  • Estudios Sobre el Mensaje Periodístico
En segundo lugar porque SciELO, a día de hoy, no acepta revistas españolas más allá de un reducido grupo de revistas de Ciencias Biomédicas; gracias al acuerdo de colaboración establecido con la OPS/OMS y el Instituto de Salud Carlos III.
Llegados a este punto, muchos se preguntarán cómo Thomson Reuters ha incluido a una base de datos como SciELO para representar a las revistas iberoamericanas, si en realidad tiene una cobertura desigual. Ya no sólo de países (con un gran sesgo hacia Brasil), sino de materias. Baste el ejemplo: ni indexa ni posee los mecanismos para indexar revistas españolas, fuera del acuerdo con el Instituto de Salud Carlos III; por lo que muchas áreas, en las que España es referente en Latinoamérica, se quedan fuera.
tablaSciELO

SciELO debe permitir la entrada de revistas españolas
SciELO está en la encrucijada de integrar a las revistas españolas. Lo que para España supondría ahora mismo una gran ayuda para los procesos evaluativos, puesto que se podría volver a monitorear el intercambio de citas de revistas. Hecho que en Ciencias Sociales hemos perdido con la desactualización de la familia IN-RECS,  arrojando a la oscuridad a la mayoría de las revistas. En justa reciprocidad, SciELO se vería enriquecido con revistas con un gran nivel, líderes en sus respectivas áreas, que igualan y, en muchos casos, superan en calidad a las revistas ya existentes en el producto; lo que mejoraría sustancialmente la calidad de la base de datos y la representación que SciELO tiene de la región (principal motivo por el cual ha sido incluida en Web of Science).
En cambio, si SciELO no es capaz de dar cobertura a las revistas españolas en relación a su calidad sino sólo a aquellas de "MEDICINA", es  probable que en España se deje de utilizar Web of Science como producto referente, o que se empiecen a incluir otros; ya que WOS es incapaz de representar la investigación española en ciertas áreas, como Ciencias Sociales, cuando para otros países iberoamericanos sí lo hace.
En definitiva, estamos en un encrucijada, donde la posición de SciELO frente a las revistas españolas puede significar un cambio en los procesos evaluativos de revistas en España.
Rafael Repiso

viernes, abril 11, 2014

La nueva bibliometría: nuevos horizontes, nuevas oportunidades, nuevos peligros. Vino viejo en odre nuevo

Acaba de ver la luz en la revista de divulgación científica Investigación y Ciencia (abril de 2014, nº 451) un breve artículo titulado  Riesgos de la nueva bibliometría,   donde, al albur de nuestros últimos experimentos con Google Scholar, se resumen las fortalezas y debilidades de las nuevas e ignotas herramientas bibliométricas.
 La nueva bibliometría, nacida al calor del lanzamiento de los productos híbridos de Google (Google Scholar Citations en 2011 y Google Scholar Metrics en 2012) y de la extensión de la web 2.0 con todo su enjambre de nuevos medios de comunicación (Blogs, Twitter, Facebook, ResearchGate, Academia.Edu, LinkedIn,) y de nuevos almacenes de información bibliográfica (Mendeley, Citeulike)  y científica (repositorios institucionales y temáticos), está en plena fase de ebullición. Nueva fuentes, nuevas herramientas, nuevos indicadores métricos.
Búsquedas sobre Bibliometrics y Altmetrics según Google Trends

Si la antigua bibliometría, basada en la galaxia Gutemberg, medía la producción y el impacto de los documentos impresos predominantemente mediante el recuento de publicaciones y citas bibliográficas de los artículos publicados en revistas o congresos indizados en las bases de datos de referencia internacional (ISI-W0S) y con el factor de impacto como patrón oro de la medición; la nueva bibliometría utiliza todo lo que se produce y consume en la galaxia web, en el sentido más amplio del término. Los documentos, almacenados en la web, pueden ser visitados, visualizados, descargados, enlazados, citados, compartidos, reseñados, mencionados, comentados, discutidos, referenciados,  etiquetados, valorados, seguidos, difundidos. La huella digital es amplia y no se circunscribe solo a los documentos científicos sino a todas las actividades e interacciones sociales que los científicos, como cualquier usuario y ciudadano de la red, puede desplegar en su vida cotidiana. 
En definitiva, todo se puede contabilizar y todo se cuantifica, y se hace aún sin saber qué se está midiendo. Estamos en momento de más preguntas que respuestas ¿qué son estas nuevas acciones científicas? ¿qué significan exactamente? ¿qué cubren las nuevas fuentes? ¿cómo se construyen las herramientas?

No tenemos respuestas a estas preguntas, desconocemos de momento qué hay detrás de la nueva bibliometría. Si acaso podemos columbrar tres graves peligros  que la amenazan como espada de Damócles: 
la facilidad con que pueden ser manipulados
la fugacidad de los resultados y las medidas, en muchos casos difíciles de reproducir de manera estable
así como la dependencia tecnológica de compañías que elaboran herramientas que aparecen y desaparecen en el mercado cual producto de consumo.
Lo que sí sabemos con toda certidumbre es que la nueva bibliometría se cimenta en la vieja bibliometría que ya definía el maestro López Piñero como la disciplina encargada de generar indicadores bibliométricos que no son otra cosa más que “datos numéricos sobre fenómenos sociales de la actividad científica relativos a la producción, transmisión y consumo de la información en comunidades determinadas”.  Los problemas de la nueva bibliometría son los viejos problemas de la bibliometría:  ¿cómo medir los resultados de la investigación? ¿cómo medir su originalidad, relevancia, impacto? ¿cómo saber e interpretar lo que realmente medimos? ¿Qué fiabilidad, validez y representatividad poseen las fuentes, herramientas e indicadores empleados?
En fin vino viejo en odre nuevo. Claro que el nuevo recipiente puede condicionarlo. Al igual que las barricas determinan el sabor del vino, la web y sus derivados pueden determinar  su orientación, sentido y prestaciones.

Emilio Delgado López-Cózar
Huétor Vega, 11 de abril de 2014

jueves, marzo 13, 2014

H Index Scholar: el índice H de los profesores universitarios españoles de Humanidades y Ciencias Sociales, revisado y ampliado

Con este post queremos anunciaros que la web con el índice h de los profesores universitarios españoles de Humanidades y Ciencias Socialess está nuevamente operativa, tras un largo y oneroso proceso de revisión
-      

 -        ¿En qué ha consistido la revisión?

Dada la envergadura de la empresa a la que nos enfrentábamos, identificar el índice h de más de 40.000 profesores de universidades públicas españolas, y a que era la primera vez que se abordaba la medición masiva del rendimiento académico de unas comunidades científicas tan amplias y tan poco conocidas a estos efectos como son las áreas humanísticas y sociales asumíamos la presencia de errores, y, más teniendo en cuenta que Google Scholar  no ejerce ningún control ni normalización sobre las fuentes que procesa. Las dificultades se acrecientan dada la complejidad de las búsquedas bibliográficas por nombres de persona que llevan asociadas numerosos problemas (homonimias, diferentes variantes de firma...).

En la publicación de la versión beta de H Index Scholar en junio de 2013 solicitábamos encarecidamente la colaboración de los propios científicos para solventar las posibles erratas cometidas y para ello diseñamos un formulario que pudiera facilitar dichas tareas.
 
Pues bien tenemos que agradecer públicamente la buena acogida que tuvo nuestra petición. Hemos recibido numerosos mensajes tanto de bibliotecarios, que generosamente han contribuido a nuestro índice aportando listados de profesores adscritos a departamentos que habían quedado excluidos por no figurar dicha información en las web universitarias, como de profesores que nos han comunicado diversas incidencias (omisiones, inconsistencias en los nombres, cálculos inexactos en sus índices, equivocada adscripción a área de conocimiento). 

Resultado de todo este trabajo ha sido una mejora sustancial del índice, en los siguientes aspectos
a) Nuevas incorporaciones de profesores: 749 .
b) Adscripción a área de conocimiento de  1750 profesores
c) Revisión de índice H de unos 500 profesores
d) Eliminación de 60 profesores ya jubilados y la corrección de una gran cantidad de duplicaciones debido a variantes de nombres, profesores no funcionarios adscritos a varias universidades, etc.

¿Qué información contiene H Index Scholar 2012?

Muestra el índice h de 15.000 profesores de universidades públicas españolas, aunque se ha calculado el de más de 40.000, que son los profesores que conforman las áreas de conocimiento de Humanidades y Ciencias Sociales en España.

Queremos recalcar que los índices bibliométricos mostrados no representan los que actualmente posean los investigadores: Son los correspondientes al año 2012, y en concreto, a la fecha en la que se realizaron las búsquedas en Google Scholar (información que figura en el listado de cada área de conocimiento)

¿Cuál es la finalidad de H Index Scholar?

Quisiera subrayar el carácter experimental del mismo, dejando claros cuales son los objetivos que pretende cubrir:

1.              Comprobar la capacidad de Google Scholar para recuperar la producción científica y académica de científicos adscritos a los ámbitos de Humanidades y Ciencias Sociales, invisibles a las tradicionales bases de datos por sus peculiares hábitos de publicación.
2.              Examinar su idoneidad para identificar la producción de entornos geográficos nacionales distintos al mundo anglosajón y que usan  lenguas de expresión distintas al inglés
3.              Determinar la fiabilidad y validez de los índices h y g basados en información suministrada por Google Scholar para detectar el núcleo de académicos de mayor influencia en las distintas disciplinas humanísticas y sociales

El carácter experimental de esta acción se dirige asimismo a comprobar el grado de aceptación de productos de esta naturaleza en una comunidad académica, como es la de los profesores de los campos humanísticos y sociales, tan alejada de ejercicios y prácticas bibliométricas de este tenor. 

Asimismo, anunciamos la publicación en la revista El Profesional de la Información de un artículo donde se explica pormenorizadamente cuales son los objetivos, la metodología y los principales resultados de H Index Scholar (versión junio 2013).
 

Esta es la referencia y si pincháis podéis acceder al texto completo

Una recomendación final: hágase su perfil en Google Scholar Citations

Y, por último, nos atrevemos a proponeros unas sugerencias que nos ayudarán muchísimo en futuras actualizaciones, en las que ya estamos pensando. Háganse su perfil en Google Scholar Citations. Nos queremos dirigir especialmente a los bibliotecaros universitarios para que animen a sus usuarios a que lo hagan. Contribuirán decisivamente.  con ello mejorará su visibilidad, y puede ser que su impacto venidero.

En esta presentación explicamos, sobre todo a partir de la diapositiva 40, lo fácil que es confeccionar el perfil


miércoles, febrero 26, 2014

A vueltas con la publicación de “papers” falsos: las pesquisas de Cyril Labbé en congresos del IEEE y Springer

Ayer Nature publicaba una noticia redactada por Richard Van Noorden sobre la publicación en Congresos auspiciados por las todopoderosas y prestigiosas editoriales científicas Springer y el Institute of Electrical and Electronic Engineers (IEEE) de artículos falsos creados automáticamente con el programa SCIgenPublishers withdraw more than 120 gibberish papers.
Os recordamos que este programa fue creado en 2005 por tres estudiantes graduados en el grupo  PDOSresearchgroup del MIT (Jeremy Stribling, Max Krohn, Dan Aguayo). Permitía generar automáticamente papers inventados pero siguiendo una pulcra redacción y ateníéndose estrictamente al formato científico. En defintiva, papers formalmente irreprochables.
El detective de las no menos de 120 comunicaciones fabricadas, ha sido Cyril Labbé, un investigador francés que creó el “antiScigen”, un programa capaz de detectar artículos fabricados con el software norteamericano. Parece ser que el amigo Cyril, emulando al inspector Gadget, se ha dedicado a rastrear publicaciones que hayan empleado SCIgen para fabricar papers. Los resultados de estas pesquisas son relatados en la noticia de la que me hago eco en este post.
Cyril no sólo ha hecho esto sino que se inventó al autor más citado de la historia Ike Antkare  y nos enseñó a otros a como hacerlo: publicando automáticamente muchos papers con SCIgen que se autocitaban desmedidamente. 

Nuestra investigación de manipulación de GoogleScholar entronca directamente con este trabajo: la diferencia es que nosotros lo hicimos como lo hacen los analfabetos informáticos: sin programa automático, cortando y pegando textos, traduciendo con el Google Translate y subiéndolos directamente a una página web con el propósito de manipular los indicadores bibliométricos de Google Scholar Citations y Google Scholar Metrics. De la forma más burda, grosera y elemental que se nos ocurrió y utilizando un nombre de autor más que llamativo para dar pistas del engaño. Tratamos no de generar un autor ficticio sostenido sobre citas ficticias, sino que manipulamos los indicadores bibliométricos de científicos concretos (los autores del experimento así como las personas con las que colaboraron), y, de rebote, las revistas en las que se publicaron. Por tanto, fue una manipulación real, demostrando como es obvio en este nuevo mundo de Internet, además, que se puede manipular lo propio y lo ajeno. 

Como no podía ser de otra manera, pues es un mecanismo fundamental en la ciencia, están surgiendo imitadores de estos trabajos de manipulación iniciados por Labbé y seguidos por nuestro equipo. La replicación es básica en la ciencia. Véase el caso de este trabajo con el sugerente título "Gaming the Google Scholar citation system" y cuyo contenido no se compadece con él. El texto está alojado en las páginas de una universidad noruega (Norges Teknisk-Naturvitenskapelige Universitet), que no ha podido evitar, lógicamente, los escarceos publicísticos de alguno de sus estudiantes
O del perfil de Google Scholar Citations creado por un autor más falso que Judas llamado Lueca de Mutatio, supuesto estudiante de master en Oxford. Un ejemplo, que demuestra como en Google scholar Citations podemos crear perfiles como churros: con los nombres de autor que se nos ocurran, con las palabras clave que nos apetezcan y atribuyéndonos los trabajos que nos plazcan, hasta crear un engendro como el de Lueca de Mutatio. Ya sé que pensaréis, que menuda tontería hacer esto con uno mismo de forma tan grosera. Pero puede haber personas que apliquen la ingeniería fina a su perfil y lo inflen como el merengue de un pastel. La principal virtud de Google Scholar Citations es que resulta muy moldeable según nuestro gusto; pero ahí radica su principal defecto: podemos cocinar el pastel que queramos.
Lo importante de la historia que relató ayer Nature y todas las actuaciones aquí glosadas es que da igual que los papers se sometan a un mundo controlado (editoriales y revistas de prestigio y con contrastados sistemas de revisión por pares) que entornos más o menos controlados como demostró Bohannon, o abiertamente incontrolados (páginas web, repositorios, etc….) como es el mundo Google. Debo reafirmarme en lo que yareproduje en una entrada anterior de este blog 

“Ya sostuve en 2006 respecto al PEER REVIEW como sistema de evaluación y detección del fraude: no existen medios infalibles que puedan impedir que el fraude se produzca, ni la publicación por si sola es un sello que garantice la fiabilidad y validez de una investigación, ni el sistema de evaluación por expertos empleado es capaz de detectarlo y neutralizarlo. Básicamente por dos razones. En primer lugar, porque el edificio científico se asienta sobre un pilar axiomático que es falseable: se basa en la buena voluntad de los científicos; la honestidad se presupone; es inconcebible que un científico premeditadamente esté dispuesto a mentir. Por consiguiente, si un científico quiere mentir mentirá. Y como no cabe en la mente de la comunidad científica que esto ocurra la guardia estará permanentemente bajada. En segundo lugar, porque el sistema de alerta que emplea la ciencia para contrastar la verosimilitud y veracidad de un descubrimiento se aplica en muy pocos casos. La replicación y contrastación de la investigación por otros científicos, que es la auténtica máquina de la verdad de la ciencia, es impracticable dado el volumen actual que ha adquirido la ciencia. 


Debe quedar claro que el arbitraje científico no sólo no es capaz de detectar el fraude sino que ni siquiera puede garantizar la fiabilidad y validez de los resultados. Muchas son las experiencias que han evidenciado la verdad de esta afirmación (Darsee, Slutsky, Schön...), muchos los experimentos que han demostrado la inoperancia del sistema (Jurdant, 2003 ; Peters & Ceci,  1982 ;  Epstein, 1990, Campanario, 1995, 2002) y muchas más las investigaciones que han puesto al descubierto los defectos del arbitraje científico que  (Armstrong, 1997)".

Aún así es mejor, como en el fútbol, jugar con ciertas reglas y con árbitros que las interpreten. Y eso sí, insuflemos moral y ética científica a todos los jugadores, e incluso, a los espectadores que contemplan el partido. 

Emilio Delgado López-Cózar
Huétor Vega, 26 de febrero de 2014