Sobre el número de documentos que indiza Google Scholar, reportaje de Jia You en el servicio de noticias de Science

Jia You, periodista científica en Science, publica hoy  en news.sciencemag.org, el blog de noticias de la revista Science, un reportaje sobre cuál es el tamaño de Google Scholar, haciéndose eco de nuestro último trabajo de la saga Google...: "About the size of Google Scholar: playing the numbers" publicado el 24 de julio de 2014. 

http://news.sciencemag.org/scientific-community/2014/09/just-how-big-google-scholar-ummm

El reportaje, con el provocador título Just how big is Google Scholar? Ummm…, traslada el resultado de nuestras pesquisas y no consigue arrancar de Anurag Acharya, el responsable de Google Scholar, este tan preciado secreto de la compañía. Aunque advierte que la cifra mágica es fácil de calcular para él, y resta importancia a la misma. En fin  que lo que es fácil de calcular es difícil de comunicar al público.

Solo recordar que el objetivo de nuestro trabajo fue conocer el tamaño de ese inmenso agujero negro que parece ser Google Scholar. Nos pusimos a hacer cuentas y empleando 4 métodos empíricos diferentes estimamos que el número de documentos únicos (se excluyen las distintas versiones de un documento) no debe ser inferior a los 160 millones (a fecha de mayo de 2014).

Independientemente del resultado, que es significativo por sí mismo sobre todo cuando se compara con el resto de bases de datos de carácter científico, y que nos da pistas sobre la cantidad de conocimiento científico que puede ser buscable, localizable y accesible en la web, lo más apasionante es el reto metodológico que ha supuesto. No sólo nos ha obligado a idear  diversas técnicas para medir el tamaño de este oscuro objeto que es Google Scholar sino que aplicándolas han salido a la luz, de nuevo, diversas inconsistencias, incertidumbres y limitaciones de las herramientas y el interfaz de búsqueda usado por Google. En fin, hemos aprendido más sobre lo que hace o no hace Google Scholar y queremos compartirlo con todos vosotros.

Llega esta investigación en un buen momento, ya que en los últimos meses se alzaron voces en las redes sociales por parte de egregios bibliómetras, apostando por el uso de Google Scholar en evaluación científica. Qué lejos parecen quedar ya las actitudes de algunos “puretas” de la bibliometría que abjuraban de Google Scholar, por impuro e incontrolado, y que miraban no solo con indiferencia sino con desdén a aquellos que anunciábamos las enormes potencialidades del buscador académico (The Google Scholar family: is it an alternative for the evaluation of science). Ahora cuando los estudios empíricos (Google Scholar Digest) demuestran día a día que Google Scholar y sus productos derivados son los productos más usados por los científicos, que han acabado desgraciadamente con la competencia (Microsoft Academic Search está más muerto que vivo) y que miden con parecida solvencia a los tradicionales indicadores bibliométricos, algunos de forma oportunista han decidido subirse al carro. No obstante, y sin querer rebajar las expectativas despertadas, queremos subrayar que los problemas de Google Scholar para la evaluación científica no son técnicos ni metodológicos (cobertura, fiabilidad y validez de las medidas, prestaciones de filtrado de documentos) sino la facilidad con que pueden ser manipulados, la fugacidad de los resultados y de las medidas, en muchos casos difíciles de reproducir de manera estable, así como la dependencia tecnológica de compañías que elaboran herramientas que aparecen y desaparecen en el mercado cual producto de consumo.

Sean bienvenidos los ahora entusiastas de Google Scholar; mientras tanto nosotros seguiremos con ahínco en lo que ya nos propusimos hace varios años: desvelar “con datos”, no con meras opiniones, las entrañas de Google Scholar, para desvelar a un mismo tiempo sus fortalezas y debilidades. Por eso, al igual que los decimonónicos folletines publicados por entregas, cuyo correlato actual son las telenovelas, sólo podemos prometer que CONTINUARÁ…. y será pronto… esperemos no cansaros demasiado.

Emilio Delgado López-Cózar

Huétor Vega, 30 de Septiembre de 2014