Google Scholar: presente y futuro, fortalezas y debilidades, reportaje de John Bohannon en Science

John Bohannon, que el mes de octubre pasado publicó en Science su impactante experimento sobre el deficiente control y evaluación de los trabajos publicados en muchas revistas Open Access denunciando la estafa que suponen los "predators journals", ha centrado ahora su atención en Google Scholar. Esta semana la revista Science publica un reportaje suyo sobre Google Scholar, donde delinea sintéticamente su presente y futuro, y desvela sus fortalezas y debilidades. Dedica un amplio comentario a nuestro experimento,  (The Google Scholar Experiment: how to index false papers and manipulate bibliometric indicators) que vió la luz en el Journal of the American Society for Information Science and Technology, del que, a su vez, se hizo eco la revista Science en diciembre). En nuestro experimento, que guarda muchas similitudes con el que Bohannon aplicó a las revistas Open Acces,  alertábamos de lo fácil que es manipular las nuevas herramientas bibliométricas patrocinadas por Google (Google Scholar Citations & Google Scholar Metrics) y de los peligros que estas prácticas pueden acarrear para el sistema de comunicación y evaluación científica.

El reportaje, con un estilo menos cáustico del habitual en Bohannon, y que lleva un insinuante título  Google Scholar Wins Raves—But Can It Be Trusted? nos traslada interesantes mensajes:

En primer lugar, constata el éxito de Google Scholar como fuente de información científica: viene a reconocer la preeminencia de Google Scholar como el principal medio que usan los científicos, y todos los sectores de la sociedad, para buscar información bibliográfica de naturaleza científica. Los estudios empíricos que se vienen realizando reiteradamente señalaban cómo Google y Google Scholar se había convertido en la puerta de entrada a la búsqueda de información científica. Y creo yo que no solo en la puerta de entrada, sino en la de estancia y salida. Esta es una evidencia que conocen muy bien en las bibliotecas, donde saben que buena parte del tráfico entrante de Internet se realiza a partir de Google Family. (http://www.slideshare.net/torressalinas/cmo-utilizar-google-scholar-para-mejorar-la-visibilidad).

Pero es que además Google Scholar se está erigiendo en la fuente que regula el tráfico a todas las web que contienen información científica; me refiero a las bases de datos (Web of Science, Scopus), a las web de editoriales y plataformas de edición científica, especialmente las de revistas (Elsevier, Springer, HighWire…), y a todos los productos informativos alojados en las páginas web de universidades y centros de investigación.

Motores de búsqueda empleados para acceder a IN-RECS 

Sitios web de referencia empleados para acceder a EC3noticias 

Este éxito se debe ante todo a su magnífico comportamiento en la búsqueda de información científica: simple, sencillo y fácil de usar, con un diseño a imagen y semejanza del buscador general de Google, busca documentos en cualquier país o lengua en que se produzcan con una rapidez inusitada,  siempre con resultados bastante pertinentes. Y todo ello de forma GRATUITA. Pero también, se debe a nuevas prestaciones cono la facilidad de generar alertas informativas sobre temas, autores o revistas o a la innovadora prestación de recibir actualizaciones automáticas de documentos relevantes a nuestros intereses académicos. Aunque sólo para aquellos que dispongan de un perfil en Google Scholar Citations, por medio de algoritmos que analizan todas las palabras que usamos en nuestros trabajos y los coautores de los mismos, así como los flujos de citas entre artículos y revistas, Google Scholar nos ofrecerá documentos adecuados a nuestras necesidades científicas, cada vez que el robot encuentre algo pertinente para nosotros. 

Lista de documentos sugeridos automáticamente por Google Scholar

En segundo lugar, parece despejar los insistentes rumores de que Google podría cerrar Google Scholar y sus derivados. Desde luego, esperemos que no sea así. Las palabras de Anurag Acharya, su diseñador y principal sostén, parecen desmentirlo. Aunque de Google nunca nos podemos fiar (todavía está fresca en nuestra memoria la retirada de Google Docs) creo que hay dos hechos que nos hacen pensar que esto no va a ocurrir. El uso tan importante que están teniendo estas herramientas y que Google conoce muy bien y no quiere revelar. No olvidemos, por otra parte, que a través de los Perfiles de Google Scholar Citations, la compañía está adquiriendo información vital sobre los propios científicos (registro pormenorizado de su navegar diario), obteniendo, además, la colaboración gratuita en el mantenimiento y normalización de los registros de su base de datos. Y de otro lado, el acuerdo reciente con Thomson Reuters para enlazar sus respectivos productos no presagia que Google esté pensando en cerrar la Family Scholar.

En tercer lugar, destaca la bondad de la competencia con Microsoft Academic Search y los productos tradicionales elaborados por Thomson Reuters y Elsevier. Desde luego que no hay nada mejor que la existencia de diversos productos para evitar monopolios indeseados. Pero lamento decir que ahora mismo no hay competencia: el producto de Microsof tiene un excelente diseño y ofrece unas prestaciones  portentosas, pero su base de datos es lamentable en términos de cobertura. Una casa no se puede construir sobre cimientos de barro. Y respecto al consagrado JCR de Thomson Reuters, o al más reciente SJR, derivado de Scopus, GSM y GSC no son todavía una seria competencia pues ni ofrecen las prestaciones de  las herramientas bibliométricas clásicas (variedad de indicadores, diversidad de opciones de ordenación y visualización de datos, descarga y tratamiento) ni la transparencia en la selección de fuentes y procesamiento de datos (Ranking journals: could Google Scholar Metrics be an alternative to Journal Citation Reports and Scimago Journal Rank?; Google Scholar Metrics: an unreliable tool forassessing scientific journals).

Y dejo para el final, la alusión a los problemas de manipulación que pueden sufrir los productos de Google (Google Scholar Citations & Google Scholar Metrics) y la cita de nuestro experimento, que demuestra lo fácil y sencillo que puede ser para cualquier persona con mínimos conocimientos informáticos manipular los productos que nos ofrece Google Scholar.

Anurag Acharya, minimiza el problema y lo reduce a una mera cuestión de "spam", que cuantitativamente hablando es irrelevante. Y por ello considera que las críticas son desproporcionadas y están exagerando este asunto. Confía en que la comunidad científica es capaz por sí sola de detectar las manipulaciones y castigar a los tramposos. No obstante, advierte que si el problema fuera a más, Google se podría plantear diseñar filtros que pudieran controlarlo. Y, por último, niega cualquier posibilidad de dar a conocer públicamente el algoritmo en el que se basa Google Scholar y sus productos derivados.

No me satisface en nada esta contestación, pues reducir la posibilidad de manipular las nuevas herramientas a un simple dilema informático significa no entender el problema de fondo. Desde el momento que Google lanzó Google Scholar Citations  y Google Scholar Metrics ya no podemos hablar de buscadores de información científica sin más. Google debe ser consciente que ha diseñado sistemas de información que ofrecen indicadores bibliométricos de científicos y de revistas y que, por ello pueden ser empleados para juzgar, analizar, evaluar el rendimiento de los unos y de las otras . Por tanto, es responsabilidad de "la compañía" como lo es de Thomson Reuters con sus JCR o Scopus con sus herramientas de análisis bibliométrico, ofrecer productos fiables, válidos y, si no invulnerables a la manipulación (esos no existen), sí, al menos, con procedimientos para detectar y sancionar a los que los manipulan. 

No estamos pidiendo que Google haga público su algoritmo, sino que diseñe Google Scholar Citations y Metrics de manera que se ofrezca información sintética sobre aspectos tan concretos como la tasa de autocitación de autores y revistas así como la procedencia de las citas (dominios, tipos de documentos, autores, instituciones...). Sólo así los usuarios de estos magníficos productos de Google podrán detectar si alguien hace trampa y, en caso de ello, tomar medidas. Modestamente en IN-RECS (Índice de Impacto de las Revistas Científicas de Ciencias Sociales), diseñado con ínfimos recursos financieros e informáticos, podría servirle de ejemplo ¿Qué podría hacer Google? una simple sugerencia: que copie y pegue.

Tasas de autocitación y autoreferenciación de revistas en IN-RECS

Información de procedencia de las citas de una revista en IN-RECS

Información de los autores, instituciones, revistas y años con los que publica, cita y es citado un autor en IN-RECS así como su perfil bibliométrico comparado con la disciplina en la que trabaja 

Google debe saber que la falta de control de estos productos, su principal talón de Aquiles puede tener consecuencias imprevisibles. Indizando automáticamente cualquier documento colgado por un autor en la red académica Google está dinamitando todos los controles previos que exige el método científico para certificar el conocimiento: la aplicación metódica del sistema de evaluación por pares a todos los trabajos sometidos a publicación en las revistas así como los filtros científicos y técnicos ejercidos por las bases de datos que las indizan vienen a ser un tamiz que si no impide si, al menos dificulta, la fabricación de publicaciones o la manipulación de citas a granel.

Los peligros son reales ya que a los científicos se nos juzga hoy por lo que publicamos y por su rentabilidad en términos de citas. Si con los filtros actuales muchos más autores o editores de lo que quisiéramos están manipulando publicaciones y citaciones ¿Qué ocurrirá sin controles previos? No lo sabemos pero es fácil imaginárselo.

Si el fraude no se puede eliminar, si al menos prevenir o dificultar: pedimos que los índices de citas, y especialmente los promovidos por Google, se diseñen de forma transparente para que puedan desenmascarar a los tramposos.

Emilio Delgado López-Cózar

Granada 3 de enero de 2014