A vueltas con la publicación de “papers” falsos: las pesquisas de Cyril Labbé en congresos del IEEE y Springer

Ayer Nature publicaba una noticia redactada por Richard Van Noorden sobre la publicación en Congresos auspiciados por las todopoderosas y prestigiosas editoriales científicas Springer y el Institute of Electrical and Electronic Engineers (IEEE) de artículos falsos creados automáticamente con el programa SCIgen: Publishers withdraw more than 120 gibberish papers.

Os recordamos que este programa fue creado en 2005 por tres estudiantes graduados en el grupo  PDOSresearchgroup del MIT (Jeremy Stribling, Max Krohn, Dan Aguayo). Permitía generar automáticamente papers inventados pero siguiendo una pulcra redacción y ateníéndose estrictamente al formato científico. En defintiva, papers formalmente irreprochables.

El detective de las no menos de 120 comunicaciones fabricadas, ha sido Cyril Labbé, un investigador francés que creó el “antiScigen”, un programa capaz de detectar artículos fabricados con el software norteamericano. Parece ser que el amigo Cyril, emulando al inspector Gadget, se ha dedicado a rastrear publicaciones que hayan empleado SCIgen para fabricar papers. Los resultados de estas pesquisas son relatados en la noticia de la que me hago eco en este post.

Cyril no sólo ha hecho esto sino que se inventó al autor más citado de la historia Ike Antkare  y nos enseñó a otros a como hacerlo: publicando automáticamente muchos papers con SCIgen que se autocitaban desmedidamente. 

Nuestra investigación de manipulación de GoogleScholar entronca directamente con este trabajo: la diferencia es que nosotros lo hicimos como lo hacen los analfabetos informáticos: sin programa automático, cortando y pegando textos, traduciendo con el Google Translate y subiéndolos directamente a una página web con el propósito de manipular los indicadores bibliométricos de Google Scholar Citations y Google Scholar Metrics. De la forma más burda, grosera y elemental que se nos ocurrió y utilizando un nombre de autor más que llamativo para dar pistas del engaño. Tratamos no de generar un autor ficticio sostenido sobre citas ficticias, sino que manipulamos los indicadores bibliométricos de científicos concretos (los autores del experimento así como las personas con las que colaboraron), y, de rebote, las revistas en las que se publicaron. Por tanto, fue una manipulación real, demostrando como es obvio en este nuevo mundo de Internet, además, que se puede manipular lo propio y lo ajeno. 

Como no podía ser de otra manera, pues es un mecanismo fundamental en la ciencia, están surgiendo imitadores de estos trabajos de manipulación iniciados por Labbé y seguidos por nuestro equipo. La replicación es básica en la ciencia. Véase el caso de este trabajo con el sugerente título "Gaming the Google Scholar citation system" y cuyo contenido no se compadece con él. El texto está alojado en las páginas de una universidad noruega (Norges Teknisk-Naturvitenskapelige Universitet), que no ha podido evitar, lógicamente, los escarceos publicísticos de alguno de sus estudiantes

O del perfil de Google Scholar Citations creado por un autor más falso que Judas llamado Lueca de Mutatio, supuesto estudiante de master en Oxford. Un ejemplo, que demuestra como en Google scholar Citations podemos crear perfiles como churros: con los nombres de autor que se nos ocurran, con las palabras clave que nos apetezcan y atribuyéndonos los trabajos que nos plazcan, hasta crear un engendro como el de Lueca de Mutatio. Ya sé que pensaréis, que menuda tontería hacer esto con uno mismo de forma tan grosera. Pero puede haber personas que apliquen la ingeniería fina a su perfil y lo inflen como el merengue de un pastel. La principal virtud de Google Scholar Citations es que resulta muy moldeable según nuestro gusto; pero ahí radica su principal defecto: podemos cocinar el pastel que queramos.

Lo importante de la historia que relató ayer Nature y todas las actuaciones aquí glosadas es que da igual que los papers se sometan a un mundo controlado (editoriales y revistas de prestigio y con contrastados sistemas de revisión por pares) que entornos más o menos controlados como demostró Bohannon, o abiertamente incontrolados (páginas web, repositorios, etc….) como es el mundo Google. Debo reafirmarme en lo que yareproduje en una entrada anterior de este blog 

“Ya sostuve en 2006 respecto al PEER REVIEW como sistema de evaluación y detección del fraude: no existen medios infalibles que puedan impedir que el fraude se produzca, ni la publicación por si sola es un sello que garantice la fiabilidad y validez de una investigación, ni el sistema de evaluación por expertos empleado es capaz de detectarlo y neutralizarlo. Básicamente por dos razones. En primer lugar, porque el edificio científico se asienta sobre un pilar axiomático que es falseable: se basa en la buena voluntad de los científicos; la honestidad se presupone; es inconcebible que un científico premeditadamente esté dispuesto a mentir. Por consiguiente, si un científico quiere mentir mentirá. Y como no cabe en la mente de la comunidad científica que esto ocurra la guardia estará permanentemente bajada. En segundo lugar, porque el sistema de alerta que emplea la ciencia para contrastar la verosimilitud y veracidad de un descubrimiento se aplica en muy pocos casos. La replicación y contrastación de la investigación por otros científicos, que es la auténtica máquina de la verdad de la ciencia, es impracticable dado el volumen actual que ha adquirido la ciencia. 

Debe quedar claro que el arbitraje científico no sólo no es capaz de detectar el fraude sino que ni siquiera puede garantizar la fiabilidad y validez de los resultados. Muchas son las experiencias que han evidenciado la verdad de esta afirmación (Darsee, Slutsky, Schön...), muchos los experimentos que han demostrado la inoperancia del sistema (Jurdant, 2003 ; Peters & Ceci,  1982 ;  Epstein, 1990, Campanario, 1995, 2002) y muchas más las investigaciones que han puesto al descubierto los defectos del arbitraje científico que  (Armstrong, 1997)".

Aún así es mejor, como en el fútbol, jugar con ciertas reglas y con árbitros que las interpreten. Y eso sí, insuflemos moral y ética científica a todos los jugadores, e incluso, a los espectadores que contemplan el partido. 

Emilio Delgado López-Cózar

Huétor Vega, 26 de febrero de 2014