Qué te cuentas?

Un estudio bibliométrico en la actualidad es fácilmente ejecutable, solo tenemos que utilizar algunas de las funcionalidades recientemente implementadas en la Web of Science o Scopus. Antes de estos avances ya resultaba una tarea relativamente fácil, lo que no resultaba tan fácil es que estos trabajos fueran correctos desde un punto de vista metodológico, el caso es que no era extraño encontrarse con investigadores de otros campos que se animaban [y siguen animándose] a publicar estados del arte de sus especialidades. Esto lo hemos visto todos [y sufrido en silencio] y además nos hemos dado cuenta de que algunos son excesivamente cutres.

Analizando por encima estas aportaciones no es difícil darse cuenta de que gran parte de los errores se producen en dos elementos clave: los recuentos [en general] y un uso inapropiado del Impact Factor. La falta de solidez en estos puntos hacen que muchos resultados no sean válidos o que las interpretaciones conduzcan a gruesos errores. Respecto al tema de los recuentos, hay al menos cuatro aspectos que deberían tener claros cualquier persona que se acerque a la Bibliometría y que se deberían reseñar religiosamente en cualquier material y métodos que se precie, a saber:

- Las ventanas de citación. las ventanas de citación pueden ser fijas (VF) o variables (VV) dependiendo si el número de años de citación es igual para todos los trabajos citados o sí cada año tiene un recorrido superior al anterior. Por ejemplo si analizamos la producción y citación de un departamento X durante 2000-2005 estamos utilizando una VF si para los trabajos publicados en 2000 hemos recopilado las citas recibidas en 2000, 2001, 2002,2003, 2004 y 2005 (un total de 6 años) mientras que para los trabajos de 2003 hemos cogido las de 2003, 2004 y 2005 (un total de 3 años). Por otro lado si tomamos una VV, por ejemplo de tres años, para los trabajos de 2000 recopilaremos las citas de 2000, 2001 y 2002 mientras que para el trabajo de 2003 recopilaremos 2003, 2004 y 2005.

- Los artículos citables. No todos las tipologías documentales que aparecen en una revista, y por ende indizados en una base de datos, pueden ser consideradas investigación. En una publicación junto a los artículos conviven reseñas de libros, biografías, revisiones de software y sobre todo, si estamos en ciertas especialidades médicas, meeting abstracts. Dependiendo de cuales seleccionemos obtendremos resultados diferentes. Sin embargo si lo que queremos es analizar la investigación solo hay tomar los denominados como ítems citables que tradicionalmente han sido lo que ISI denomina articles, reviews y notes. En todo caso una solución muy empleada es sacar un indicador que recuente todos los ítems indistintamente y otro que tome tan solo ítems citables.

- La división y el reparto del trabajo. Los recuentos se pueden realizar de tres formas diferentes. Recuento por primer autor asignando la cita o el trabajo únicamente al primer firmante (autor o institución). Recuento total asignando la cita o el trabajo por igual a todos los firmantes de un trabajo sin distinción. Recuento fraccionado, cuando la cita o el trabajo se divide entre todos los firmantes de un paper de manera que sume la unidad. Los recuentos fraccionados pueden ser ponderados o asimétricos, cuando una posición en la firma tiene más peso. La elección de un método u otro depende principalmente del tipo de colaboración que se de en el contexto evaluado. Por ejemplo la utilización de un recuento fraccionado donde existe una gran cantidad de autores por trabajo puede distorsionar el resultado final.

-La dirección del recuento. En este caso nos encontramos con dos perspectivas diferentes: Top-Down y Bottom-Up. La Top se produce cuando por ejemplo descargamos y queremos analizar la producción de un país a partir del campo adress de la Web of Science y vamos normalizando instituciones e incluso si tenemos paciencia los departamentos. Por tanto tiene como punto de partida el nivel agregación más elevado y desde éste vamos descendiendo empleando tan solo la información proporcionada por una base de datos, por lo que no existe ningún tipo de verificación. Esta perspectiva se asocia a la Bibliometría Descriptiva ya que los resultados no son 100% fiables ya que existe cierto grado de incertidumbre, porque, efectivamente, las bases de datos no son perfectas sino que se lo pregunten a la FECYT

En la Bottom-up Aproach solemos partir de los CV originales de los investigadores y a partir de ellos con la suma de sus publicaciones escalamos hacía los niveles superiores, normalmente de una institución, obteniendo la producción de los departamentos, facultades, etc. Normalmente requiere que las publicaciones sean verificadas por los propios investigadores y sus resultados por tanto gozan de garantías suficientes como para llegar a conclusiones efectivas. Cuando aplicamos esta perspectiva hablamos de Bibliometria Evaluativa y es el único caso en que se puede utilizar la información como herramienta de gestión o toma de decisiones por su baja tasa de error.