Daniel
Torres-Salinas y Álvaro Cabezas Clavijo
Grupo EC3 Evaluación de la Ciencia y la
Comunicación Científica
1. El
contexto científico y el contexto profesional
En los últimos años hemos asistido a un crecimiento
en la importancia de la labor investigadora en la universidad, así como a la
creación de numerosos centros de investigación. La investigación es ahora la
clave para conseguir ascensos, complementos salariales o proyectos de
investigación. Esto ha llevado a una multiplicación de convocatorias, cada una
con sus criterios de calidad propios, y a una mayor demanda por parte de
investigadores, grupos y centros de investigación, de información cuantitativa
acerca de los resultados producidos. A la par, el modelo de financiación,
tradicionalmente basado en proyectos de corta duración, también parece estar
reconfigurándose; debido a las restricciones presupuestarias se tiende a
reducir el número de proyectos que se conceden [1] y surgen formas de
distribución de los recursos económicos que hasta hace bien poco eran
desconocidas para muchas universidades y otro tipos de centros de
investigación. En este nuevo modelo que se atisba, que pretende acabar con el
“café para todos”, prima la financiación a centros sobre la financiación por
proyectos. Varias son las características fundamentales: a) se apuesta más por
la excelencia b) no se prima la producción/impacto de un grupo concreto, como
puede ocurrir en los proyectos, sino que se tiene en cuenta grandes
agregaciones (grupos/centros/institutos/universidades) c) son los centros los
encargados del reparto posterior de los recursos. Algunos ejemplos de este tipo
de política son por ejemplo las acreditaciones de Institutos de Investigación del Instituto de Salud Carlos III [2],
el Programa Severo Ochoa [3], o en el
caso de las propias universidades en los programas de Campus de Excelencia Internacional [4].
Algunos logos de los Campus de Excelencia Internacional
Una cuestión importante que nos afecta como profesionales
de la información es que en todos estos programas/convocatorias uno de los
aspectos básicos es valorar los resultados de investigación de las agregaciones;
para ello se emplean indicadores de I+D de todo tipo pero con un especial
énfasis en los bibliométricos, algunos de ellos de cierta complejidad [5]. Por ello un aspecto
evidente y que los gestores de nuestras universidades deberían tener en cuenta es
que gran parte del éxito que alcancen en dichas convocatorias descansa en buena
medida en como se realiza la recopilación y presentación de dichos indicadores.
Para que esto sea posible es necesario contar con información actualizada, veraz
y fácilmente procesable para adaptarla a los requisitos de cada convocatoria. En ocasiones ni siquiera basta con esto ya que si no
contextualizamos los resultados, los indicadores ayudan pero de forma limitada;
suele ser un requisito imprescindible la comparativa con contextos nacionales o
internacionales, como por ejemplo se hacía en la convocatoria de centros Severo
Ochoa al solicitar el Factor de Impacto
Normalizado [6]. Pero estos indicadores no solo contribuyen a ‘aprobar’
estas convocatorias, sino que además deberían ser herramientas insertadas en la
rutina diaria para la buena gestión de las universidades y sobre todo para la
verificación del cumplimiento de objetivos.
Listado de Centros que consiguieron la acreditación Severo Ochoa
Barcelona Supercomputing Center - Centro Nacional de Supercomputación (BSC-CNS)
Instituto de Ciencias Matemáticas (ICMAT).
Instituto de Ciencias Fotónicas (ICFO)
Instituto de Astrofísica de Canarias (IAC)
Centro Nacional de Investigaciones Oncológicas Carlos III (CNIO)
Instituto de Investigación Biomédica (IRB Barcelona)
Centro Nacional de Investigaciones Cardiovasculares Carlos III (CNIC)
Barcelona Graduate School of Economics
En este contexto continúa la siguiente nota, donde
trataremos de repasar algunas de las herramientas con las que cuentan
actualmente las universidades al margen de los tradicionales índices de citas;
concretamente nos centraremos en tres: los sistemas de información científica,
las suites bibliométricas de las compañías comerciales, y los rankings de
universidades. Finalmente ofreceremos una pincelada final sobre como emplear
útilmente estas herramientas y la necesidad de contar con documentalistas que
las gestionen.
2.
Herramientas para la obtención de indicadores
2.1. Los
sistemas de Información Científica
Los Sistemas
de Información Científica (SIC) también conocidos por su denominación
inglesa de Current Research Information
Systems (CRIS) [7] son la solución que se está adoptando en la mayor parte
de universidades para tener controlada la actividad de sus investigadores. Estos sistemas tienen el objetivo de
facilitar al investigador una herramienta para la gestión del CV científico,
por ello si lo hacen sistemáticamente la suma de todos esos currículos constituye
fuente inestimable para la obtención de indicadores. Por poner algunos
ejemplos, a nivel autonómico encontramos el Sistema
de Información Científica de Andalucía (SICA 2) [8]; como ejemplo de uno
creado por una universidad está el Descriptor
de la Recerca i la Activitat Acadèmica de la UPC (DRAC) [9] de la
Universitat Politécnica de Catalunya y a nivel comercial Universitas XXI – Investigación
[10] de la Oficina de Cooperación Universitaria (OCU).
Interfaz del SICA2
Uno de los principales problemas de los SIC es la
introducción de la información, que descansa sobre los investigadores, lo que
genera el problema de la fiabilidad de los datos que deben ser normalizados y
validados. Esta situación implica la necesidad de personal técnico que asuma
estas tareas, un rol que en ocasiones está empezado a ser asumido por los
propios bibliotecarios y documentalistas. Otro de los obstáculos es incentivar
a los profesores para su carga, no todos los profesores ingresan información por
lo que se genera cierta incertidumbre a la hora de obtener indicadores. En Andalucía, por ejemplo los datos
almacenados en SICA se utilizan en diferentes convocatorias autonómicas,
incentivo más que suficientes en la mayoría de los casos para que los
investigadores tengan su CV de SICA actualizado. Otra de las ventajas de los
CRIS es que suelen incluir información de ciertas actividades científicas
difíciles de obtener de otra forma; es el caso de libros, capítulos o las
publicaciones no indexadas en las principales bases de datos comerciales, es
decir, son muy atractivas de cara a recoger de forma más justa los méritos de
los investigadores de Ciencias Sociales, Jurídicas y Humanidades. También pueden ser útiles de cara a la
preparación de memorias científicas, o para la generación vía web services de
páginas con la producción científica de un grupo o departamento. Finalmente hay
que mencionar que estos productos son complejos desde el punto de vista técnico
ya que suelen integrarse con otros sistemas de las universidades (proyectos,
repositorios, catálogos de bibliotecas) además suelen implicar la participación
de muchas personas.
2.2. Suites
bibliométricas de compañías comerciales
Otras herramientas bibiométricas que podemos
encontrar para evaluar la investigación son las desarrolladas por las grandes
compañías como Thomson-Reuters y Elsevier; éstas también han detectado la
creciente necesitad de información bibliométrica que existe por lo que desde
hace un tiempo ofertan suites de evaluación de la actividad científica. Dentro
de este interesante conjunto debemos citar aquellas que ya están en el mercado
y empezamos por In-Cites [11] de Thomson-Reuters y de Elsevier sus productos Scival Spotlight[12] o Strata [13]. Estos productos están basados en la
información bibliográfica de sus propias bases de datos (Web of Science y
Scopus) y el objetivo esencial es
ofrecer indicadores bibliométricos ya ‘cocinados’ de producción e impacto de la
universidad. Asimismo la ventaja esencial es que facilitan que éstos puedan ser
fácilmente contextualizados, bien a través de medias mundiales o a través de
comparativas con otros centros y generalmente facilitan la obtención de
resultados limitados a categorías temáticas. Permiten obtener por tanto retratos
muy ajustados del rendimiento de las universidades. Son interesantes porque
también nos permiten conocer incluso los investigadores o hacer agrupaciones de
los mismos como ocurre en Strata. Por
tanto son buenos instrumentos para conseguir una fotografía general del
rendimiento científico de una institución, sin embargo sus limitaciones son las
heredadas de las propias bases de datos, como la falta de normalización, la utilización tan solo de las
revistas científicas que indexan, o que solo sea adecuada para las áreas
científico-tecnológicas. A estos inconvenientes habría que sumarles el coste
que conllevan las licencias que no llevan a pagar dos veces por los mismos
datos y depender aún más de los distribuidores; además se pueden alcanzar
conclusiones similares con la mera utilización avanzada de los propios índices
de citas.
Summary Metrics en In-Cites de Thomson Reuters
2.3.
Rankings de universidades
Sin duda una de las herramientas más controvertidas
en estos tiempos son los rankings de universidades, unos productos que han sido
sobrevalorados por algunas universidades y denostadados por otras. Sin embargo
desde nuestro punto de vista son instrumentos únicos que todavía no se han
puesto valor. Algunos de los que se vienen empleando habitualmente son el de Shangai [14], The Times [15], Rankings ISI [16] o Taiwan [17]. Uno de los problemas fundamentales de los rankings es
sin duda la enorme atención mediática que atraen por lo que las universidades
se han preocupado más en mirar la posición que ocupan y justificar su posición
ante los medios que en estudiarlos acríticamente. Como profesionales de
información, al margen de las preocupaciones políticas de nuestros gestores, lo
que debe preocuparnos es la elección de aquéllos que 1) se adapten mejor al
perfil de la universidad en la trabajemos 2) que cumplan requisitos mínimos de rigor científico
3) que puedan ser replicables 4) y finalmente que nos permitan verificar
objetivos y políticas científicas. Si cumplen esas características los rankings
son nuestros aliados perfectos ya que nos permiten situar nuestros centros sin
demasiado esfuerzo a nivel mundial, una situación que hace años, desde el punto
de vista bibliométrico, era muy costoso. Quizás unos de los problemas de los
rankings es que estos se suelen ver como productos definitivos y no como como fuente de información. Un
ejemplo de como explotar útilmente la información de un ranking como fuente de
información lo podemos observar en este informe titulado la ‘Universidad de
Granada en los Rankings ISI’ [18].
Consulta de los datos de una universidad en Rankings ISI
3. Hacía las
unidades de bibliometría en las Universidades
La primera conclusión a la que podemos llegar a
través del panorama expuesto es que actualmente gozamos de un buen número de
productos, sin contar los tradicionales índices de citas, para afrontar un
futuro plagado de convocatorias. Sin embargo siempre hay que seleccionar, y sin
duda de los grupos presentados las herramientas esenciales son y serán los
sistemas de información científica. Esos productos además se verán impulsados gracias
a la definitiva consolidación del CVN (currículo vitae normalizado), que
permite el intercambio de datos entre plataformas, con la puesta en marcha de
los gestores de CVN de FECYT [19] y del MICINN [20]. Asimismo algunas de estas
herramientas permiten su explotación por parte de las instituciones, para crear
por ejemplos productos destinados a la difusión de la investigación como SISUE
[21] en la Universidad de Sevilla o UGRINVESTIGA [22] en la Universidad de
Granada. Sin embargo ahora mismo estos sistemas y los indicadores que generan
son bastante básicos y la validez de la información genera aún demasiadas dudas
aunque bien es cierto que con un buen tratamiento de los datos en otras
aplicaciones y la adicción de ‘indicios de calidad’ se pueden convertir en una fuente
imprescindible para la realización de estudios en detalle de nuestras
universidades. Como complemento a los sistemas de información científica, recomendamos
el uso de rankings, aunque usados de forma analítica y profesional, no pasional.
Logo del proyecto CVN
Por último queda una última cuestión, ¿quién debe
encargarse de estas funciones que abarcan desde el conocimiento de la fuentes
hasta la selección de indicadores y la explotación de resultados?. Desde aquí
abogamos claramente por la creación de unidades de bibliometría en las
universidades, profesionales de la evaluación con conocimientos tanto en
Documentación como en políticas científicas, y que conozcan bien el entramado de
las convocatorias de I+D en la que tanto nos jugamos día a día, aunque este
tema, las unidades de bibliometría, tiene entidad propia para otra nota Thinkepi.
Notas
[1] ec3noticias:
resultados provisionales plan nacional 2011: universidades y subprogramas.
[2] Acreditación,
institutos de investigación sanitaria. Presentación
[3] El programa Severo
Ochoa reconoce a los primeros ocho centros de investigación españoles entre los
mejores del mundo
[4] Convocatoria
2011 del campus de excelencia internacional
[5] Severo Ochoa y
el Factor de Impacto Normalizado
[6] Cálculo del
impacto normalizado por investigador por categorías científicas
[7] Jornada técnica
sobre cris y repositorios
[8] Sistema de Información
Científica de Andalucía (sica2)
[9] DRAC. descriptor
de la recerca i l'activitat acadèmica de la upc
[10] Universitas xxi
- investigación. sistema de gestión de la investigación
[11] Incites - research analytics - thomson reuters
[12] Scival spotlight
[13] Elsevier launches scival strata to enhance
research evaluation
[14] Academic Ranking of World Universities
[15] THE world
university rankings
[16] Rankings
ISI de las Universidades Españolas según Campos y Disciplinas Científicas
[17] Performance Ranking of Scientific Papers
for World Universities
[18] La Universidad de Granada en los
Rankings ISI
[19] Editor Fecyt - CVN
[20]
Sistema de Información Curricular del Ministerio de Educación (SICEDU)
[21]
SISIUS. Sistema de Información Cientifíca sobre
Investigación de la Universidad de Sevilla
[22]
UGRInvestiga
