lunes, diciembre 19, 2011

Herramientas para la evaluación de la ciencia en universidades y centros I+D: descripción y usos

Daniel Torres-Salinas y Álvaro Cabezas Clavijo
Grupo EC3 Evaluación de la Ciencia y la Comunicación Científica


1. El contexto científico y el contexto profesional

En los últimos años hemos asistido a un crecimiento en la importancia de la labor investigadora en la universidad, así como a la creación de numerosos centros de investigación. La investigación es ahora la clave para conseguir ascensos, complementos salariales o proyectos de investigación. Esto ha llevado a una multiplicación de convocatorias, cada una con sus criterios de calidad propios, y a una mayor demanda por parte de investigadores, grupos y centros de investigación, de información cuantitativa acerca de los resultados producidos. A la par, el modelo de financiación, tradicionalmente basado en proyectos de corta duración, también parece estar reconfigurándose; debido a las restricciones presupuestarias se tiende a reducir el número de proyectos que se conceden [1] y surgen formas de distribución de los recursos económicos que hasta hace bien poco eran desconocidas para muchas universidades y otro tipos de centros de investigación. En este nuevo modelo que se atisba, que pretende acabar con el “café para todos”, prima la financiación a centros sobre la financiación por proyectos. Varias son las características fundamentales: a) se apuesta más por la excelencia b) no se prima la producción/impacto de un grupo concreto, como puede ocurrir en los proyectos, sino que se tiene en cuenta grandes agregaciones (grupos/centros/institutos/universidades) c) son los centros los encargados del reparto posterior de los recursos. Algunos ejemplos de este tipo de política son por ejemplo las acreditaciones de Institutos de Investigación del Instituto de Salud Carlos III [2], el Programa Severo Ochoa [3], o en el caso de las propias universidades en los programas de Campus de Excelencia Internacional [4].  

Algunos logos de los Campus de Excelencia Internacional 

Una cuestión importante que nos afecta como profesionales de la información es que en todos estos programas/convocatorias uno de los aspectos básicos es valorar los resultados de investigación de las agregaciones; para ello se emplean indicadores de I+D de todo tipo pero con un especial énfasis en los bibliométricos, algunos de ellos  de cierta complejidad [5]. Por ello un aspecto evidente y que los gestores de nuestras universidades deberían tener en cuenta es que gran parte del éxito que alcancen en dichas convocatorias descansa en buena medida en como se realiza la recopilación y presentación de dichos indicadores. Para que esto sea posible es necesario contar con información actualizada, veraz y fácilmente procesable para adaptarla a los requisitos de cada convocatoria. En ocasiones ni siquiera basta con esto ya que si no contextualizamos los resultados, los indicadores ayudan pero de forma limitada; suele ser un requisito imprescindible la comparativa con contextos nacionales o internacionales, como por ejemplo se hacía en la convocatoria de centros Severo Ochoa al solicitar el Factor de Impacto Normalizado [6]. Pero estos indicadores no solo contribuyen a ‘aprobar’ estas convocatorias, sino que además deberían ser herramientas insertadas en la rutina diaria para la buena gestión de las universidades y sobre todo para la verificación del cumplimiento de objetivos.

Listado de Centros que consiguieron la acreditación Severo Ochoa
Barcelona Supercomputing Center - Centro Nacional de Supercomputación (BSC-CNS)
Instituto de Ciencias Matemáticas (ICMAT).
Instituto de Ciencias Fotónicas (ICFO)
Instituto de Astrofísica de Canarias (IAC)
Centro Nacional de Investigaciones Oncológicas Carlos III (CNIO)
Instituto de Investigación Biomédica (IRB Barcelona)
Centro Nacional de Investigaciones Cardiovasculares Carlos III (CNIC)
Barcelona Graduate School of Economics


En este contexto continúa la siguiente nota, donde trataremos de repasar algunas de las herramientas con las que cuentan actualmente las universidades al margen de los tradicionales índices de citas; concretamente nos centraremos en tres: los sistemas de información científica, las suites bibliométricas de las compañías comerciales, y los rankings de universidades. Finalmente ofreceremos una pincelada final sobre como emplear útilmente estas herramientas y la necesidad de contar con documentalistas que las gestionen.

2. Herramientas para la obtención de indicadores

2.1.  Los sistemas de Información Científica

Los Sistemas de Información Científica (SIC) también conocidos por su denominación inglesa de Current Research Information Systems (CRIS) [7] son la solución que se está adoptando en la mayor parte de universidades para tener controlada la actividad de sus investigadores. Estos sistemas tienen el objetivo de facilitar al investigador una herramienta para la gestión del CV científico, por ello si lo hacen sistemáticamente la suma de todos esos currículos constituye fuente inestimable para la obtención de indicadores. Por poner algunos ejemplos, a nivel autonómico encontramos el Sistema de Información Científica de Andalucía (SICA 2) [8]; como ejemplo de uno creado por una universidad está el Descriptor de la Recerca i la Activitat Acadèmica de la UPC (DRAC) [9]  de la Universitat Politécnica de Catalunya y a nivel comercial Universitas XXIInvestigación [10] de la Oficina de Cooperación Universitaria (OCU).

Interfaz del SICA2


Uno de los principales problemas de los SIC es la introducción de la información, que descansa sobre los investigadores, lo que genera el problema de la fiabilidad de los datos que deben ser normalizados y validados. Esta situación implica la necesidad de personal técnico que asuma estas tareas, un rol que en ocasiones está empezado a ser asumido por los propios bibliotecarios y documentalistas. Otro de los obstáculos es incentivar a los profesores para su carga, no todos los profesores ingresan información por lo que se genera cierta incertidumbre a la hora de obtener indicadores.  En Andalucía, por ejemplo los datos almacenados en SICA se utilizan en diferentes convocatorias autonómicas, incentivo más que suficientes en la mayoría de los casos para que los investigadores tengan su CV de SICA actualizado. Otra de las ventajas de los CRIS es que suelen incluir información de ciertas actividades científicas difíciles de obtener de otra forma; es el caso de libros, capítulos o las publicaciones no indexadas en las principales bases de datos comerciales, es decir, son muy atractivas de cara a recoger de forma más justa los méritos de los investigadores de Ciencias Sociales, Jurídicas y Humanidades.  También pueden ser útiles de cara a la preparación de memorias científicas, o para la generación vía web services de páginas con la producción científica de un grupo o departamento. Finalmente hay que mencionar que estos productos son complejos desde el punto de vista técnico ya que suelen integrarse con otros sistemas de las universidades (proyectos, repositorios, catálogos de bibliotecas) además suelen implicar la participación de muchas personas.

2.2. Suites bibliométricas de compañías comerciales

Otras herramientas bibiométricas que podemos encontrar para evaluar la investigación son las desarrolladas por las grandes compañías como Thomson-Reuters y Elsevier; éstas también han detectado la creciente necesitad de información bibliométrica que existe por lo que desde hace un tiempo ofertan suites de evaluación de la actividad científica. Dentro de este interesante conjunto debemos citar aquellas que ya están en el mercado y empezamos por In-Cites [11]  de Thomson-Reuters y de Elsevier sus productos Scival Spotlight[12] o Strata [13]. Estos productos están basados en la información bibliográfica de sus propias bases de datos (Web of Science y Scopus)  y el objetivo esencial es ofrecer indicadores bibliométricos ya ‘cocinados’ de producción e impacto de la universidad. Asimismo la ventaja esencial es que facilitan que éstos puedan ser fácilmente contextualizados, bien a través de medias mundiales o a través de comparativas con otros centros y generalmente facilitan la obtención de resultados limitados a categorías temáticas. Permiten obtener por tanto retratos muy ajustados del rendimiento de las universidades. Son interesantes porque también nos permiten conocer incluso los investigadores o hacer agrupaciones de los mismos como ocurre en Strata. Por tanto son buenos instrumentos para conseguir una fotografía general del rendimiento científico de una institución, sin embargo sus limitaciones son las heredadas de las propias bases de datos, como la falta de normalización, la utilización tan solo de las revistas científicas que indexan, o que solo sea adecuada para las áreas científico-tecnológicas. A estos inconvenientes habría que sumarles el coste que conllevan las licencias que no llevan a pagar dos veces por los mismos datos y depender aún más de los distribuidores; además se pueden alcanzar conclusiones similares con la mera utilización avanzada de los propios índices de citas.

Summary Metrics en In-Cites de Thomson Reuters



2.3. Rankings de universidades
Sin duda una de las herramientas más controvertidas en estos tiempos son los rankings de universidades, unos productos que han sido sobrevalorados por algunas universidades y denostadados por otras. Sin embargo desde nuestro punto de vista son instrumentos únicos que todavía no se han puesto valor. Algunos de los que se vienen empleando habitualmente son el de Shangai [14], The Times [15],  Rankings ISI [16] o Taiwan [17]. Uno de los problemas fundamentales de los rankings es sin duda la enorme atención mediática que atraen por lo que las universidades se han preocupado más en mirar la posición que ocupan y justificar su posición ante los medios que en estudiarlos acríticamente. Como profesionales de información, al margen de las preocupaciones políticas de nuestros gestores, lo que debe preocuparnos es la elección de aquéllos que 1) se adapten mejor al perfil de la universidad en la trabajemos 2) que  cumplan requisitos mínimos de rigor científico 3) que puedan ser replicables 4) y finalmente que nos permitan verificar objetivos y políticas científicas. Si cumplen esas características los rankings son nuestros aliados perfectos ya que nos permiten situar nuestros centros sin demasiado esfuerzo a nivel mundial, una situación que hace años, desde el punto de vista bibliométrico, era muy costoso. Quizás unos de los problemas de los rankings es que estos se suelen ver como productos definitivos  y no como como fuente de información. Un ejemplo de como explotar útilmente la información de un ranking como fuente de información lo podemos observar en este informe titulado la ‘Universidad de Granada en los Rankings ISI’ [18].

Consulta de los datos de una universidad en Rankings ISI


3. Hacía las unidades de bibliometría en las Universidades

La primera conclusión a la que podemos llegar a través del panorama expuesto es que actualmente gozamos de un buen número de productos, sin contar los tradicionales índices de citas, para afrontar un futuro plagado de convocatorias. Sin embargo siempre hay que seleccionar, y sin duda de los grupos presentados las herramientas esenciales son y serán los sistemas de información científica. Esos productos además se verán impulsados gracias a la definitiva consolidación del CVN (currículo vitae normalizado), que permite el intercambio de datos entre plataformas, con la puesta en marcha de los gestores de CVN de FECYT [19] y del MICINN [20]. Asimismo algunas de estas herramientas permiten su explotación por parte de las instituciones, para crear por ejemplos productos destinados a la difusión de la investigación como SISUE [21] en la Universidad de Sevilla o UGRINVESTIGA [22] en la Universidad de Granada. Sin embargo ahora mismo estos sistemas y los indicadores que generan son bastante básicos y la validez de la información genera aún demasiadas dudas aunque bien es cierto que con un buen tratamiento de los datos en otras aplicaciones y la adicción de ‘indicios de calidad’ se pueden convertir en una fuente imprescindible para la realización de estudios en detalle de nuestras universidades. Como complemento a los sistemas de información científica, recomendamos el uso de rankings, aunque usados de forma analítica y profesional, no pasional.

Logo del proyecto CVN


Por último queda una última cuestión, ¿quién debe encargarse de estas funciones que abarcan desde el conocimiento de la fuentes hasta la selección de indicadores y la explotación de resultados?. Desde aquí abogamos claramente por la creación de unidades de bibliometría en las universidades, profesionales de la evaluación con conocimientos tanto en Documentación como en políticas científicas, y que conozcan bien el entramado de las convocatorias de I+D en la que tanto nos jugamos día a día, aunque este tema, las unidades de bibliometría, tiene entidad propia para  otra nota Thinkepi.



Notas

[1] ec3noticias: resultados provisionales plan nacional 2011: universidades y subprogramas.
[2] Acreditación, institutos de investigación sanitaria. Presentación
[3] El programa Severo Ochoa reconoce a los primeros ocho centros de investigación españoles entre los mejores del mundo
[4] Convocatoria 2011 del campus de excelencia internacional
[5] Severo Ochoa y el Factor de Impacto Normalizado
[6] Cálculo del impacto normalizado por investigador por categorías científicas
[7] Jornada técnica sobre cris y repositorios
[8] Sistema de Información Científica de Andalucía (sica2)
[9] DRAC. descriptor de la recerca i l'activitat acadèmica de la upc
[10] Universitas xxi - investigación. sistema de gestión de la investigación
[11] Incites - research analytics - thomson reuters
[12] Scival spotlight
[13] Elsevier launches scival strata to enhance research evaluation
[14] Academic Ranking of World Universities
[15] THE world university rankings
[16] Rankings ISI de las Universidades Españolas según Campos y Disciplinas Científicas
 [17] Performance Ranking of Scientific Papers for World Universities
 [18] La Universidad de Granada en los Rankings ISI
[19] Editor Fecyt - CVN
 [20] Sistema de Información Curricular del Ministerio de Educación (SICEDU)
 [21] SISIUS. Sistema de Información Cientifíca sobre Investigación de la Universidad de Sevilla
 [22] UGRInvestiga

1 comentario:

Anna Guillaumet dijo...

Tambien existe un CRIS importante dado que está implantado o en fase de implantación en 4 importantes universidades públicas: UAB, UAM, UPF y UPNA. Es el sistema ARGOS de SIGMAAIE.