La evaluación de la excelencia en la investigación científica requiere transformaciones globales

De acuerdo con especialistas escuchados por Agência FAPESP, los indicadores clásicos basados en la cantidad de artículos y de citas tienden a cederle espacio a un abordaje multidimensional, que tenga en cuenta la enseñanza, la investigación, la extensión, la cultura y la llamada outreach

Por Karina Toledo  |  Agência FAPESP – Aunque la excelencia es una de las cualidades más valoradas en el medio académico, definirla no es una tarea fácil. Los indicadores y las métricas que se basan en la cantidad de artículos y de citas despuntaron como una herramienta facilitadora de este proceso a mediados del siglo pasado y, a partir de la década de 1980, pasaron a tener un peso en la definición de aquello que es relevante y merece financiarse.

Los primeros rankings universitarios internacionales surgieron a comienzos de este siglo, en el marco de un movimiento encabezado por la Shanghai Jiao Tong University, de China, que presentó en 2003 el Academic Ranking of World Universities (ARWU). Instituciones europeas se movilizaron entonces para hacer frente a esa iniciativa y, al año siguiente, se presentó en Inglaterra el Times Higher Education Supplement World University Rankings, conocido en la actualidad solamente como Times Higher Education (THE). Junto al también británico QS World University Rankings, de la empresa Quacquarelli Symonds, los dos pioneros están entre los más influyentes hoy en día.

Los indicadores y la metodología empleada para determinar cuáles son las “mejores universidades del mundo” varían de acuerdo con el propósito y con el origen de cada ranking, tal como lo explica el profesor de la Universidad de São Paulo (USP) Jacques Marcovitch, quien coordina el Proyecto Métricas. Con el apoyo de la FAPESP, el equipo encabezado por Marcovitch monitorea y analiza comparaciones nacionales e internacionales de universidades. Uno de los principales objetivos de su grupo consistió en buscar estrategias tendientes a fortalecer el desempeño de las instituciones del estado paulista –que ya son líderes en Brasil– y de otras universidades participantes en comparaciones internacionales.

“Podemos decir que existen tres grandes categorías de rankings: la de los comerciales [en la cual se insertan el THE, el QS y el RUF, el ranking universitario del periódico Folha de S.Paulo, por ejemplo], generalmente dirigidos a familias que se encuentran en busca de una universidad para sus hijos; los de interés nacional [ARWU y SCImago Institutions Rankings, entre otros], que son elaborados de acuerdo con misiones y prioridades en la educación superior del país en donde se los creó, y los académicos [U-Multirank, por ejemplo], que no tienen el objetivo de clasificar a las universidades, sino de compararlas y de crear benchmarking”, describe Marcovitch, quien abordó el tema en profundidad en la obra colectiva Repensar a Universidade. Desempenho Acadêmico e Comparações Internacionais [Repensar la universidad. Rendimiento académico y comparaciones internacionales], disponible en el Portal de Libros Abiertos de la USP.

En la estela de los rankings universitarios, surgieron plataformas que se proponen medir también el rendimiento individual de los investigadores, tal como es el caso del AD Scientific Index, del Research.com y del Highly Cited Researchers, de la empresa británica Clarivate Analytics. Si bien emplean diferentes metodologías, recortes de tiempo y bases de datos, en general esas clasificaciones individuales se basan fuertemente en indicadores cuantitativos, tales como la cantidad de artículos científicos publicados (productividad), el conteo total y/o por artículo de citas (impacto) y el Índice H o derivados (métricas que apuntan a cuantificar simultáneamente la productividad y el impacto).

La precisión de este tipo de abordaje pasó a ser cuestionada más fuertemente durante la última década, cuando surgieron iniciativas abocadas a lograr que el proceso de evaluación de la investigación científica sea más abarcador, inclusivo y atento a las necesidades locales y globales.

Una de las primeras iniciativas fue la San Francisco Declaration on Research Assessment (Dora), ya ratificada por 23.800 personas de 162 países. Esta declaración, que cumplió diez años en mayo, recomienda que los índices bibliométricos basados en citas, tales como el factor de impacto de un periódico científico, dejen de utilizarse para evaluar a los científicos en situaciones de contratación, ascenso o decisión de otorgamiento de financiación para sus proyectos de investigación.

A finales del año 2014, los investigadores reunidos en la 19ª Conferencia Internacional de Indicadores en Ciencia y Tecnología, realizada en los Países Bajos, presentaron el Manifiesto de Leiden, que propone una serie de principios para el uso de indicadores bibliométricos. El primero de ellos indica que “la evaluación cuantitativa debe brindar soporte a la evaluación cualitativa especializada”, en donde se pone de relieve que los evaluadores no deben “ceder a la tentación de basar sus decisiones únicamente en cifras”. Otro principio del manifiesto que cabe destacar es la necesidad de “proteger la excelencia de la investigación localmente relevante”, al llamar la atención acerca de la importancia de fomentar estudios sobre temas relacionados con las necesidades locales, aun cuando los mismos no figuren entre los hot topics de los periódicos científicos con alto factor de impacto. Un ejemplo en el caso de Brasil lo constituyen las enfermedades desatendidas.

En 2022, se publicó el Agreement on Reforming Research Assessment, articulado por entidades tales como European Research Area (ERA), European University Association (EUA), Science Europe y la Comisión Europea. Dicho acuerdo cuenta con el apoyo de 350 organizaciones públicas y privadas que incluyen agencias científicas de fomento, universidades, centros de investigación, asociaciones y sociedades científicas de más de 40 países. Uno de los compromisos establecidos consiste en “basar la evaluación de las investigaciones científicas fundamentalmente en la evaluación cualitativa, para la cual la revisión por pares es central, apoyada por el uso responsable de los indicadores cuantitativos”. Existe también la propuesta de abandonar las métricas basadas en periódicos científicos y publicaciones, como el Índice H, y de evitar el empleo de las métricas que dan base a los rankings internacionales para medir el rendimiento de los investigadores.

El movimiento más reciente se concretó este año y estuvo a cargo del Global Research Council (GRC) –el grupo que congrega a las principales instituciones de fomento de la investigación científica del mundo–, con la divulgación de una Declaración de Principios sobre Reconocimiento y Recompensa de los Investigadores. En dicho documento, que pone de relieve el papel de los funders (las instituciones de fomento) como agentes facilitadores de cambios en la cultura académica, los miembros del GRC estipularon que los investigadores deben ser evaluados en forma “amplia y holística”, mediante estrategias adaptadas al contexto en el que transcurre la evaluación (considerando factores tales como el campo disciplinario y la fase de su trayectoria en la que se encuentran, por ejemplo). Y que las prácticas y los abordajes responsables de la investigación deben orientarse de acuerdo con la promoción de la equidad, la diversidad y la inclusión (lea más en portugués, en: agencia.fapesp.br/41558/).

Para el director científico de la FAPESP, Marcio de Castro Silva Filho, la finalidad de la investigación científica se extiende más allá de la mera respuesta a una pregunta y debe tener en cuenta su relevancia social y económica para la sociedad. En ese contexto, sostiene, la Fundación ha creado una serie de programas orientados a objetivos estratégicos y recientemente ha emitido una nueva convocatoria de Centros de Ciencia para el Desarrollo. El objetivo de la misma es estimular la composición de centros de investigación orientados hacia problemas relevantes para el estado de São Paulo.

“Este debate ha avanzado en la dirección de utilizar con suma ponderación y cautela esos indicadores cuantitativos de productividad e impacto. Uno de los argumentos bien aceptados es el que apunta que esas métricas se basan en sesgos variados, por ejemplo, de género, de idioma, de origen y de raza. Existe hoy en día un campo del conocimiento –denominado ciencia de la ciencia o investigación de la investigación– dedicado a medir esos sesgos. Y hay científicos que proponen el empleo de factores de corrección para minimizar la distorsión que causan los mismos en la evaluación”, comenta Sergio Salles-Filho, docente de la Universidad de Campinas (Unicamp) y coordinador de un proyecto de investigación referente al tema. 

De acuerdo con Salles, los estudios en esta área han demostrado que, cuando el criterio de base lo constituyen esos indicadores cuantitativos, se hace más fácil obtener un buen rendimiento en caso de ser un investigador, es decir, del sexo masculino, blanco, con inglés nativo y de origen europeo o norteamericano, en donde se encuentran instaladas la mayoría de las revistas con alto factor de impacto. “Esto no quiere decir que los científicos mejor ubicados en esos rankings no sean buenos, sino al contrario, que son efectivamente outstanding, es decir, que se ubican por encima del promedio. La cuestión es que hay un conjunto de personas también muy buenas que nunca aparecerá en esos indicadores”, afirma.

Es gente que tiende a quedar “escondida” en este tipo de evaluaciones: científicos que se dedican a temas muy relevantes para sus países, pero poco valorados internacionalmente, por ejemplo, según señala el investigador de la USP Justin Axel-Berg, integrante del Proyecto Métricas. “Si ese es el único criterio adoptado para definir qué es calidad, se termina por generar un fuerte incentivo a que los investigadores no contemplen las necesidades locales”, subraya. “Cuando se evalúa el rendimiento de un docente con base en la bibliometría, todo se convierte en una competencia. Y quedan en segundo plano factores importantes, tales como el grado de colaboración con los colegas de laboratorio o su rendimiento como director de otras investigaciones.”

Un nuevo paradigma

A juicio de Salles, se encuentra en curso en el ámbito global un proceso de cambio en los pilares de la excelencia en la investigación científica y la tendencia apunta que los “indicadores clásicos” cederán su lugar –aún no se sabe con qué rapidez e intensidad− a nuevas métricas capaces de poner en evidencia en forma más objetiva la relevancia de las investigaciones o de las instituciones para la sociedad.

“Este año, la USP subió varias posiciones en el QS World University Rankings, al pasar de la 115ª ubicación a la 85ª. Uno de los motivos de ello fue la inclusión de un nuevo tipo de indicador que mide la sostenibilidad de las instituciones. Asimismo, algunos indicadores cobraron mayor peso, como los que miden la empleabilidad o la reputación ante los empleadores. Y este movimiento hace que todas las universidades se muevan para adecuarse”, subraya.

En la 13ª edición del QS Latin America & The Caribbean Ranking, publicada este mes, la USP figura en el primer puesto en el ranking que abarca a 430 instituciones de 25 países de la región. También en este caso se incluyó un nuevo indicador en el cálculo, intitulado “Red Internacional de Investigación”, que apunta el grado de internacionalización de la institución.

Un abordaje integrador

Marcovitch aboga para que las universidades y las demás instituciones de investigación científica adopten en la evaluación de los investigadores un abordaje integrador, que abarque la enseñanza, la investigación, la extensión, la cultura y la llamada outreach, un término que hace alusión al contenido que se le transmite en la sociedad para “ayudar a construir un futuro mejor”.

“El gran tema que estamos debatiendo actualmente consiste en cómo migrar desde métricas de resultados [cantidades de egresados, de publicaciones y de citas] hacia métricas de impacto. El impacto consiste en tener un efecto constructivo sobre las condiciones de vida de una sociedad, tal como sucedió durante la crisis sanitaria del COVID-19, cuando la ciencia aportó respuestas a interrogantes muy concretos”, puntualiza.

Si las instituciones de investigación aspiran a ser valoradas, añade Marcovitch, deben escuchar a la sociedad e identificar qué espera esta en caso de que surja una crisis radical. En el caso de la pandemia, prosigue el investigador, fue relativamente fácil mapear lo que la sociedad pretendía: eran vacunas y una atención hospitalaria apropiada. Y las instituciones científicas respondieron como correspondía.

“Pero existen otras crisis sumamente presentes en las demandas de la sociedad, aunque menos evidentes, empezando por la transición demográfica. Me refiero a las profundas modificaciones que están sucediendo en el perfil demográfico de Brasil y de São Paulo, con significativos impactos sociales; en los servicios de educación y salud, primeramente. Hay también una transición digital, que requiere nuevas capacidades para universalizar el acceso a la digitalización, un componente determinante para la construcción del futuro. En la transición socioeconómica, se observan cambios en las relaciones laborales, una mayor distancia entre los niveles de ingresos y la creciente polarización de las mentalidades dentro de la sociedad. Una polarización que aguza el sentimiento de inseguridad. Finalmente, la transición ecológica demanda una disminución de las emisiones de gases de efecto invernadero, eliminar la deforestación y conservar la naturaleza con prioridad para los biomas, entre los cuales se ubica el bioma amazónico. La cuestión que se erige como un reto consiste en cómo identificar a los interlocutores de la sociedad y construir con ellos métricas que permitan monitorear las respuestas a sus expectativas”, culmina diciendo.