Forma de avaliar a excelência em pesquisa passa por transformações em âmbito global

Segundo especialistas ouvidos pela reportagem, indicadores clássicos baseados em número de artigos e de citações tendem a ceder espaço a uma abordagem multidimensional, que abranja ensino, pesquisa, extensão, cultura e outreach

Karina Toledo | Agência FAPESP – Embora a excelência seja uma das qualidades mais valorizadas no meio acadêmico, defini-la não é uma tarefa trivial. Indicadores e métricas baseados em número de artigos e de citações despontaram como ferramenta facilitadora desse processo em meados do século passado e, a partir dos anos 1980, passaram a ter grande peso na definição do que é relevante e merece ser financiado.

Os primeiros rankings universitários internacionais surgiram no início deste século, em um movimento encabeçado pela Shanghai Jiao Tong University, da China, que apresentou em 2003 o Academic Ranking of World Universities (ARWU). Instituições europeias se mobilizaram para fazer frente à iniciativa e, no ano seguinte, foi lançado na Inglaterra o Times Higher Education Supplement World University Rankings, hoje conhecido apenas por Times Higher Education (THE). Ao lado do também britânico QS World University Rankings, da empresa Quacquarelli Symonds, os dois pioneiros estão entre os mais influentes hoje.

Os indicadores e a metodologia usados para determinar quais são as “melhores universidades do mundo” variam de acordo com o propósito e com a origem de cada ranking, como explica o professor da Universidade de São Paulo (USP) Jacques Marcovitch, que coordena o Projeto Métricas. Com apoio da FAPESP, a equipe liderada por Marcovitch monitora e analisa comparações nacionais e internacionais de universidades. Um dos principais objetivos do grupo é buscar estratégias para fortalecer o desempenho das instituições estaduais paulistas – que já são líderes no país – e de outras universidades participantes em comparações internacionais.

“Podemos dizer que há três grandes categorias de rankings: os comerciais [na qual se inserem o THE, o QS e o Ranking Universitário da Folha – RUF, por exemplo], geralmente dirigidos a famílias que estão em busca de uma universidade para seus filhos; os de interesse nacional [ARWU e SCImago Institutions Rankings, entre outros], que são construídos de acordo com missões e prioridades em ensino superior do país em que foram criados; e os acadêmicos [U-Multirank, por exemplo], que não têm o objetivo de classificar as universidades, mas de compará-las e de criar benchmarking”, descreve Marcovitch, que abordou o tema de forma aprofundada na obra coletiva Repensar a Universidade. Desempenho Acadêmico e Comparações Internacionais, disponível no Portal de Livros Abertos da USP.

Na esteira dos ranking universitários, surgiram plataformas que se propõem a medir também o desempenho individual dos pesquisadores, como é o caso do AD Scientific Index, do Research.com e do Highly Cited Researchers, da empresa britânica Clarivate Analytics. Embora usem diferentes metodologias, recortes de tempo e bases de dados, de modo geral, essas classificações individuais se baseiam fortemente em indicadores quantitativos, como número de artigos publicados (produtividade), contagem total e/ou por artigo de citações (impacto) e Índice H ou derivados (métricas que buscam quantificar simultaneamente produtividade e impacto).

A precisão desse tipo de abordagem passou a ser questionada mais fortemente na última década, quando surgiram iniciativas dedicadas a tornar o processo de avaliação da pesquisa mais abrangente, inclusivo e antenado com as necessidades locais e globais.

Uma das primeiras iniciativas foi a San Francisco Declaration on Research Assessment (Dora), já ratificada por 23,8 mil pessoas de 162 países. A declaração, que completou dez anos em maio, recomenda que índices bibliométricos baseados em citações, como o fator de impacto de um periódico, deixem de ser utilizados para avaliar pesquisadores em situações de contratação, promoção ou decisão de concessão de financiamento para projetos de pesquisa.

No fim de 2014, pesquisadores reunidos na 19ª Conferência Internacional de Indicadores em Ciência e Tecnologia, realizada nos Países Baixos, apresentaram o Manifesto de Leiden, que propõe uma série de princípios para o uso de indicadores bibliométricos. O primeiro deles é que a “avaliação quantitativa deve dar suporte à avaliação qualitativa especializada”, onde se destaca que os avaliadores não devem “ceder à tentação de basear suas decisões apenas em números”. Outro princípio do manifesto que vale ser destacado é a necessidade de “proteger a excelência da pesquisa localmente relevante”, chamando a atenção para a importância de fomentar estudos sobre temas relacionados a necessidades locais, ainda que estes não figurem entre os hot topics dos periódicos com alto fator de impacto. Um exemplo, no caso do Brasil, seriam as doenças negligenciadas.

Em 2022, foi publicado o Agreement on Reforming Research Assessment, articulado por entidades como European Research Area (ERA), European University Association (Bélgica), Science Europe e Comissão Europeia. O acordo conta com o apoio de 350 organizações públicas e privadas, incluindo agências de fomento, universidades, centros de pesquisa, associações e sociedades científicas, de mais de 40 países. Um dos compromissos estabelecidos é “basear a avaliação da pesquisa principalmente na avaliação qualitativa, para a qual a revisão por pares é central, apoiada pelo uso responsável de indicadores quantitativos”. Há ainda a proposta de abandonar métricas baseadas em periódicos e publicações, como o Índice H, e de evitar usar as métricas que embasam os rankings internacionais para medir o desempenho de pesquisadores.

E o movimento mais recente foi feito este ano pelo Global Research Council (GRC) – grupo que congrega as principais instituições de fomento à pesquisa do mundo –, com a divulgação de uma Declaração de Princípios sobre Reconhecimento e Recompensa de Pesquisadores. No documento, que destaca o papel dos funders (instituições de fomento) como agentes facilitadores de mudanças na cultura acadêmica, os membros do GRC estabeleceram que os pesquisadores devem ser avaliados de forma “ampla e holística”, por meio de estratégias adaptadas ao contexto em que a avaliação ocorre (considerando fatores como o campo disciplinar e a fase da carreira em que se encontram, por exemplo). E que as práticas e abordagens responsáveis de pesquisa devem ser guiadas pela promoção da equidade, diversidade e inclusão (leia mais em: agencia.fapesp.br/41558/).

Para o diretor científico da FAPESP, Marcio de Castro Silva Filho, a finalidade da pesquisa científica vai além da simples resposta a uma pergunta e deve considerar a relevância social e econômica para a sociedade. Nesse contexto, diz ele, a Fundação criou uma série de programas orientados a objetivos estratégicos e lançou recentemente nova chamada para Centros de Ciência para Desenvolvimento. O objetivo é estimular a composição de centros de pesquisa orientados a problemas relevantes para o Estado de São Paulo.

“Essa discussão tem ido na direção de usar com muita ponderação e cautela esses indicadores quantitativos de produtividade e impacto. Um dos argumentos bem aceitos é o de que essas métricas são baseadas em vieses variados, por exemplo, de gênero, de língua, de origem e de raça. Há hoje um campo do conhecimento – denominado ciência da ciência ou pesquisa da pesquisa – dedicado a medir esses vieses. E há pesquisadores que propõem o uso de fatores de correção para minimizar a distorção que esses vieses causam na avaliação”, comenta Sergio Salles-Filho, professor da Universidade Estadual de Campinas (Unicamp) e coordenador de um projeto de pesquisa sobre o tema.

De acordo com Salles, os estudos nessa área têm mostrado que, quando o critério de base são esses indicadores quantitativos, é mais fácil ter um bom desempenho se você for um pesquisador do sexo masculino, branco, nativo em inglês e de origem europeia ou norte-americana, onde estão sediadas a maioria das revistas com alto fator de impacto. “Isso não quer dizer que os cientistas mais bem colocados nesses rankings não sejam bons, ao contrário, eles são de fato outstanding, ou seja, bem acima da média. A questão é que existe um conjunto de pessoas também muito boas que jamais será revelado por esses indicadores”, afirma.

Tendem a ficar “escondidos” nesse tipo de avaliação, por exemplo, cientistas que se dedicam a temas muito relevantes para seus países, mas pouco valorizados internacionalmente, aponta o pesquisador da USP Justin Axel-Berg, integrante do Projeto Métricas. “Se esse é o único critério adotado para definir o que é qualidade, acaba-se gerando um forte incentivo para que os pesquisadores não atendam às necessidades locais”, ressalta. “Quando se avalia o desempenho de um docente com base em bibliometria, tudo vira uma competição. E ficam em segundo plano fatores importantes, como o grau de colaboração com os colegas de laboratório ou o desempenho como orientador.”

Novo paradigma

Na avaliação de Salles, está em curso em âmbito global um processo de mudança nos pilares da excelência em pesquisa e a tendência é que os “indicadores clássicos” cedam espaço – ainda não se sabe com que rapidez e intensidade – a novas métricas capazes de evidenciar de forma mais objetiva a relevância de uma pesquisa ou de uma instituição para a sociedade.

“Este ano a USP galgou várias posições no QS World University Rankings, passando da 115ª colocação para a 85ª. Um dos motivos foi a inclusão de um novo tipo de indicador, que mede a sustentabilidade das instituições. Além disso, alguns indicadores ganharam mais peso, como os que medem empregabilidade ou a reputação junto aos empregadores. E esse movimento faz com que todas as universidades corram para se adequar”, sublinha.

Na 13ª edição do QS Latin America & The Caribbean Ranking, divulgada este mês, a USP figura na primeira colocação no ranking que abrange 430 instituições de 25 países da região. Também nesse caso foi incluído um novo indicador no cálculo, intitulado “Rede Internacional de Pesquisa”, que aponta o grau de internacionalização da instituição.

Abordagem integrativa

Marcovitch defende que as universidades e demais instituições de pesquisa adotem, na avaliação dos pesquisadores, uma abordagem integrativa, que abranja ensino, pesquisa, extensão, cultura e outreach – termo que se refere ao conteúdo levado à sociedade para “ajudar a construir um futuro melhor”.

“O grande tema que estamos discutindo hoje é como migrar de métricas de resultado [número de egressos, publicações e citações] para métricas de impacto. Impacto é ter um efeito construtivo sobre as condições de vida de uma sociedade, como aconteceu durante a crise sanitária da COVID-19, quando a ciência trouxe resposta para questões muito concretas”, pontua.

Se as instituições de pesquisa querem ser valorizadas, acrescenta Marcovitch, precisam ouvir a sociedade e identificar o que ela espera no caso de uma crise radical. No caso da pandemia, continua o pesquisador, foi relativamente fácil mapear o que a sociedade queria: vacina e atendimento hospitalar apropriado. E as instituições científicas responderam a contento.

“Mas existem outras crises, muito presentes nas demandas da sociedade, mas menos evidentes, a começar pela transição demográfica. Refiro-me às profundas modificações que estão ocorrendo no perfil demográfico do Brasil e de São Paulo, com significativos impactos sociais – a começar pelos serviços de educação e saúde. Há também uma transição digital, que demanda novas competências para universalizar o acesso à digitalização, um componente determinante para a construção do futuro. Na transição socioeconômica, são observadas mudanças nas relações de trabalho, um maior distanciamento entre os níveis de renda e a crescente polarização de mentalidades dentro da sociedade. Polarização que aguça o sentimento de insegurança. Finalmente, a transição ecológica exige reduzir a emissão de gases de efeito estufa, zerar o desmatamento e conservar a natureza com prioridade para os biomas entre os quais o Bioma Amazônia. A questão desafiadora é como identificar os interlocutores da sociedade e, com eles, construir métricas que permitam monitorar as respostas às suas expectativas”, conclui.