A proliferação de métricas para medir a atividade científico-acadêmica e o aumento paralelo de instrumentos para obtê-las conduzem ao próximo e necessário passo: refletir sobre as condições apropriadas de seu uso, especialmente para a avaliação de carreiras acadêmicas , já que falamos de vidas humanas.
Felizmente, duas declarações extremamente importantes (de 2014 e 2012, respectivamente) podem nos ajudar, apoiadas por milhares de pesquisadores de primeira linha de todo o mundo, e vamos lidar com o que segue. Estes são os seguintes:
Em ambos os casos, o que vou fazer é reproduzir os pontos essenciais de cada um deles, como parte de uma modesta contribuição para a sua disseminação, e então apresentarei alguma síntese. Acredito que, como motivação para considerar ambas as afirmações, dois parágrafos selecionados e de cada uma das afirmações podem servir.
O próximo é do Leiden Manifesto (o destaque é meu):
Os indicadores proliferaram: normalmente bem intencionados, nem sempre bem informados e, muitas vezes, mal aplicados. Quando as organizações sem conhecimento sobre boas práticas e interpretação adequada dos indicadores realizam as avaliações, corremos o risco de danificar o sistema científico com os mesmos instrumentos criados para melhorá-los.
|
Este parágrafo, por sua vez, vem da DORA :
| O Journal Impact Factor, calculado pela Thomson Reuters, foi originalmente criado como uma ferramenta para ajudar os bibliotecários a identificar os periódicos a serem comprados, não como uma medida da qualidade científica da pesquisa em um artigo. Com isso em mente, é fundamental entender que o Journal Impact Factor possui várias deficiências bem documentadas como uma ferramenta para a avaliação da pesquisa. |
Em seguida, apresentarei primeiro uma síntese de ambas as declarações e, em seguida, procuro tratá-las separadamente de maneira detalhada.
Além disso, no final deste post eu adicionei vários links de publicações de máxima solvência sobre o uso inadequado do fator de impacto. Um deles, nada menos que a revista número um, por fator de impacto!
É isso mesmo, mesmo esses periódicos que se beneficiam de um fator de impacto estratosférico denunciam seus sérios problemas intrínsecos. Algo, pelo menos, muito significativo.
SÍNTESE DE LEIDEN / DORA
Recomendação geral
- A avaliação quantitativa deve apoiar a avaliação qualitativa por especialistas, mas as métricas não podem substituir decisões informadas. A avaliação da qualidade de uma investigação ou de um artigo deve ser baseada na própria pesquisa e não, por exemplo, no fator de impacto da revista onde foi publicada. Não fazê-lo significa que os avaliadores abandonam sua responsabilidade.
Recomendações específicas
- Na avaliação de carreiras acadêmicas, as diferenças entre: (1) áreas de conhecimento (por exemplo, Ciências vs. Ciências Sociais), (2) perfis pessoais (por exemplo, novo pesquisador versus pesquisador sênior) e (3) práticas de publicação de cada área (livros em Humanidades, comunicações em Informática, artigos em Economia).
- A ciência relevante publicado em línguas outras do Inglês deve ser reconhecida e preservada.
- O fator de impacto das revistas é um indicador indicativo, mas não deve substituir a avaliação da qualidade dos artigos e das investigações individuais que estão sujeitas a avaliação.
Fonte: Leiden Manifesto e DORA
|
A seguir, apresentamos as duas declarações em mais detalhes, começando com o Manifesto de Leiden.
O Manifesto de Leiden sobre indicadores de pesquisa
O Manifesto de Leiden deve seu nome à cidade e à Universidade do mesmo nome. Foi preparado por ocasião de uma conferência realizada em 2014 no Centro de Estudos de Ciência e Tecnologia da Leiden Universiteit (Holanda). Foi publicado em seguida na Nature , uma das mais importantes revistas científicas do mundo.
Os dez pontos em que o Manifesto de Leiden é especificado são os seguintes :
01. A avaliação quantitativa deve apoiar a avaliação qualitativa por especialistas
02. O desempenho deve ser medido de acordo com as missões de pesquisa da instituição, grupo ou pesquisador
03. A excelência na pesquisa de relevância local deve ser protegida
04. Processos A coleta e a análise de dados devem ser abertas, transparentes e simples
05. Os dados e a análise devem estar abertos à verificação do avaliado
06. Diferenças nas práticas de publicação e citação entre áreas científicas devem ser levadas em conta
07. Avaliação individual de pesquisadores deve basear-se na avaliação qualitativa de seu portfólio de pesquisa
08. Concrificação imprópria e falsa precisão devem ser evitadas
09. Os efeitos sistêmicos da avaliação e
indicadores devem ser reconhecidos 10. Os indicadores devem ser revisados e atualizados periodicamente
|
Quero enfatizar que cada um dos 10 pontos acima é desenvolvido no Manifesto original, ao qual eu me refiro a todas as partes interessadas.
Pelo seu interesse especial, vou reproduzir o conteúdo dos pontos 1, 3, 6 e 7 (como nos casos anteriores, os destaques são meus):
1. A avaliação quantitativa deve apoiar a avaliação qualitativa por especialistas
Os indicadores podem corrigir a tendência para perspectivas tendenciosas que são dadas na revisão por pares e facilitar a deliberação. Nesse sentido, os indicadores podem fortalecer a avaliação entre pares, já que é difícil tomar decisões sobre os colegas sem diversas fontes de informação. No entanto, os avaliadores não devem ceder à tentação de submeter as decisões a números. Os indicadores não podem substituir o raciocínio informado. Tomadores de decisão têm total responsabilidade por suas avaliações
3. Excelência em pesquisa de relevância local deve ser protegida
Em muitas partes do mundo, a excelência em pesquisa está associada apenas a publicações em inglês. A lei espanhola, por exemplo, explicita o desejo e a conveniência que os acadêmicos espanhóis publicam em periódicos de alto impacto. O fator de impacto é calculado para periódicos indexados pelo Web of Science, que é um banco de dados baseado nos Estados Unidos e contém uma grande maioria de periódicos em inglês. Esses vieses são especialmente problemáticos nas ciências sociais e humanas , áreas nas quais a pesquisa é mais orientada para questões regionais e nacionais. Muitos outros campos científicos têm uma dimensão nacional ou regional - por exemplo, a epidemiologia do HIV na África Subsaariana.
Esse pluralismo e relevância social tendem a ser suprimidos quando são criados artigos de interesse para guardiões de alto impacto: periódicos ingleses. Os sociólogos espanhóis altamente citados em Web of Science trabalharam em modelos abstratos ou estudaram dados dos Estados Unidos. Nesse processo, a especificidade dos sociólogos com alto impacto nos periódicos espanhóis é perdida: questões como legislação trabalhista local, assistência médica para idosos ou emprego de imigrantes. Indicadores baseados em literatura de qualidade não inglesa serviriam para identificar e recompensar a excelência em pesquisa localmente relevante.
6. Diferenças nas práticas de publicação e citação entre áreas científicas devem ser levadas em conta
A melhor prática na avaliação é propor uma bateria de indicadores e deixar que os diferentes campos científicos escolham os indicadores que melhor os representam. Alguns anos atrás, um grupo de historiadores recebeu uma pontuação relativamente baixa em uma revisão por pares nacional porque eles escreviam livros em vez de artigos em revistas indexadas pela Web of Science. Esses historiadores tiveram o azar de fazer parte do departamento de psicologia. A avaliação de historiadores e cientistas sociais requer a inclusão de livros e literatura na língua local ; A avaliação de pesquisadores de computador precisa considerar contribuições para conferências.
A frequência de citações varia de acordo com os campos : os periódicos mais citados no ranking de matemática têm um fator de impacto em torno de 3; Os periódicos mais citados nos rankings de biologia celular têm cerca de 30 fatores de impacto.
Portanto, indicadores padrão por campo são necessários eo método mais robusto de padronização é baseado em percentis: cada publicação é ponderada de acordo com o percentual ao qual pertence na distribuição de citações de seu campo (por exemplo, o percentil 1%, 10%, 20% maior). Uma única publicação altamente citada melhora ligeiramente a posição de uma universidade em um ranking baseado em percentis, mas pode impulsionar a universidade de um lugar intermediário para as primeiras posições em um ranking baseado em compromissos médios.
7. A avaliação individual dos pesquisadores deve basear-se na avaliação qualitativa de sua carteira de pesquisa
O índice h aumenta com a idade do pesquisador, mesmo que ele não publique mais. O índice h varia de acordo com o campo: os cientistas nas ciências da vida podem chegar a 200; 100 físicos e cientistas sociais a 20 ou 30. Ele é um índice que depende do banco de dados: há computador tendo um index- h de 10 em Web of Science, mas 20 ou 30 em Google Scholar. Ler e valorizar o trabalho de um pesquisador é muito mais apropriado do que depender de um único número. Mesmo quando se compara um grande número de cientistas, é melhor adotar uma abordagem que considere diversas informações sobre cada indivíduo, incluindo seu conhecimento, experiência, atividades e influência.
Declaração de São Francisco sobre Avaliação de Pesquisa (DORA)
Suas recomendações têm um total de 18 pontos. Coletaremos aqui os que parecem mais significativos para mim, recomendando aos interessados a leitura da declaração completa .
Especificamente, vou focar no primeiro ponto, a recomendação geral (1) aquelas que são endereçadas às agências financiadoras (2, 3), aquelas que são direcionadas às instituições (4, 5) e aquelas que são direcionadas aos próprios pesquisadores (4). (15-18). Aqueles que vão de 6 a 14, que ignoramos, são direcionados a editores e produtores de métricas. Os que eu selecionei são os seguintes:
Recomendação geral
1. Não use métricas baseadas em periódicos, como índices de impacto de periódicos, como uma medida substituta da qualidade de artigos de pesquisa individuais, a fim de avaliar as contribuições de um cientista, ou na contratação, promoção ou nas decisões de financiamento.
Para agências de financiamento
2. Seja explícito sobre os critérios usados na avaliação da produtividade científica dos candidatos a subsídios e enfatize claramente, especialmente para os pesquisadores em estágio inicial, que o conteúdo científico de um artigo é muito mais importante do que as métricas de publicação. ou a identidade da revista em que foi publicada.
3. Para fins de avaliação de pesquisa, considerarei o valor e o impacto dos resultados da pesquisa (incluindo conjuntos de dados e software), além de publicações de pesquisa, e considerarei uma ampla gama de medidas de impacto que incluir indicadores qualitativosdo impacto da pesquisa, como a influência na política e na prática.
Para as instituições
4. Seja explícito sobre os critérios usados para chegar a decisões de contratação, estabilidade e promoção, enfatizando claramente, especialmente para os pesquisadores em estágio inicial, que o conteúdo científico de um artigo é muito mais importante do que as métricas. de publicação ou a identidade da revista em que foi publicado.
5. Para fins de avaliação de pesquisa, considerarei o valor e o impacto dos resultados de pesquisa (incluindo conjuntos de dados e software), além de publicações de pesquisa, e considerarei uma ampla gama de medidas de impacto que incluir indicadores qualitativos do impacto da pesquisa, como a influência na política e na prática.
Para pesquisadores
15. Ao participar de comitês de decisão sobre financiamento, contratação, permanência ou promoção, conduza avaliações com base em conteúdo científico e não em métricas de publicação.
16. Sempre que necessário, cite a literatura primária em que as observações foram publicadas pela primeira vez para dar crédito a quem merece esse crédito.
17. Use uma variedade de métricas e indicadores de artigos sobre declarações pessoais ou de apoio, como evidência do impacto de artigos publicados individuais e outros produtos de pesquisa.
18. Alterar as práticas de avaliação de pesquisa que são indevidamente baseadas em índices de impacto e promover e ensinar as melhores práticas que se concentram no valor e na influência de resultados de pesquisa específicos.
Conclusões
Uma consideração prévia, muito importante, antes de propor algumas conclusões concretas:
Nem Leiden nem a DORA rejeitam as avaliações , nem questionam a necessidade de indicadores e métricas, o que os faria perder toda a credibilidade. Embora uma avaliação possa ter um componente de autoavaliação, a avaliação externa é essencial, ainda mais no caso de pesquisas e carreiras financiadas parcial ou totalmente com recursos públicos.
Portanto, organizações e profissionais que produzem bancos de dados e outros sistemas para registrar e analisar a atividade científica fornecem um serviço essencial para pesquisadores e gestores da ciência: o que não é medido não pode ser melhorado . Além disso, são instrumentos de transparência que ajudam a reconhecer os esforços de acadêmicos e pesquisadores. |
Do acima exposto, algumas conclusões muito específicas que eu entendo podem ser obtidas de DORA e Leiden:
- Métricas, mal entendidas, podem acabar sendo usadas de maneira ameaçadorapara os verdadeiros objetivos da ciência. Em vez de apoiar seu progresso, eles podem ser um obstáculo real.
- As duas declarações examinadas são necessárias e valiosas e seu conhecimento deve ser promovido . Ambos têm o apoio de grupos científicos que demonstraram amplamente sua excelência científica e são apoiados por sociedades científicas de projeção internacional.
- Ambos excluem formas taxativas de avaliação com base em indicadores isolados que substituem decisões informadas, entre outras coisas, porque pressupõe que os avaliadores deixam suas responsabilidades.
- Em vez disso, eles recomendam aproximações baseadas no portfólio completo do pesquisador. Se esse portfólio for acompanhado , além de boas métricas, melhor que melhor. Mas nunca substituindo uma avaliação abrangente e informada.
- Além disso, uma das declarações (DORA) é especialmente beligerante com o uso do fator de impacto , que é uma medida da revista , não do artigo, como um substituto para a avaliação da qualidade de artigos individuais e pesquisa.
- Por último, mas não menos importante, muitos especialistas, além de desencorajarseu uso em avaliações de carreiras acadêmicas e a qualidade das contribuições científicas, alertam sobre os importantes problemas intrínsecos apresentados pelo Fator de Impacto, em si, como estatística, de forma independente. da sua aplicação
Agora, algumas contribuições próprias sobre a aplicabilidade desses princípios que são defendidos em Leiden e DORA:
- Uma característica das avaliações que afetam as carreiras científicas é que elas ocorrem na forma de resoluções e decretos transparentes que podem ser examinados, avaliados e, quando apropriado, debatidos publicamente. É nesse tipo de resolução que, pouco a pouco, parece estar pegando a filosofia das duas declarações anteriores. Em particular, tem sido possível ver seu impacto em algumas agências e processos de avaliação.
- No entanto, muitas avaliações são produzidos dentro de comitês ou equipes abordar onde os participantes lidar com critérios pessoais que, infelizmente, ignorar as últimas tendências nestas áreas solventes (ver bibliografia mencionar ambas as declarações).
- Diante do exposto, em algumas áreas de comissões e decisões, ainda, de forma incompreensível, em algumas agências de avaliação , que decidem sobre as carreiras dos acadêmicos (promoções, aprovação de projetos, avaliação de pesquisas, etc.), Eles estão tomando decisões com base em pontos que as duas afirmações revisadas deixam completamente fora de lugar .
- Infelizmente, uma das razões para isso acontecer não é tanto uma decisão baseada em conhecimento e reflexão racional, mas em crenças dos membros dessas comissões que, em vez de basear seus critérios nas evidências, como deveria ser apropriado da academia, eles fazem isso com base em velhos preconceitos.
Só posso insistir para que os interessados leiam as duas declarações originais completas. Estes são documentos breves em ambos os casos. Certamente minha visão tem algum viés, então eu encorajo você a ter sua própria idéia sobre o assunto. Mais uma vez, os links para as fontes:
Lluís Codina,
