Seguir por E-mail

Destaque

Publicação de estudos científicos

Caros leitores, A Journal Health NPEPS (ISSN 2526-1010) é uma revista científica produzida pela Universidade do Estado de Mato Grosso (UNE...

segunda-feira, 30 de setembro de 2019

Nova fraude acadêmica: autores que vendem e compram a autoria de manuscritos científicos para publicação em periódicos indexados


O Web of Science Group na Rússia recebeu um aviso da comunidade de pesquisa local sobre uma nova forma de fraude de publicação que levou a um site 123mi, http://123mi.ru , criado por operadores inescrupulosos para servir como um mercado virtual onde Os autores podem comprar ou vender sua autoria em manuscritos acadêmicos aceitos para publicação. Esse tipo de troca de pares, em plena luz do dia, não é algo que já foi visto.
Não há nomes de autores ou nomes de revistas indicados no site - o nome da revista está disponível apenas para compradores. Às vezes até cinco autorias são oferecidas para venda em um único artigo, com preços que variam de acordo com o lugar na lista de autores.
O site visa garantir a publicação em periódicos indexados no Scopus e / ou Web of Science. Uma análise realizada em 15 de julho revela que dos 344 artigos de autoria para venda, 32 artigos (9%) estão supostamente indexados na Web of Science, e 303 artigos (88%) estão supostamente indexados na Scopus. Parece que os nomes das revistas são revelados aos clientes do site depois de fazer o pagamento. Os supostamente para venda itens são oferecidos em uma ampla variedade de disciplinas acadêmicas, das ciências naturais e sociais, para as humanidades.
Há também dados disponíveis sobre as últimas transações de autoria. Desses, em 15 de julho, havia 183 ofertas de autoria em revistas supostamente indexadas na Scopus, e 11 supostamente indexadas na Web of Science. A geografia das transações abrange principalmente a área pós-soviética (Rússia, Cazaquistão e Ucrânia), mas há autores vendidos fora dessa região, em particular para os Emirados Árabes Unidos, a China e o Reino Unido.
A equipe editorial da Web of Science estabeleceu 24 critérios de seleção projetados especificamente para manter o rigor editorial e as melhores práticas. Os critérios de avaliação de qualidade aplicam-se não apenas à seleção do novo conteúdo da Web of Science, mas também ao monitoramento de periódicos indexados atualmente. Embora esteja assegurando que o número de artigos afetados seja relativamente pequeno, tentativas serão feitas para identificar qualquer revista que possa ter sido comercializada neste site.
O Web of Science Group enviou uma carta de cessação e retirada ao proprietário do site, eles alertaram o Comitê de Ética de Publicações e Retraction Watch para chamar mais atenção para essa nova fraude.

Valentin Bogorov, 

terça-feira, 17 de setembro de 2019

Artigos e mais artigos: as sombras na indústria de publicações científicas

Para fazer um lugar no mundo da pesquisa passa pela publicação de artigos em revistas científicas. Quanto mais artigos um pesquisador publica, mais possibilidades ele terá no campo acadêmico competitivo. O mesmo vale para as universidades, às quais as publicações relatam prestígio. Mas o que está por trás da indústria de papel? 
                                     _____________________________________________

Sala de aula de uma universidade no final da tarde. Foto de Juan Gallo.
"Há alguns anos, nos comentários do corredor, ouvi alguns professores falarem sobre o assunto: 'Bem, agora recebo um pouco de dinheiro dizendo que também pertenço a esta universidade'". Assim começa a história de um pesquisador científico de uma universidade pública espanhola. Refere-se à fraude no sistema de publicação de artigos de pesquisa científica, embora de acordo com as palavras do professor da Faculdade de Geografia e História da Universidade de Santiago de Compostela, Xose Carlos Bermejo Barrera, isso é algo que acontece em todas as áreas e departamentos do sistema universitário público.

Cerca de três milhões de artigos científicos são publicados no mundo todos os anos e, embora possa parecer uma coisa boa, a verdade é que esse nível de publicações está diretamente ligado a más práticas e à falsificação de resultados. Isso é argumentado por Horace Freeland Judson em seu livro The Great Betrayal: Fraud in Science (2004). Outra pesquisadora entrevistada para este relatório indica que, enquanto fazia seu doutorado e trabalhava ao mesmo tempo com um contrato de pesquisa, “ela estava sob pressão para publicar até seis artigos em um ano, e quando eu tivesse feito uma pesquisa rigorosa, levaria um ano para publicar cada um. ” Isso também produz um grande número do que é comumente conhecido no mundo como refractions de publicações, onde os artigos publicados são reformulados para manter o ritmo frenético.


"O volume de publicações que nos exigem é excessivo, mesmo em comparação com outros países como o Reino Unido, onde já é alto em si", lamenta outro pesquisador que também pede para permanecer anônimo. As razões: no momento em que, de sua posição de doutorando, lançam qualquer ataque ao sistema, já podem esquecer de voltar a trabalhar na universidade. “Pessoas que lutam precariamente por um lugar, não podemos nos colocar em uma posição de rebelião. E depois de tantos anos lutando pelo trabalho, quando você consegue, você perdeu todo o rastro de críticas ”, dizem eles.

PUBLICAÇÕES SÃO UMA INDÚSTRIA

Este não é o caso de Bermejo, que publicou quatro livros e centenas de artigos analisando e apontando as fraudes do sistema mundial de publicações universitárias. Em seu livro The Temptation of King Midas (21st Century, 2015), no capítulo "Papernômica", ele mostra com dados como os artigos de psiquiatria são manipulados por grandes empresas farmacêuticas para vender seus produtos. “Publicações são uma indústria. A pesquisa científica não depende da publicação de artigos. Nos campos mais importantes da pesquisa científica não é publicado. Para dar um exemplo, durante a 2ª Guerra Mundial eles pararam de publicar artigos sobre energia nuclear e isso aconteceu porque os dois lados começaram a fabricar a bomba ”, diz ele.

Em 2017, Remedios Zafra ganha o Prêmio Anagrama Ensaio com seu trabalho O entusiasmo (Anagrama, 2017). O ensaio investiga a precariedade a que os nascidos na era digital estão sujeitos, metaforizados no caráter da Sibila. Especificamente, no capítulo "A cultura indexada e o declínio da academia", o autor - de uma investigação rigorosa - analisa as misérias que vivem aqueles que são obrigados a publicar para a academia sobre suas possibilidades em um sistema. fraudulento Algumas das práticas denunciadas por Zafra são: a irrelevância e repetição de muitos artigos científicos, sistemas de avaliação que priorizam a quantidade mais do que a qualidade dos trabalhos acadêmicos, a precariedade do pessoal de pesquisa devido à temporalidade e à burocracia.


De onde vem essa obsessão acadêmica pela taxa de publicação de anfetaminas? Todas as publicações em revistas científicas estão nas mãos de alguns editores. A Elsevier é o maior conglomerado, que inclui as publicações científicas de medicina, ciência da computação, pesquisa ou psicologia, entre outras. Outros são De Gruyter, Cambridge Scholar Press, Wiley ou Brill. Esses editores controlam publicações científicas em vários campos. A publicação nessas revistas dá um prestígio que, nas palavras de Bermejo, “não deveria ser assim. O currículo dos reitores das grandes universidades espanholas está cheio de publicações ”. Esta é a escala segundo a qual se ascende naquilo que um dos pesquisadores define como “o sistema feudal da universidade”.

Se olharmos para os números dessas empresas, é um sistema que literalmente move milhões. A razão é que são as próprias universidades que pagam essas empresas para acessar suas publicações. Esse é o modelo Gold Open Access, que é o de que os pesquisadores, quase sempre financiados com dinheiro público, realizam estudos cujos resultados são então apresentados em revistas e congressos. Esses artigos são revisados ​​pelos comitês científicos de cada revista, que não cobram por este trabalho. Quando o artigo é aceito e publicado pela editora, ele pode ser acessado através de assinaturas de milhares de euros por revista e instituição. O editor tem apenas a despesa de uma parte do layout, o gerenciamento da publicação e o catálogo digital.

“Custa à universidade pública espanhola um bilhão de anos acessar e publicar nesses periódicos científicos. E isso não tem nada a ver com o patenteamento de uma ideia, uma vez que existem sistemas confiáveis ​​e gratuitos como o Arxiv, onde você pode publicar qualquer descoberta aberta e imediatamente ”, acrescenta o professor da Universidade de Santiago de Compostela. Apesar disso, existem várias comunidades acadêmicas que se rebelaram e criaram seus próprios periódicos sem acesso, como o Journal of Machine Learning Research.


Ter um grande número de publicações é uma condição sine qua non para entrar, manter e promover o sistema universitário. Se você não publicar, não vale a pena. O valor dos artigos em si não é importante, é o prestígio que eles lhe dão. Esses editores também oferecem cursos, workshops e publicações que mostram como publicar com eles. A Cambridge Scholar Press oferece publicações de livros digitais em troca de cerca de 12.000 euros, por exemplo.


No caso da medicina e psiquiatria, Bermejo diz que durante um congresso internacional de psiquiatria financiado pela Pfizer, a grande empresa encomendou os papéis de acordo com os modelos de cruzamento de dados oferecidos pela empresa de risperidona, um medicamento para tratamento. de esquizofrenia que gerou muita rejeição em pacientes porque anulou a expressão de sentimentos. Se os especialistas preenchessem os dados desses modelos, eles obtinham uma publicação automática em uma revista de prestígio associada à empresa.


A produção de um grande número de publicações nessas revistas dá a você o status de "altamente citada", que obtém o maior prestígio no escopo dos rankings mundiais de pesquisa. Os pesquisadores entrevistados apontam que outra das práticas é que grupos de colegas bem posicionados escolhem revistas de nível Q4 - de baixo prestígio -, enviam um grande número de artigos e citam-se entre si para aumentar o posicionamento da revista e, consequentemente, , o seu próprio. Eles também denunciam que seus gerentes de projeto pedem que coloquem co-autores em suas próprias publicações que não participaram de suas pesquisas, já precárias.

OS 'ALTAMENTE CITADOS' TIRAM 'UM POUCO DE DINHEIRO': A FRAUDE DA KAU DA ARÁBIA SAUDITA

Em 2014, a jornalista Megan Messerly publicou no The Daily Californian uma investigação sobre a Universidade da Arábia Saudita, Universidade King Abdulaziz (KAU), onde mostra como, desde há vários anos, a universidade vinha pagando um grande número de pesquisadores relevantes de todo o mundo para que em suas publicações acrescentassem a assinatura da "filiação dupla".

Embora a revista Science já tivesse publicado um artigo sobre o assunto em 2011, o escândalo eclodiu nos Estados Unidos em 2014, quando a Messerly descobriu que a KAU ocupava o sétimo lugar no ranking mundial de matemática.  Lior Pachter, professor da UC Berkeley University, vazou as conversas pelo correio, nas quais ele recebia US $ 6 mil por mês por assinar artigos com a afiliação da KAU. Outros professores aderiram à queixa, como é o caso de Johnatan Eisen, que chegou a oferecer até US $ 72 mil, voos de primeira classe para a Arábia Saudita e hotéis cinco estrelas para colaborar na farsa e incluir seu nome entre os professores associados. na Universidade.


Se olharmos para o mapa que ilustra o artigo de Messerli, podemos ver que algumas das linhas que rastreiam artigos terminam em nosso país, o que nos leva diretamente ao início de nosso artigo. Os pesquisadores contatados pela KAU, uma universidade com vida curta, mas ansiosos por se levantar meteoricamente no ranking mundial, pertenciam ao panteão dos Altamente Citados.

ESPANHA NÃO É DIFERENTE

“É um segredo aberto, todo mundo sabe disso. Eu não me importo em relatar isso, tenho feito isso a vida toda porque sou professor e não vou aceitar meu trabalho, mas os jovens não podem fazer nada ”, admite Barreno. De fato, muitos desses pesquisadores altamente citados pertencem e ocupam os cargos da ANECA (Agência Nacional de Avaliação e Acreditação da Qualidade), encarregados de avaliar projetos de pesquisa, credenciamentos para acessar vagas em universidades e, além disso, fazem parte de as comissões editoriais das revistas onde a publicação é essencial para ser avaliada positivamente pela própria agência.

Através de um cruzamento de dados no sistema de publicações Scopus, um inventário que só pode ser acessado se você for um pesquisador, alguns nomes de universidades espanholas que publicaram com afiliação no salto da KAU. Talvez o nome mais reconhecido seja o de Francisco Herrera, da Universidade de Granada (UGR), que é um dos autores da estratégia de P & D & I em Inteligência Artificial promulgada pelo gabinete de Pedro Sánchez. Mas também podemos encontrar Enrique Herrera-Viedma, da UGR; Hermenegildo García, do Departamento de Química da Universidade Politécnica de Valência; Sebastián Ventura, do Departamento de Ciência da Computação e Análise Numérica da Universidade de Córdoba; Ángel M. Carracero, do Centro de Pesquisa Biomédica da Rede de Doenças Raras.

Barreno e os outros pesquisadores concordam que pode não ser um sistema completamente ilegal, mas sim alegórico, mas que, sem dúvida, são práticas que prejudicam seriamente as investigações públicas da universidade. A quantidade de dinheiro público destinada a alimentar este sistema é, no mínimo, escandalosa. A solução começaria, segundo a análise do professor, a deixar de valorizar a posição no ranking internacional como requisito para os lugares ou a dotação econômica dos projetos e colocar o foco na qualidade e relevância do trabalho e das pesquisas realizadas em cada campo. . 


Quando o objeto da pesquisa é substituído pelo da publicação, o prestígio profissional é contado em número de publicações e a qualidade da pesquisa fica comprometida. Peter Higgs, autor da teoria do bóson de Higgs, ao receber o Prêmio Nobel em 2013, compartilhou com o The Guardian a seguinte avaliação: “Hoje eu nunca conseguiria um emprego acadêmico. É tão simples como isso. Eu não acho que seria considerado produtivo o suficiente. ”


Álvaro Lorite,
Publicado en El Salto diario

segunda-feira, 2 de setembro de 2019

Manifesto de Leiden e a Declaração de São Francisco: vamos colocar as métricas no lugar

A proliferação de métricas para medir a atividade científico-acadêmica e o aumento paralelo de instrumentos para obtê-las conduzem ao próximo e necessário passo: refletir sobre as condições apropriadas de seu uso, especialmente para a avaliação de carreiras acadêmicas , já que falamos de vidas humanas.
Felizmente, duas declarações extremamente importantes (de 2014 e 2012, respectivamente) podem nos ajudar, apoiadas por milhares de pesquisadores de primeira linha de todo o mundo, e vamos lidar com o que segue. Estes são os seguintes:
Em ambos os casos, o que vou fazer é reproduzir os pontos essenciais de cada um deles, como parte de uma modesta contribuição para a sua disseminação, e então apresentarei alguma síntese. Acredito que, como motivação para considerar ambas as afirmações, dois parágrafos selecionados e de cada uma das afirmações podem servir.
O próximo é do Leiden Manifesto (o destaque é meu):
Os indicadores proliferaram: normalmente bem intencionados, nem sempre bem informados e, muitas vezes, mal aplicados. Quando as organizações sem conhecimento sobre boas práticas e interpretação adequada dos indicadores realizam as avaliações, corremos o risco de danificar o sistema científico com os mesmos instrumentos criados para melhorá-los.
Este parágrafo, por sua vez, vem da DORA :
O Journal Impact Factor, calculado pela Thomson Reuters, foi originalmente criado como uma ferramenta para ajudar os bibliotecários a identificar os periódicos a serem comprados, não como uma medida da qualidade científica da pesquisa em um artigo. Com isso em mente, é fundamental entender que o Journal Impact Factor possui várias deficiências bem documentadas como uma ferramenta para a avaliação da pesquisa.
Em seguida, apresentarei primeiro uma síntese de ambas as declarações e, em seguida, procuro tratá-las separadamente de maneira detalhada.
Além disso, no final deste post eu adicionei vários links de publicações de máxima solvência sobre o uso inadequado do fator de impacto. Um deles, nada menos que a revista número um, por fator de impacto!
É isso mesmo, mesmo esses periódicos que se beneficiam de um fator de impacto estratosférico denunciam seus sérios problemas intrínsecos. Algo, pelo menos, muito significativo.

SÍNTESE DE LEIDEN / DORA

Recomendação geral
  • A avaliação quantitativa deve  apoiar a avaliação qualitativa por especialistas, mas as métricas não podem substituir decisões informadas.  A avaliação da qualidade de uma investigação ou de um artigo deve ser baseada na própria pesquisa e não, por exemplo, no fator de impacto da revista onde foi publicada. Não fazê-lo significa que os avaliadores abandonam sua responsabilidade.
Recomendações específicas
  • Na avaliação de carreiras acadêmicas, as diferenças entre: (1) áreas de conhecimento  (por exemplo, Ciências vs. Ciências Sociais), (2)  perfis pessoais (por exemplo, novo pesquisador versus pesquisador sênior) e (3) práticas  de publicação de cada área (livros em Humanidades, comunicações em Informática, artigos em Economia).
  • ciência relevante publicado em línguas outras do Inglês deve ser reconhecida e preservada.
  • fator de impacto das revistas é um indicador indicativo, mas não deve substituir a avaliação da qualidade dos artigos e das investigações individuais que estão sujeitas a avaliação.
Fonte: Leiden Manifesto e DORA
A seguir, apresentamos as duas declarações em mais detalhes, começando com o Manifesto de Leiden.


O Manifesto de Leiden sobre indicadores de pesquisa
Manifesto de Leiden deve seu nome à cidade e à Universidade do mesmo nome. Foi preparado por ocasião de uma conferência realizada em 2014 no Centro de Estudos de Ciência e Tecnologia da Leiden Universiteit (Holanda). Foi publicado em seguida na Nature , uma das mais importantes revistas científicas do mundo.
Referência: Hicks, D.; Wouters, P.; Waltman, L; de Rijcke, S. Rafols, eu . « Bibliometria: O Manifesto de Leiden para métricas de pesquisa «. Natureza , 22 de abril de 2015, n. 520, p. 429-431.  PDF em Português | PDF em espanhol

Os dez pontos em que o Manifesto de Leiden é especificado são os seguintes :
01. A avaliação quantitativa deve apoiar a avaliação qualitativa por especialistas 
02. O desempenho deve ser medido de acordo com as missões de pesquisa da instituição, grupo ou pesquisador 
03. A excelência na pesquisa de relevância local deve ser protegida 
04. Processos A coleta e a análise de dados devem ser abertas, transparentes e simples 
05. Os dados e a análise devem estar abertos à verificação do avaliado 
06. Diferenças nas práticas de publicação e citação entre áreas científicas devem ser levadas em conta 
07. Avaliação individual de pesquisadores deve basear-se na avaliação qualitativa de seu portfólio de pesquisa 
08. Concrificação imprópria e falsa precisão devem ser evitadas
09. Os efeitos sistêmicos da avaliação e 
indicadores devem ser reconhecidos 10. Os indicadores devem ser revisados ​​e atualizados periodicamente
Quero enfatizar que cada um dos 10 pontos acima é desenvolvido no Manifesto original, ao qual eu me refiro a todas as partes interessadas.
Pelo seu interesse especial, vou reproduzir o conteúdo dos pontos 1, 3, 6 e 7 (como nos casos anteriores, os destaques são meus):
1. A avaliação quantitativa deve apoiar a avaliação qualitativa por especialistas
Os indicadores podem corrigir a tendência para perspectivas tendenciosas que são dadas na revisão por pares e facilitar a deliberação. Nesse sentido, os indicadores podem fortalecer a avaliação entre pares, já que é difícil tomar decisões sobre os colegas sem diversas fontes de informação. No entanto, os avaliadores não devem ceder à tentação de submeter as decisões a números. Os indicadores não podem substituir o raciocínio informado. Tomadores de decisão têm total responsabilidade por suas avaliações
3. Excelência em pesquisa de relevância local deve ser protegida
Em muitas partes do mundo, a excelência em pesquisa está associada apenas a publicações em inglês. A lei espanhola, por exemplo, explicita o desejo e a conveniência que os acadêmicos espanhóis publicam em periódicos de alto impacto. O fator de impacto é calculado para periódicos indexados pelo Web of Science, que é um banco de dados baseado nos Estados Unidos e contém uma grande maioria de periódicos em inglês. Esses vieses são especialmente problemáticos nas ciências sociais e humanas , áreas nas quais a pesquisa é mais orientada para questões regionais e nacionais. Muitos outros campos científicos têm uma dimensão nacional ou regional - por exemplo, a epidemiologia do HIV na África Subsaariana.
Esse pluralismo e relevância social tendem a ser suprimidos quando são criados artigos de interesse para guardiões de alto impacto: periódicos ingleses. Os sociólogos espanhóis altamente citados em Web of Science trabalharam em modelos abstratos ou estudaram dados dos Estados Unidos. Nesse processo, a especificidade dos sociólogos com alto impacto nos periódicos espanhóis é perdida: questões como legislação trabalhista local, assistência médica para idosos ou emprego de imigrantes. Indicadores baseados em literatura de qualidade não inglesa serviriam para identificar e recompensar a excelência em pesquisa localmente relevante.
6. Diferenças nas práticas de publicação e citação entre áreas científicas devem ser levadas em conta
A melhor prática na avaliação é propor uma bateria de indicadores e deixar que os diferentes campos científicos escolham os indicadores que melhor os representam. Alguns anos atrás, um grupo de historiadores recebeu uma pontuação relativamente baixa em uma revisão por pares nacional porque eles escreviam livros em vez de artigos em revistas indexadas pela Web of Science. Esses historiadores tiveram o azar de fazer parte do departamento de psicologia. A avaliação de historiadores e cientistas sociais requer a inclusão de livros e literatura na língua local ; A avaliação de pesquisadores de computador precisa considerar contribuições para conferências.
A frequência de citações varia de acordo com os campos : os periódicos mais citados no ranking de matemática têm um fator de impacto em torno de 3; Os periódicos mais citados nos rankings de biologia celular têm cerca de 30 fatores de impacto.
Portanto, indicadores padrão por campo são necessários eo método mais robusto de padronização é baseado em percentis: cada publicação é ponderada de acordo com o percentual ao qual pertence na distribuição de citações de seu campo (por exemplo, o percentil 1%, 10%, 20% maior). Uma única publicação altamente citada melhora ligeiramente a posição de uma universidade em um ranking baseado em percentis, mas pode impulsionar a universidade de um lugar intermediário para as primeiras posições em um ranking baseado em compromissos médios.
7. A avaliação individual dos pesquisadores deve basear-se na avaliação qualitativa de sua carteira de pesquisa
O índice h  aumenta com a idade do pesquisador, mesmo que ele não publique mais. O índice  varia de acordo com o campo: os cientistas nas ciências da vida podem chegar a 200; 100 físicos e cientistas sociais a 20 ou 30. Ele é um índice que depende do banco de dados: há computador tendo um index- h  de 10 em Web of Science, mas 20 ou 30 em Google Scholar. Ler e valorizar o trabalho de um pesquisador é muito mais apropriado do que depender de um único número. Mesmo quando se compara um grande número de cientistas, é melhor adotar uma abordagem que considere diversas informações sobre cada indivíduo, incluindo seu conhecimento, experiência, atividades e influência.

Declaração de São Francisco sobre Avaliação de Pesquisa (DORA)


A  Declaração sobre Avaliação de Pesquisas (DORA) foi realizada durante a Reunião Anual da Sociedade Americana de Biologia Celular,  em São Francisco, em dezembro de 2012.
Suas recomendações têm um total de 18 pontos. Coletaremos aqui os que parecem mais significativos para mim, recomendando aos interessados ​​a leitura da declaração completa .
Especificamente, vou focar no primeiro ponto, a recomendação geral (1) aquelas que são endereçadas às agências financiadoras (2, 3), aquelas que são direcionadas às instituições  (4, 5) e aquelas que são direcionadas aos próprios pesquisadores (4).  (15-18). Aqueles que vão de 6 a 14, que ignoramos, são direcionados a editores e produtores de métricas. Os que eu selecionei são os seguintes:
Recomendação geral
1. Não use métricas baseadas em periódicos, como índices de impacto de periódicos, como uma medida substituta da qualidade de artigos de pesquisa individuais, a fim de avaliar as contribuições de um cientista, ou na contratação, promoção ou nas decisões de financiamento.
Para agências de financiamento
2. Seja explícito sobre os critérios usados ​​na avaliação da produtividade científica dos candidatos a subsídios e enfatize claramente, especialmente para os pesquisadores em estágio inicial, que o conteúdo científico de um artigo é muito mais importante do que as métricas de publicação. ou a identidade da revista em que foi publicada.
3. Para fins de avaliação de pesquisa, considerarei o valor e o impacto dos resultados da pesquisa (incluindo conjuntos de dados e software), além de publicações de pesquisa, e considerarei uma ampla gama de medidas de impacto que incluir indicadores qualitativosdo impacto da pesquisa, como a influência na política e na prática.
Para as instituições
4. Seja explícito sobre os critérios usados ​​para chegar a decisões de contratação, estabilidade e promoção, enfatizando claramente, especialmente para os pesquisadores em estágio inicial, que o conteúdo científico de um artigo é muito mais importante do que as métricas. de publicação ou a identidade da revista em que foi publicado.
5. Para fins de avaliação de pesquisa, considerarei o valor e o impacto dos resultados de pesquisa (incluindo conjuntos de dados e software), além de publicações de pesquisa, e considerarei uma ampla gama de medidas de impacto que incluir indicadores qualitativos do impacto da pesquisa, como a influência na política e na prática.
Para pesquisadores
15. Ao participar de comitês de decisão sobre financiamento, contratação, permanência ou promoção, conduza avaliações com base em conteúdo científico e não em métricas de publicação.
16. Sempre que necessário, cite a literatura primária em que as observações foram publicadas pela primeira vez para dar crédito a quem merece esse crédito.
17. Use uma variedade de métricas e indicadores de artigos sobre declarações pessoais ou de apoio, como evidência do impacto de artigos publicados individuais e outros produtos de pesquisa.
18. Alterar as práticas de avaliação de pesquisa que são indevidamente baseadas em índices de impacto e promover e ensinar as melhores práticas que se concentram no valor e na influência de resultados de pesquisa específicos.

Conclusões

Uma consideração prévia, muito importante, antes de propor algumas conclusões concretas:
Nem Leiden nem a DORA rejeitam as  avaliações , nem questionam a necessidade de indicadores e métricas, o que os faria perder toda a credibilidade. Embora uma avaliação possa ter um componente de autoavaliação, a avaliação externa  é essencial, ainda mais no caso de pesquisas e carreiras financiadas parcial ou totalmente com recursos públicos.
Portanto, organizações e profissionais que produzem bancos de dados e outros sistemas para registrar e analisar a atividade científica fornecem um serviço essencial para pesquisadores e gestores da ciência: o  que não é medido não pode ser melhorado Além disso, são instrumentos de transparência  que ajudam a reconhecer os esforços de acadêmicos e pesquisadores.
Do acima exposto, algumas conclusões muito específicas que eu entendo podem ser obtidas de DORA e Leiden:
  • Métricas, mal entendidas, podem acabar sendo usadas de maneira ameaçadorapara os verdadeiros objetivos da ciência. Em vez de apoiar seu progresso, eles podem ser um obstáculo real.
  • As duas declarações examinadas são necessárias e  valiosas e seu conhecimento deve ser promovido . Ambos têm o apoio de grupos científicos que demonstraram amplamente sua excelência científica e são apoiados por sociedades científicas de projeção internacional.
  • Ambos excluem formas taxativas de avaliação com base em indicadores isolados que substituem decisões informadas, entre outras coisas, porque pressupõe que os avaliadores deixam suas responsabilidades.
  • Em vez disso, eles recomendam aproximações baseadas no portfólio  completo do pesquisador. Se esse portfólio for acompanhado , além de boas métricas, melhor que melhor. Mas nunca substituindo uma avaliação abrangente e informada.
  • Além disso, uma das declarações (DORA) é especialmente beligerante com o uso do fator de impacto , que é uma medida da revista , não do artigo, como um substituto para a avaliação da qualidade de artigos individuais e pesquisa.
  • Por último, mas não menos importante, muitos especialistas, além de desencorajarseu uso em avaliações de carreiras acadêmicas e a qualidade das contribuições científicas, alertam sobre os importantes problemas intrínsecos apresentados pelo Fator de Impacto, em si, como estatística, de forma independente. da sua aplicação
Agora, algumas contribuições próprias sobre a aplicabilidade desses princípios que são defendidos em Leiden e DORA:
  • Uma característica das avaliações que afetam as carreiras científicas é que elas ocorrem na forma de resoluções e decretos transparentes que podem ser examinados, avaliados e, quando apropriado, debatidos publicamente. É nesse tipo de resolução que, pouco a pouco, parece estar pegando a filosofia das duas declarações anteriores. Em particular, tem sido possível ver seu impacto em algumas agências e processos de avaliação.
  • No entanto, muitas avaliações são produzidos dentro de comitês ou equipes abordar onde os participantes lidar com critérios pessoais que, infelizmente, ignorar as últimas tendências nestas áreas solventes (ver bibliografia mencionar ambas as declarações).
  • Diante do exposto, em algumas áreas de comissões e decisões, ainda, de forma incompreensível, em algumas agências de avaliação , que decidem sobre as carreiras dos acadêmicos (promoções, aprovação de projetos, avaliação de pesquisas, etc.), Eles estão tomando decisões com base em pontos que as duas afirmações revisadas deixam completamente fora de lugar .
  • Infelizmente, uma das razões para isso acontecer não é tanto uma decisão baseada em conhecimento e reflexão racional, mas em crenças dos membros dessas comissões que, em vez de basear seus critérios nas evidências, como deveria ser apropriado da academia, eles fazem isso com base em velhos preconceitos. 
Só posso insistir para que os interessados ​​leiam as duas declarações originais completas. Estes são documentos breves em ambos os casos. Certamente minha visão tem algum viés, então eu encorajo você a ter sua própria idéia sobre o assunto. Mais uma vez, os links para as fontes:


Lluís Codina,