Vantagens e desvantagens potenciais na publicação de pareceres de avaliação

    De Lilian Nassi-Calò

    

Reconhecida pela maioria dos pesquisadores em todo o mundo como um dos pilares da comunicação científica, a avaliação pelos pares é considerada como uma guardiã da credibilidade e confiabilidade da pesquisa científica e muitos consideram que a dispensação desse importante estágio de validação colocaria em risco toda a empresa. da ciência.

A avaliação interpares foi fundada por volta de 1750 pela Royal Society no Reino Unido, que criou uma comissão para discutir o que seria publicado na sua revista Philosophical Tra nsactions ser interrompido em 1831, quando os membros desta sociedade reagiram negativamente à opiniões - anônimas - de uma comissão de acadêmicos que as consideram excessivamente críticas e injustas.

A revisão por pares como a conhecemos hoje foi adotada regularmente apenas por volta de 1940 pelos periódicos Science , Nature e Journal of American Medical Association . Desde o início, o processo foi conduzido "às cegas" e os revisores que avaliaram os artigos permaneceram protegidos pelo anonimato. Posteriormente, os autores e sua filiação institucional não foram divulgados aos avaliadores, como forma de promover avaliações mais justas e livres de vieses de qualquer natureza. Esse formato de avaliação por pares foi amplamente utilizado em várias décadas e as revistas que não o fizeram não gozavam de boa reputação no meio científico.

Por volta de 1990, no entanto, a comunidade acadêmica passou a discutir o processo de revisão em reuniões e congressos, que já enfrentavam certas dificuldades. A chamada "crise" de avaliação pelos pares levou à proposta de modelos alternativos que implicam aberturas no processo de avaliação. O termo " open peer review " ( OPR) inclui muitas interpretações, incluindo a publicação de opiniões e / ou a revelação da identidade dos avaliadores, aceitando comentários não apenas de avaliadores convidados, interação aberta entre avaliadores e autores, entre outras modalidades.

A partir de 2006, os periódicos e editores passaram a publicar as revisões, com ou sem a assinatura dos avaliadores. Entre eles estão Biology Direct do grupo BioMed Central , The EMBO Journal , eLife, F1000 Research , PeerJ e Nature Communications .

É importante mencionar que estudos têm sido conduzidos para saber se a publicação das revisões pode influenciar o comportamento dos avaliadores e o conteúdo das revisões. Um desses estudos, realizado por Bravo et al . e publicado neste blog 1 avaliadas 9.220 artigos submetidos cinco revistas da Elsevier entre 2010 e 2017. Outro estudo, de autoria de van Rooyen, Delamothe e Evans 2analisados 558 manuscritos e 1.039 avaliações publicadas no BMJ. Ambos os estudos concluíram que a publicação de revisões assinadas não altera a qualidade ou o conteúdo destas, sugerindo que os avaliadores não são influenciados pela publicação das avaliações.

A publicação de pareceres de revisão por pares, no entanto, ainda não é uma prática atual, embora seu uso esteja aumentando. A razão para isso pode estar no fato de que os editores não têm certeza sobre como sua comunidade de autores e leitores reagirá. Publicações recentes, como a de Deborah Sweet 3 e Jessica Polka, et al. 4 destacam algumas das vantagens e desvantagens da publicação de avaliações

Prós e contras da publicação de pareceres de avaliação

Argumentos a favor

1. No modelo tradicional de avaliação, o trabalho meticuloso dos árbitros e as considerações e sugestões para refinar o artigo são descartados após a aprovação (ou não) do manuscrito. Além disso, as opiniões contêm argumentos e idéias que podem revelar como o pensamento evolui em uma determinada área do conhecimento. Nesse modelo, apenas os autores e o editor têm acesso a essa informação, que, de fato, faz parte do registro científico do artigo e, como tal, deve ser disponibilizada aos leitores.
2. As opiniões abertas tendem a ser menos duras e negativas do que as anônimas, e contêm críticas e sugestões mais construtivas para refinar os artigos.
3. A avaliação por pares é um processo construtivo que, via de regra, resulta em melhores artigos e, reconhecendo o desempenho dos atores envolvidos - editores e árbitros -, é muito importante, pois pode contar com créditos acadêmicos. Há exemplos de iniciativas (tais como Publons , ReviewerCredits e é ) que, ao permitir o registo da avaliação da actividade de um investigador, evidência académico sua posição e influência em uma determinada área. Além disso, contribui para melhorar a qualidade das revisões em recomendações mais construtivas, além de acelerar a avaliação dos manuscritos, reduzindo, consequentemente, o tempo de publicação.
4. A decisão final do editor sobre a publicação ou não do manuscrito depende de vários fatores, incluindo as opiniões, e sua disponibilidade torna o processo de tomada de decisão dos editores mais transparente.
5. As opiniões constituem material didático para jovens pesquisadores que não são muito claros sobre como realizar a avaliação por pares. As opiniões abertas, em particular, são inspiradoras sobre como conduzir avaliações construtivamente.
6. Os pareceres abertos e, em particular, os que informam a identidade dos árbitros, permitem realizar estudos e obter estatísticas sobre a avaliação por pares, algo que nunca havia sido possível no modelo tradicional. O relatório Global State of Peer Review 5 publicado em setembro de 2018 pela Publons e pela Clarivate Analytics revelou dados sobre a institucionalidade dos avaliadores, a eficiência e a qualidade do processo e as perspectivas para o futuro da avaliação pelos pares. Os resultados do relatório foram resumidos em dois posts publicados neste blog 6, 7 .

Argumentos contra

1. Pesquisadores de diferentes áreas reagem de maneira diferente à perspectiva de revisões abertas. Por exemplo, nas ciências biológicas, a opção de publicar as revisões foi de 70%, enquanto na física é inferior a 50%.
2. O complexo processo de avaliação de manuscritos, envolvendo árbitros, editores e autores, produz uma série de documentos que vão muito além dos avaliadores. Tomar a decisão do editor, as respostas dos autores e a versão original do manuscrito não é um processo trivial e, sem toda a história, os leitores só podem acessar a parte da avaliação, levando a considerar o quão útil ela poderia ser. .
3. Los investigadores que tienen reservas en cuanto a la publicación de las evaluaciones – firmadas o no – argumentan que temen represalias de autores cuyos manuscritos fueron criticados, pues en muchos casos los autores pueden suponer quién es el autor de los dictámenes, por su contenido o estilo. Sin embargo, como se mencionó anteriormente, las investigaciones sobre la posible influencia de la publicación de los dictámenes en el comportamiento de los árbitros y el contenido de las revisiones parecen sugerir que los evaluadores no se sienten intimidados, pero este resultado no puede ser generalizado.
4. Uma grande preocupação seria que as opiniões publicadas possam ser usadas de forma injusta para avaliar os autores em pedidos de assistência de pesquisa, empregos, projeções de carreira ou prêmios. Polka et al. 4 enfatizar que não há dados suficientes sobre como etnia, sexo, filiação nacional e instituição afectar a avaliação dos manuscritos, e temem que os pesquisadores seria menos prestigiadas instituições ou países em desenvolvimento poderiam receber avaliações tendenciosas. Os avaliadores do desempenho do pesquisador poderiam considerar com maior ênfase as avaliações negativas desse grupo de pesquisadores. O relatório Publons-Clarivate 5Ele concluiu, por exemplo, que pesquisadores de países emergentes são menos solicitados como árbitros, mas seus colegas de países desenvolvidos rejeitam revisões com mais frequência e demoram mais para serem revisadas. No entanto, o estudo 5 também observa que as revisões realizadas por avaliadores de regiões emergentes em clara expansão de sua produção científica, como a China, estão crescendo muito rapidamente e em breve terão de atingir os números das regiões desenvolvidas.
5. Outro risco a considerar é usar as opiniões como "munição" pelos oponentes de certos tipos de pesquisa (por exemplo, organismos geneticamente modificados, mudanças climáticas ou vacinas). Alguns comentários nas opiniões poderiam ser distorcidos e descaracterizados para reduzir a credibilidade da pesquisa, de uma área do conhecimento ou da ciência como um todo. Essa probabilidade seria maior em periódicos que publicam pesquisas com maior risco de discussão política. Uma maneira de abordar esta questão seria publicar uma declaração explicando o processo de avaliação por pares e seu papel na discussão da ciência e que a publicação das opiniões visa estabelecer um diálogo com o público, a mídia e os políticos,
6. A decisão final do editor pode ser verificada quando as opiniões são publicadas e fazer com que os editores iniciantes tenham dificuldade em contradizer a opinião dos árbitros e rejeitar um manuscrito bem avaliado ou o contrário. Nesse sentido, publicar a decisão do editor contextualizando suas razões pode ajudar.
7. Aspectos de ordem operacional, como a publicação dos pareceres após o artigo, ou em documentos separados com seus próprios DOI, não são desprezíveis e os periódicos devem se preparar para implementá-los.

O futuro da avaliação aberta de pares

Os prós e contras listados acima são relevantes e devem ser considerados pelos editores de periódicos que decidem embarcar no caminho da avaliação de pares aberta. Polka et al. 4 e Sweet 3 , juntamente com muitos outros autores que escrevem sobre o futuro da comunicação científica, são unânimes em afirmar que os benefícios superam os riscos e as dificuldades. Em outubro de 2017, dados da Comissão Européia estimaram que apenas 3,5% dos periódicos cadastrados na plataforma Publons disponibilizaram o conteúdo das avaliações de revisão. Em seu relatório de setembro de 2018, a Publons publica 5que a "revisão aberta de pares", que é cada vez mais vista em toda a indústria [editorial] como um aspecto importante da ciência aberta, permitiu uma diversidade de pesquisas, ajudando a comunidade científica a pesar e coletivamente examinar as diferentes etapas do processo de revisão por pares. Essa mudança levou a uma série de estudos e iniciativas fundamentais na última década ".

Neste relatório, são apresentados 5 dados que mostram que jovens pesquisadores estariam mais propensos a emitir opiniões para periódicos que realizam avaliações abertas do que pesquisadores mais antigos. Dos entrevistados com menos de 26, 40% são susceptíveis de escrever comentários para revistas que revelam a identidade do árbitro e autor e publicar avaliações, em comparação com apenas 22,3% dos entrevistados com idade entre 56 e 65 anos

Esses dados mostram que há uma tendência inconfundível da comunidade científica de adotar práticas abertas de avaliação por pares. Em um mundo ideal, de acordo com Polka, et al. 4avaliações seriam fáceis de encontrar e intuitivamente organizadas, juntamente com materiais relacionados, e os editores deveriam facilitar o processo de atribuir o devido reconhecimento aos árbitros por suas valiosas contribuições. Além disso, as inovações tecnológicas reduziriam o trabalho administrativo e forneceriam links e contexto aos leitores.

A fim de ajudar a aumentar a adoção de avaliações abertos, a iniciativa ASAPbio elaborou uma carta aberta em junho para apoiar a publicação de relatórios de revisão por pares, que foi assinada por editores e editoras que representam mais de 300 revistas até abril 2019 .

Como diz a máxima, "não há melhor anti-séptico que a luz solar". Exponha todas as etapas do processoa avaliação por pares à luz do sol apenas tende a aumentar a transparência, a responsabilidade e a confiabilidade da comunicação científica.

Anotações

1. NASSI-CALÒ, L. Revisão inter pares: a publicação de relatórios de avaliação influencia o comportamento dos revisores? [online] SciELO en Perspectiva , 2019 [visto em 30 de abril de 2019]. Disponível a partir de: https://blog.scielo.org/es/2019/03/27/revisiones-por-pares-abiertas-la-publicacion-de-los-informes-de-evaluacion-influye-en-el-comportamiento -do-revisores /

2. VAN ROOYEN, S., DELAMOTHE, T. e EVANS, SJW Efeito sobre a revisão por pares de dizer aos revisores que suas revisões assinadas podem ser postadas na web: ensaio clínico randomizado. BMJ [online]. 2010, vol. 431, pp. c5729-c5729 [visto em 30 de abril de 2019]. DOI: 10.1136 / bmj.c5729 . Disponível em: https://www.bmj.com/content/341/bmj.c5729

3. SWEET, D. Os prós e contras de publicar revisões por pares [online]. Blog Crosstalk CellPress , 2018 [visto em 30 de abril de 2019]. Disponível em: http://crosstalk.cell.com/blog/the-pros-and-cons-of-publishing-peer-reviews

4. POLKA, JK, et al. Publique revisões por pares. Natureza [online]. 2018, vol. 560, não. 7720, pp. 545-547 [visto em 30 de abril de 2019]. DOI: 10.1038 / d41586-018-06032-w . Disponível em: https://www.nature.com/articles/d41586-018-06032-w

5. Estado Global de revisão por pares [online]. Publons. 2018 [visto em 30 de abril de 2019]. Disponível em: https://publons.com/community/gspr

6. Carta aberta sobre a publicação de relatórios de revisão por pares [online]. ASAPbio. 2018. [visto em 30 de abril de 2019] Disponível em: https://asapbio.org/letter

Referências

Estado Global de revisão por pares [online]. Publons. 2018 [visto em 30 de abril de 2019]. Disponível em: https://publons.com/community/gspr

NASSI-CALÒ, L. Aumentar a adoção da avaliação aberta por pares [online]. SciELO em perspectiva, 2017 [visto em 30 de abril de 2019]. Disponível em: https://blog.scielo.org/es/2017/01/10/aumenta-la-adopcion-de-evaluacion-por-pares-abierta/

NASSI-CALÒ, L. Revisão por pares: modalidades, prós e contras [online]. SciELO in Perspectiva , 2015 [visto em 30 de abril de 2019]. Disponível em: https://blog.scielo.org/en/2015/03/27/revision-por-pares-modalidades-pros-y-contras/

NASSI-CALÒ, L. Revisão inter pares: a publicação de relatórios de avaliação influencia o comportamento dos revisores? [online] SciELO en Perspectiva , 2019 [visto em 30 de abril de 2019]. Disponível a partir de: https://blog.scielo.org/es/2019/03/27/revisiones-por-pares-abiertas-la-publicacion-de-los-informes-de-evaluacion-influye-en-el-comportamiento -do-revisores /

Carta aberta sobre a publicação de relatórios de revisão por pares [online]. ASAPbio. 2018. [visto em 30 de abril de 2019] Disponível em: https://asapbio.org/letter

POLKA, JK, et al. Publique revisões por pares. Natureza [online]. 2018, vol. 560, não. 7720, pp. 545-547 [visto em 30 de abril de 2019]. DOI: 10.1038 / d41586-018-06032-w . Disponível em: https://www.nature.com/articles/d41586-018-06032-w

SPINAK, E. De estrelas árbitros a árbitros fantasmas - Parte I [online]. SciELO en Perspectiva , 2019 [visto em 30 de abril de 2019]. Disponível em: https://blog.scielo.org/es/2019/02/05/desde-arbitros-estrellas-a-los-arbitros-fantasmas-parte-i/

SPINAK, E. De estrelas árbitros a árbitros fantasmas - Parte II [online]. SciELO en Perspectiva , 2019 [visto em 30 de abril de 2019]. Disponível em: https://blog.scielo.org/es/2019/02/07/desde-arbitros-estrellas-a-los-arbitros-fantasmas-parte-ii/

SWEET, D. Os prós e contras de publicar revisões por pares [online]. Blog Crosstalk CellPress , 2018 [visto em 30 de abril de 2019]. Disponível em: http://crosstalk.cell.com/blog/the-pros-and-cons-of-publishing-peer-reviews

VAN ROOYEN, S., DELAMOTHE, T. e EVANS, SJW Efeito na revisão por pares de contar que seus revisores seriam postados na web: ensaio clínico randomizado. BMJ [online]. 2010, vol. 431, pp. c5729-c5729 [visto em 30 de abril de 2019]. DOI: 10.1136 / bmj.c5729 . Disponível em: https://www.bmj.com/content/341/bmj.c5729

VELTEROP, J. A crise de reprodutibilidade é agravada pela revisão por pares pré-publicação? [online] SciELO in Perspectiva , 2016 [visto em 30 de abril de 2019]. Disponível a partir de: https://blog.scielo.org/es/2016/10/20/la-crisis-de-reproducibilidad-se-ve-agravada-por-la-revision-por-pares-pre-publicacion/

NASSI-CALÒ, L. Potenciais vantagens e desvantagens na publicação de pareceres de avaliação [online]. SciELO in Perspectiva, 2019 [visto em 07 de maio de 2019]. Disponível em: https://blog.scielo.org/es/2019/04/30/ventajas-y-desventajas-potenciales-en-la-publicacion-de-opiniones-de-evaluacion/