Revisão por pares, revistas científicas e ciências avaliadas: introdução para jovens pesquisadores

Um mestrado universitário é geralmente o primeiro contato com a revisão por pares e a ciência avaliada de um jovem pesquisador. Na imagem, parte do site do Mestrado em Comunicação Social da UPF

Edição de abril de 2019

Para entender o sistema chamado revisão por pares , que estabelece as regras que regem a publicação em revistas científicas  de quase todos, ele é importante para considerar que este método cai dentro de uma mais geral, que chamamos de ciência avaliadas .

O que é avaliado ciência? Por esta denominação nos referimos a uma das características mais definidoras da ciência "moderna". Pode-se afirmar como o princípio geral de acordo com o qual o conhecimento científico não é aceito como tal se não passou por certos processos de avaliação independentes.

Lembre-se de algo que certamente faz parte da experiência de qualquer jovem pesquisador. Na maioria das universidades, os mestrados finais são avaliados por um tribunal composto por vários professores. Bem, mesmo sem saber com este nome, nosso jovem pesquisador teve nessa experiência seu primeiro contato com a ciência avaliada.

O contexto da ciência avaliada

O ponto importante é que, daqui, toda a ciência que um acadêmico produz em sua vida posterior continuará a ser avaliada. Suas atividades acadêmicas a seguir sempre serão caracterizadas por alguma forma de avaliação, conforme mostrado na tabela a seguir.

     Tabela 1: Modalidades de Atividades e Avaliação

Nota: Temos refletido nesta tabela o sistema de avaliação espanhol, semelhante ao modelo internacional dominante, mas ainda pode haver diferenças com outros países, exceto na Atividade 3, que é praticamente universal. 

Na Tabela 1, destacamos a linha 3. A razão é que, a partir de agora, neste post, vamos nos concentrar em apresentar:

• Qual é o critério que permite determinar se uma revista é científica (ou não)?
• Como é o ciclo característico de produção da ciência avaliado tomando como referência a elaboração de artigos científicos
• Qual é o processo chamado revisão por pares?

O que é e o que não é uma revista científica?

No ecossistema da publicação científica, os artigos de revistas científicas ( papers ) têm um papel muito proeminente. Tradicionalmente, considerou-se que, enquanto os livros ou monografias cumprem uma missão de divulgação, os artigos de revistas cumprem o de dar a conhecer os novos desenvolvimentos científicos e, portanto, o avanço da ciência.

O esquema acima, embora ele pode variar de algumas ciências sociais e, especialmente, na área de humanas, onde a monografia ou o livro é também altamente valorizados, é a visão dominante nas ciências experimentais e, geralmente, nas disciplinas que são considerados mais avançada ou mais maduro .

Outro consenso internacional é que uma revista não é científica por causa das questões que aborda, mas devido à maneira como realiza seu processo de seleção, análise e publicação. Em outras palavras, em quiosques (físicos ou virtuais), podemos encontrar vários periódicos dedicados a tópicos científicos atuais, como Scientific American , Muy Interesante e outros.

Você pode dizer que eles são publicações de ciência que tratam a ciência ou relatóriosobre temas científicos, mas, no entanto, estritamente falando, são não considerados revistas científicas . A razão que os impede de serem considerados periódicos científicos é que eles não usam o sistema de revisão por pares .

Na próxima seção, vamos considerar em que consiste. Por enquanto, devemos salientar que, de acordo com o que foi dito, para uma boa parte das disciplinas científicas, incluindo também as Ciências Humanas e Sociais, a ciência é comunicada e desenvolvida principalmente através de artigos de periódicos.

Portanto, os pesquisadores, incluindo os autores de teses de doutorado e doutorado, devem utilizar predominantemente artigos publicados em revistas científicas para conhecer o status da questão de suas respectivas disciplinas, sem prejuízo do uso de outros tipos de fontes. , como livros ou anais de congressos.

Em outras palavras, o consenso dominante na pesquisa científica é permitido pesquisadores a utilizar todas as fontes de informação, mas NÃO  pode não  usar artigos de revistas científicas.

O EPI é uma publicação científica porque utiliza o sistema de revisão por pares, como tantos outros que compõem o ecossistema internacional de publicações acadêmicas avaliadas.

Operação do sistema de revisão por pares

Lembre-se de que dissemos que, sem o papel das revistas científicas na comunicação, discussão e disseminação de novos conhecimentos, é considerado inviável fazer ciência. Também dissemos que apenas os periódicos que usam um sistema conhecido como peer review são considerados científicos . É hora, então, de falar sobre ele, dado o papel central que estamos vendo que ele tem. 

No chamado sistema de revisão por pares ou avaliação por pares , três atores intervêm:

• Os autores do artigo
• Os editores da revista
• Os avaliadores do artigo

E pelo menos duas fases:

• A avaliação editorial , onde o artigo é aceito ou rejeitado pelos editores da revista
• A avaliação por pares em si, no caso de artigos que passaram pela avaliação editorial.

Avaliação editorial

Todo o processo começa quando um autor (ou o chamado autor de correspondência, no caso de múltipla autoria) decide enviar um artigo para um periódico acadêmico. Este ato pode corresponder a iniciativa própria ou porque tal revista realizou uma chamada para aqueles que desejam publicar trabalhos em sua próxima edição ( chamada de trabalhos ). Para este artigo que ainda não foi publicado, vamos chamá-lo, a partir de agora, manuscrito , a fim de melhor apresentar todo o processo, que segue com as seguintes fases:

• Um editor (ou grupo de editores) da revista examina o manuscrito e adota uma decisão sobre se aceita-se (para avaliação), ou, pelo contrário, ele é rejeitado.
• Se o manuscrito for rejeitado, esta decisão não admite (em termos gerais) qualquer tipo de revisão subseqüente.
• Se o manuscrito for aceito, então ele passa para a segunda fase de revisão por pares , que é o que dá o seu nome à revisão por pares.

Alguns esclarecimentos adicionais ajudarão você a entender os pontos anteriores um pouco melhor. Em primeiro lugar, a decisão de aceitar ou não aceitar um emprego baseia-se em (pelo menos) dois grupos de critérios:

• A qualidade geral do trabalho
• A adaptação do tema para a linha editorial da revista

Na qualidade do trabalho, os critérios são aqueles que podem ser esperados do mundo acadêmico: a editores esperança, acima de tudo, obras originais, realizado com garantias metodológicas, com contribuições reais, com temas ou interessantes, abordagens bem escritos, bem apresentação formal, etc. A razão é óbvia: a obrigação dos editores é selecionar o melhor (não o pior).

O processo completo de revisão por pares em um excelente diagrama. Fonte: Elsevier

Linha editorial

Em relação à adaptação à linha editorial, a questão varia de uma publicação para outra. Em geral, obviamente, os editores rejeitarão trabalhos que não se encaixam no tema da revista. Parece estranho que isso aconteça, mas sistematicamente, um certo número de manuscritos que chegam às revistas não tem nada a ver com o assunto deles.

Acontece que, às vezes, os autores percebem o escopo de seus sujeitos, ou dos periódicos, o que não é realista. Outras vezes, os editores podem cometer erros e decidir, devido à má inspeção do trabalho, que não corresponde à sua linha editorial (tenho minhas próprias experiências a esse respeito). Ninguém disse que o sistema de revisão por pares é perfeito!

Mas, além do  escopo temático , as políticas editoriais podem contemplar outros requisitos. Vejamos alguns dos critérios mais comuns para aceitar um artigo (ou rejeitá-lo) na fase editorial:

• Tipo de pesquisa . A maioria dos periódicos rejeita o que eles consideram ciência básica. Ou seja, se eles consideram que o artigo é mera divulgação, eles o rejeitarão. Há revistas que preferirão trabalhos de escopo muito geral e rejeitarão trabalhos que descrevam, por exemplo, experimentos muito específicos ou contagens de dados muito específicas. Muitos periódicos preferem empregos que envolvam mais de uma disciplina, enquanto outros preferem empregos focados exclusivamente em uma única área ou até mesmo empregos dentro de uma micro especialidade.
• Metodologia predominante , por exemplo, trabalhos qualitativos ou, ao contrário, quantitativos, ou exclusivamente resultados baseados em dados empíricos, etc.
• Gêneros . Algumas revistas divulgam listas de gêneros científicos preferidos ou, ao contrário, não-preferenciais: por exemplo, podem declarar que preferem revisões gerais ou estados de coisas; ou, pelo contrário, aceitar apenas projetos experimentais e de nenhuma maneira trabalhos de revisão ou modelos conceituais, etc. É importante considerar que alguns dos melhores periódicos contemplam mais de um gênero.
• Assuntos preferenciais ou expressamente rejeitados . Às vezes revistas pode declarar obras preferenciais que lidam com uma tendência ou foco particular, talvez porqueé considerado como tendo sido pouco discutido nos números anteriores ou, inversamente, pode declarar abordagens ou questões não ser aceite, precisamente por ter sido excessivamente tratado em edições anteriores.

O que tudo isso é que ele não é razoável para enviar um manuscrito para uma determinada publicação não revistos, pelo menos três seções: a) o seu políticaseditoriais geral, b) as preferências para futuras edições e c) as páginas para informar autores das regras e detalhes de algum tipo (por exemplo, formato de citação, preparação do manuscrito, etc.) que seu artigo deve atender para enviá-lo com perspectivas de sucesso razoável.

Nestas últimas normas, é importante observar cuidadosamente aqueles que se referem ao processo de revisão por pares (peer review) que consideramos abaixo. Como veremos mais adiante, muitos periódicos (especialmente em Humanidades e Ciências Sociais) aplicam um tipo de avaliação que exige que o manuscrito seja enviado em conformidade com certas condições de anonimato. Não levá-los em conta será motivo de rejeição editorial.

Avaliação pelos pares

Se um manuscrito passou na avaliação editorial, ele passa para a fase do próprio sistema de revisão por pares ou de revisão por pares. As fases dessa avaliação, em seu modelo majoritário, pelo menos nas ciências sociais e humanas, são as seguintes:

1. Os editores selecionam e propõem a avaliação do artigo para pelo menos dois especialistas no assunto do manuscrito.
2. Uma vez que os avaliadores aceitam, eles têm um tempo prudente para enviar sua opinião fundamentada sobre o manuscrito para os editores.
3. A opinião pode contemplar três opções:
   1. O manuscrito é aceito sem alterações necessárias . Isso significa que é aceito para ser publicado como originalmente chegado.
   2. O manuscrito é rejeitado sem apelação por inadequações no seu desenvolvimento, o escopo, interesse, etc., ou erros até mesmo conceituais, ou design, ou através da detecção de má prática (plágio, por exemplo) ou conflito de interesses, ou considerado de má qualidade em geral. Como a rejeição editorial, essa decisão não tem apelo.
   3. O manuscrito é aceito com as alterações necessárias . Isso significa que é aceito, mas requer uma série de mudanças que podem ser pequenas (correções de vários aspectos) ou importantes (pode envolver refazer boa parte do trabalho). A aceitação final será condicionada à resposta dos autores, que podem aceitar todas as mudanças propostas e incorporá-las sem mais delongas, ou podem aceitar uma parte e argumentar contra algumas delas, se não as considerarem apropriadas.

Agora é apropriado fazer alguns esclarecimentos que nos ajudem a interpretar o processo:

• Opção  3a. A aceitação sem alterações requeridas é altamente improvável. Apenas uma fração marginal das obras enviadas para uma prestigiada revista leva essa consideração.
• Opção 3b. Artigo rejeitado , é relativamente provável, embora não seja uma maioria. De fato, a maioria das rejeições (na maioria dos periódicos) vem da fase editorial. 
• Opção 3c. Aceito com alterações necessárias , sejam elas maiores ou menores. É a opção mais frequente. Dos manuscritos que entram nesta fase, no entanto, uma fração acaba sendo rejeitada no final da próxima rodada se as mudanças necessárias forem importantes, e as mudanças fornecidas pelos autores não satisfazem os avaliadores.

Mas dissemos que há pelo menos dois avaliadores. Se os dois avaliadores concordarem em rejeitar a publicação, o processo termina aqui, uma vez que essa rejeição não tem apelo. Se não é um laço, isto é, o avaliador Um aceita a publicação (embora com alterações necessária) e o avaliador B rejeita, por vezes, editores próprias posições determinado ou, mais frequentemente, incorporar um terceiro avaliador para este laço.

Em alguns editores podem, em alguns casos, incorporar avaliadores especializados em aspectos altamente especializados (p., E, estatística em pesquisa quantitativa) ou lingüísticos (periódicos internacionais que recebem manuscritos em autores ingleses de todo o mundo que não falam inglês).

Variações na revisão por pares

Vimos a forma mais geral da revisão por pares, mas não consideramos as principais variantes dela que ocorrem de acordo com vários eixos:

• O tipo de cegueira , ou quem sabe quem
• O número de avaliadores iniciantes
• O número de rodadas
• O momento da avaliação: antes ou depois da publicação do manuscrito

Vamos examiná-los e começaremos com o tipo de cegueira , segundo o qual existem três tipos de revisão por pares:

• Cego simples . Os avaliadores conhecem a identidade dos autores, mas os autores não conhecem a identidade dos avaliadores. É o mais comum em ciências.
• Duplo cego . É assim chamado porque os avaliadores ignoram a identidade dos autores e os autores ignoram a identidade dos avaliadores. É o mais comum em Humanidades e Ciências Sociais. Neste tipo de avaliações, é necessário anonimizaro manuscrito antes de enviá-lo. Indicações de anonimato, de acordo com a revista, pode exigir para remover ou ofuscar citação suporta para o trabalho (financiamento), auto - citações no corpo e na literatura, identificando dados em tabelas e figuras e qualquer menção de local de trabalho os autores.
• Abrir . A identidade dos autores e avaliadores é conhecida por todos os participantes do processo.

Ele é importante para notar que cada vez mais, algumas revistas publicados por editoras mais alto nível aceitar três tipos de avaliação , desde que se considera que o que define uma revista avaliada, ou seja científico, é o fato de usar a revisão por pares, não o tipo concreto que adota tal avaliação.

Pelo número de avaliadores: a opção mais comum em Ciências Sociais e Humanas é a de dois avaliadores, com o recurso a um terceiro em caso de empate, mas algumas publicações podem ser de três avaliadores. 

Para o número de rodadas :

• Na maioria dos periódicos, pode haver até três rodadas: primeira versão, segunda versão com alterações e até uma terceira versão, se os avaliadores adicionarem novos requisitos.
• Em algumas revistas, combinando sistemas abertos de avaliação e três avaliadores iniciais, há sempre um máximo de duas rodadas.

Para o tempo de avaliação:

• Na maioria dos periódicos, o manuscrito é avaliado primeiramente e, em seguida, se for o caso, publicado.
• Em alguns periódicos de revisão aberta, o manuscrito é publicado pela primeira vez e, em paralelo, o processo de avaliação é dado. Em seguida, a segunda versão avaliada será publicada e ambas as versões poderão ser consultadas no banco de dados da revista, juntamente com os comentários dos avaliadores.

Muitos acadêmicos das Ciências Humanas e Sociais acreditam que a revisão por pares é sinônimo de dupla cegueira. De fato, conforme explicado nesta caixa extraída da Elsevier, há pelo menos três modalidades e todas fazem parte do sistema de revisão por pares. Fonte: Elsevir

Conclusões

Os historiadores da ciência muitas vezes consideram o sistema de publicação de peer-review como uma parte importante do progresso que tem experimentado ciência, pelo menos desde o século XIX. Muitos cientistas, especialmente na área das ciências experimentais, consideram-no um componente essencial da atividade científica. Em outras palavras, sem este sistema, muitos cientistas acreditam que o avanço da ciência estaria em perigo porque não seria fácil para discriminar itens de qualidade daqueles que são meras repetições de coisas já descoberto, ou mesmo diferenciar entre melhores empregos e aqueles que continham erros graves ou más práticas.

No entanto, a revisão pelos pares não é sem falhas ou problemas. Nós já mencionamos, por exemplo, às vezes as decisões editoriais de rejeição (ou aceitação) está errado. O processo de avaliação não é infalível e quase todos os anos um escândalo salta a forma de artigos publicados devem ser removidos porque descobriu um malversações posteriori em que, de falsificação de plágio ou conflitos de dados de interesse mascarado.

Seja como for, há pouco debate no mundo acadêmico sobre a necessidade de a publicação de artigos ser uma atividade avaliada, e futuros acadêmicos ou jovens pesquisadores devem conhecer seu desempenho da melhor forma possível.

Além disso, eles devem saber tão bem quanto possível os usos e estilos editoriais de sua disciplina em geral e, ainda mais, devem conhecer da melhor maneira possível as características editoriais dos principais periódicos de sua especialidade.

Bibliografia

Monografias e artigos

• Hames, Irene (2007).  Revisão por pares e gestão de manuscritos em revistas científicas: orientações para boas práticas . Londres: Blackwell
• Marc Ware Consulting . Pesquisa Publishing Research Consortium Peer review 2015 . 
  Acesse:  http://publishingresearchconsortium.com> peer-review-survey-2015 /
• Nicolau, D., Watkinson, A., Jamali, RH, Herman, E., Tenopir, C., Volentine, R., Allard, S., Levine, K . (2015) Revisão por pares: ainda é rei na era digital . Learned Publishing, 28, 15-21. doi: 10.1087 / 20150104.
• Nicholas, D., Watkinson, A., Volentino, R., Allard, S., Levine, K., Tenopir, C., & Herman, E. (2014). "Confiança e Autoridade nas Comunicações Científicas à Luz da Transição Digital: definindo o cenário para um grande estudo". Learned Publishing , 27, 121-134. doi: 10.1087 / 20140206
• Vesnic-Alujevic, L. (2014). "Revisão por pares e publicação científica em tempos de web 2.0. Publicação " Research Quarterly . doi: 10.1007 / s12109-014-9345-8

Lluís Codina. 

Disponível em https://www.lluiscodina.com/peer-review/

Vantagens e desvantagens potenciais na publicação de pareceres de avaliação

    De Lilian Nassi-Calò

    

Reconhecida pela maioria dos pesquisadores em todo o mundo como um dos pilares da comunicação científica, a avaliação pelos pares é considerada como uma guardiã da credibilidade e confiabilidade da pesquisa científica e muitos consideram que a dispensação desse importante estágio de validação colocaria em risco toda a empresa. da ciência.

A avaliação interpares foi fundada por volta de 1750 pela Royal Society no Reino Unido, que criou uma comissão para discutir o que seria publicado na sua revista Philosophical Tra nsactions ser interrompido em 1831, quando os membros desta sociedade reagiram negativamente à opiniões - anônimas - de uma comissão de acadêmicos que as consideram excessivamente críticas e injustas.

A revisão por pares como a conhecemos hoje foi adotada regularmente apenas por volta de 1940 pelos periódicos Science , Nature e Journal of American Medical Association . Desde o início, o processo foi conduzido "às cegas" e os revisores que avaliaram os artigos permaneceram protegidos pelo anonimato. Posteriormente, os autores e sua filiação institucional não foram divulgados aos avaliadores, como forma de promover avaliações mais justas e livres de vieses de qualquer natureza. Esse formato de avaliação por pares foi amplamente utilizado em várias décadas e as revistas que não o fizeram não gozavam de boa reputação no meio científico.

Por volta de 1990, no entanto, a comunidade acadêmica passou a discutir o processo de revisão em reuniões e congressos, que já enfrentavam certas dificuldades. A chamada "crise" de avaliação pelos pares levou à proposta de modelos alternativos que implicam aberturas no processo de avaliação. O termo " open peer review " ( OPR) inclui muitas interpretações, incluindo a publicação de opiniões e / ou a revelação da identidade dos avaliadores, aceitando comentários não apenas de avaliadores convidados, interação aberta entre avaliadores e autores, entre outras modalidades.

A partir de 2006, os periódicos e editores passaram a publicar as revisões, com ou sem a assinatura dos avaliadores. Entre eles estão Biology Direct do grupo BioMed Central , The EMBO Journal , eLife, F1000 Research , PeerJ e Nature Communications .

É importante mencionar que estudos têm sido conduzidos para saber se a publicação das revisões pode influenciar o comportamento dos avaliadores e o conteúdo das revisões. Um desses estudos, realizado por Bravo et al . e publicado neste blog 1 avaliadas 9.220 artigos submetidos cinco revistas da Elsevier entre 2010 e 2017. Outro estudo, de autoria de van Rooyen, Delamothe e Evans 2analisados 558 manuscritos e 1.039 avaliações publicadas no BMJ. Ambos os estudos concluíram que a publicação de revisões assinadas não altera a qualidade ou o conteúdo destas, sugerindo que os avaliadores não são influenciados pela publicação das avaliações.

A publicação de pareceres de revisão por pares, no entanto, ainda não é uma prática atual, embora seu uso esteja aumentando. A razão para isso pode estar no fato de que os editores não têm certeza sobre como sua comunidade de autores e leitores reagirá. Publicações recentes, como a de Deborah Sweet 3 e Jessica Polka, et al. 4 destacam algumas das vantagens e desvantagens da publicação de avaliações

Prós e contras da publicação de pareceres de avaliação

Argumentos a favor

1. No modelo tradicional de avaliação, o trabalho meticuloso dos árbitros e as considerações e sugestões para refinar o artigo são descartados após a aprovação (ou não) do manuscrito. Além disso, as opiniões contêm argumentos e idéias que podem revelar como o pensamento evolui em uma determinada área do conhecimento. Nesse modelo, apenas os autores e o editor têm acesso a essa informação, que, de fato, faz parte do registro científico do artigo e, como tal, deve ser disponibilizada aos leitores.
2. As opiniões abertas tendem a ser menos duras e negativas do que as anônimas, e contêm críticas e sugestões mais construtivas para refinar os artigos.
3. A avaliação por pares é um processo construtivo que, via de regra, resulta em melhores artigos e, reconhecendo o desempenho dos atores envolvidos - editores e árbitros -, é muito importante, pois pode contar com créditos acadêmicos. Há exemplos de iniciativas (tais como Publons , ReviewerCredits e é ) que, ao permitir o registo da avaliação da actividade de um investigador, evidência académico sua posição e influência em uma determinada área. Além disso, contribui para melhorar a qualidade das revisões em recomendações mais construtivas, além de acelerar a avaliação dos manuscritos, reduzindo, consequentemente, o tempo de publicação.
4. A decisão final do editor sobre a publicação ou não do manuscrito depende de vários fatores, incluindo as opiniões, e sua disponibilidade torna o processo de tomada de decisão dos editores mais transparente.
5. As opiniões constituem material didático para jovens pesquisadores que não são muito claros sobre como realizar a avaliação por pares. As opiniões abertas, em particular, são inspiradoras sobre como conduzir avaliações construtivamente.
6. Os pareceres abertos e, em particular, os que informam a identidade dos árbitros, permitem realizar estudos e obter estatísticas sobre a avaliação por pares, algo que nunca havia sido possível no modelo tradicional. O relatório Global State of Peer Review 5 publicado em setembro de 2018 pela Publons e pela Clarivate Analytics revelou dados sobre a institucionalidade dos avaliadores, a eficiência e a qualidade do processo e as perspectivas para o futuro da avaliação pelos pares. Os resultados do relatório foram resumidos em dois posts publicados neste blog 6, 7 .

Argumentos contra

1. Pesquisadores de diferentes áreas reagem de maneira diferente à perspectiva de revisões abertas. Por exemplo, nas ciências biológicas, a opção de publicar as revisões foi de 70%, enquanto na física é inferior a 50%.
2. O complexo processo de avaliação de manuscritos, envolvendo árbitros, editores e autores, produz uma série de documentos que vão muito além dos avaliadores. Tomar a decisão do editor, as respostas dos autores e a versão original do manuscrito não é um processo trivial e, sem toda a história, os leitores só podem acessar a parte da avaliação, levando a considerar o quão útil ela poderia ser. .
3. Los investigadores que tienen reservas en cuanto a la publicación de las evaluaciones – firmadas o no – argumentan que temen represalias de autores cuyos manuscritos fueron criticados, pues en muchos casos los autores pueden suponer quién es el autor de los dictámenes, por su contenido o estilo. Sin embargo, como se mencionó anteriormente, las investigaciones sobre la posible influencia de la publicación de los dictámenes en el comportamiento de los árbitros y el contenido de las revisiones parecen sugerir que los evaluadores no se sienten intimidados, pero este resultado no puede ser generalizado.
4. Uma grande preocupação seria que as opiniões publicadas possam ser usadas de forma injusta para avaliar os autores em pedidos de assistência de pesquisa, empregos, projeções de carreira ou prêmios. Polka et al. 4 enfatizar que não há dados suficientes sobre como etnia, sexo, filiação nacional e instituição afectar a avaliação dos manuscritos, e temem que os pesquisadores seria menos prestigiadas instituições ou países em desenvolvimento poderiam receber avaliações tendenciosas. Os avaliadores do desempenho do pesquisador poderiam considerar com maior ênfase as avaliações negativas desse grupo de pesquisadores. O relatório Publons-Clarivate 5Ele concluiu, por exemplo, que pesquisadores de países emergentes são menos solicitados como árbitros, mas seus colegas de países desenvolvidos rejeitam revisões com mais frequência e demoram mais para serem revisadas. No entanto, o estudo 5 também observa que as revisões realizadas por avaliadores de regiões emergentes em clara expansão de sua produção científica, como a China, estão crescendo muito rapidamente e em breve terão de atingir os números das regiões desenvolvidas.
5. Outro risco a considerar é usar as opiniões como "munição" pelos oponentes de certos tipos de pesquisa (por exemplo, organismos geneticamente modificados, mudanças climáticas ou vacinas). Alguns comentários nas opiniões poderiam ser distorcidos e descaracterizados para reduzir a credibilidade da pesquisa, de uma área do conhecimento ou da ciência como um todo. Essa probabilidade seria maior em periódicos que publicam pesquisas com maior risco de discussão política. Uma maneira de abordar esta questão seria publicar uma declaração explicando o processo de avaliação por pares e seu papel na discussão da ciência e que a publicação das opiniões visa estabelecer um diálogo com o público, a mídia e os políticos,
6. A decisão final do editor pode ser verificada quando as opiniões são publicadas e fazer com que os editores iniciantes tenham dificuldade em contradizer a opinião dos árbitros e rejeitar um manuscrito bem avaliado ou o contrário. Nesse sentido, publicar a decisão do editor contextualizando suas razões pode ajudar.
7. Aspectos de ordem operacional, como a publicação dos pareceres após o artigo, ou em documentos separados com seus próprios DOI, não são desprezíveis e os periódicos devem se preparar para implementá-los.

O futuro da avaliação aberta de pares

Os prós e contras listados acima são relevantes e devem ser considerados pelos editores de periódicos que decidem embarcar no caminho da avaliação de pares aberta. Polka et al. 4 e Sweet 3 , juntamente com muitos outros autores que escrevem sobre o futuro da comunicação científica, são unânimes em afirmar que os benefícios superam os riscos e as dificuldades. Em outubro de 2017, dados da Comissão Européia estimaram que apenas 3,5% dos periódicos cadastrados na plataforma Publons disponibilizaram o conteúdo das avaliações de revisão. Em seu relatório de setembro de 2018, a Publons publica 5que a "revisão aberta de pares", que é cada vez mais vista em toda a indústria [editorial] como um aspecto importante da ciência aberta, permitiu uma diversidade de pesquisas, ajudando a comunidade científica a pesar e coletivamente examinar as diferentes etapas do processo de revisão por pares. Essa mudança levou a uma série de estudos e iniciativas fundamentais na última década ".

Neste relatório, são apresentados 5 dados que mostram que jovens pesquisadores estariam mais propensos a emitir opiniões para periódicos que realizam avaliações abertas do que pesquisadores mais antigos. Dos entrevistados com menos de 26, 40% são susceptíveis de escrever comentários para revistas que revelam a identidade do árbitro e autor e publicar avaliações, em comparação com apenas 22,3% dos entrevistados com idade entre 56 e 65 anos

Esses dados mostram que há uma tendência inconfundível da comunidade científica de adotar práticas abertas de avaliação por pares. Em um mundo ideal, de acordo com Polka, et al. 4avaliações seriam fáceis de encontrar e intuitivamente organizadas, juntamente com materiais relacionados, e os editores deveriam facilitar o processo de atribuir o devido reconhecimento aos árbitros por suas valiosas contribuições. Além disso, as inovações tecnológicas reduziriam o trabalho administrativo e forneceriam links e contexto aos leitores.

A fim de ajudar a aumentar a adoção de avaliações abertos, a iniciativa ASAPbio elaborou uma carta aberta em junho para apoiar a publicação de relatórios de revisão por pares, que foi assinada por editores e editoras que representam mais de 300 revistas até abril 2019 .

Como diz a máxima, "não há melhor anti-séptico que a luz solar". Exponha todas as etapas do processoa avaliação por pares à luz do sol apenas tende a aumentar a transparência, a responsabilidade e a confiabilidade da comunicação científica.

Anotações

1. NASSI-CALÒ, L. Revisão inter pares: a publicação de relatórios de avaliação influencia o comportamento dos revisores? [online] SciELO en Perspectiva , 2019 [visto em 30 de abril de 2019]. Disponível a partir de: https://blog.scielo.org/es/2019/03/27/revisiones-por-pares-abiertas-la-publicacion-de-los-informes-de-evaluacion-influye-en-el-comportamiento -do-revisores /

2. VAN ROOYEN, S., DELAMOTHE, T. e EVANS, SJW Efeito sobre a revisão por pares de dizer aos revisores que suas revisões assinadas podem ser postadas na web: ensaio clínico randomizado. BMJ [online]. 2010, vol. 431, pp. c5729-c5729 [visto em 30 de abril de 2019]. DOI: 10.1136 / bmj.c5729 . Disponível em: https://www.bmj.com/content/341/bmj.c5729

3. SWEET, D. Os prós e contras de publicar revisões por pares [online]. Blog Crosstalk CellPress , 2018 [visto em 30 de abril de 2019]. Disponível em: http://crosstalk.cell.com/blog/the-pros-and-cons-of-publishing-peer-reviews

4. POLKA, JK, et al. Publique revisões por pares. Natureza [online]. 2018, vol. 560, não. 7720, pp. 545-547 [visto em 30 de abril de 2019]. DOI: 10.1038 / d41586-018-06032-w . Disponível em: https://www.nature.com/articles/d41586-018-06032-w

5. Estado Global de revisão por pares [online]. Publons. 2018 [visto em 30 de abril de 2019]. Disponível em: https://publons.com/community/gspr

6. Carta aberta sobre a publicação de relatórios de revisão por pares [online]. ASAPbio. 2018. [visto em 30 de abril de 2019] Disponível em: https://asapbio.org/letter

Referências

Estado Global de revisão por pares [online]. Publons. 2018 [visto em 30 de abril de 2019]. Disponível em: https://publons.com/community/gspr

NASSI-CALÒ, L. Aumentar a adoção da avaliação aberta por pares [online]. SciELO em perspectiva, 2017 [visto em 30 de abril de 2019]. Disponível em: https://blog.scielo.org/es/2017/01/10/aumenta-la-adopcion-de-evaluacion-por-pares-abierta/

NASSI-CALÒ, L. Revisão por pares: modalidades, prós e contras [online]. SciELO in Perspectiva , 2015 [visto em 30 de abril de 2019]. Disponível em: https://blog.scielo.org/en/2015/03/27/revision-por-pares-modalidades-pros-y-contras/

NASSI-CALÒ, L. Revisão inter pares: a publicação de relatórios de avaliação influencia o comportamento dos revisores? [online] SciELO en Perspectiva , 2019 [visto em 30 de abril de 2019]. Disponível a partir de: https://blog.scielo.org/es/2019/03/27/revisiones-por-pares-abiertas-la-publicacion-de-los-informes-de-evaluacion-influye-en-el-comportamiento -do-revisores /

Carta aberta sobre a publicação de relatórios de revisão por pares [online]. ASAPbio. 2018. [visto em 30 de abril de 2019] Disponível em: https://asapbio.org/letter

POLKA, JK, et al. Publique revisões por pares. Natureza [online]. 2018, vol. 560, não. 7720, pp. 545-547 [visto em 30 de abril de 2019]. DOI: 10.1038 / d41586-018-06032-w . Disponível em: https://www.nature.com/articles/d41586-018-06032-w

SPINAK, E. De estrelas árbitros a árbitros fantasmas - Parte I [online]. SciELO en Perspectiva , 2019 [visto em 30 de abril de 2019]. Disponível em: https://blog.scielo.org/es/2019/02/05/desde-arbitros-estrellas-a-los-arbitros-fantasmas-parte-i/

SPINAK, E. De estrelas árbitros a árbitros fantasmas - Parte II [online]. SciELO en Perspectiva , 2019 [visto em 30 de abril de 2019]. Disponível em: https://blog.scielo.org/es/2019/02/07/desde-arbitros-estrellas-a-los-arbitros-fantasmas-parte-ii/

SWEET, D. Os prós e contras de publicar revisões por pares [online]. Blog Crosstalk CellPress , 2018 [visto em 30 de abril de 2019]. Disponível em: http://crosstalk.cell.com/blog/the-pros-and-cons-of-publishing-peer-reviews

VAN ROOYEN, S., DELAMOTHE, T. e EVANS, SJW Efeito na revisão por pares de contar que seus revisores seriam postados na web: ensaio clínico randomizado. BMJ [online]. 2010, vol. 431, pp. c5729-c5729 [visto em 30 de abril de 2019]. DOI: 10.1136 / bmj.c5729 . Disponível em: https://www.bmj.com/content/341/bmj.c5729

VELTEROP, J. A crise de reprodutibilidade é agravada pela revisão por pares pré-publicação? [online] SciELO in Perspectiva , 2016 [visto em 30 de abril de 2019]. Disponível a partir de: https://blog.scielo.org/es/2016/10/20/la-crisis-de-reproducibilidad-se-ve-agravada-por-la-revision-por-pares-pre-publicacion/

NASSI-CALÒ, L. Potenciais vantagens e desvantagens na publicação de pareceres de avaliação [online]. SciELO in Perspectiva, 2019 [visto em 07 de maio de 2019]. Disponível em: https://blog.scielo.org/es/2019/04/30/ventajas-y-desventajas-potenciales-en-la-publicacion-de-opiniones-de-evaluacion/

Acabar com uma editora "predatória" não corrigirá o problema da má ciência em periódicos

Os

editores de ciência não devem estar no negócio de desinformação. E é exatamente isso que um juiz federal em Nevada estava dizendo no final do mês passado quando ela deu um tapa na OMICS International com uma multa de US $ 50 milhões em um processo movido pela Comissão Federal de Comércio dos EUA.

A juíza Gloria M. Navarro concordou com os reguladores que a OMICS, que publica centenas de revistas e realiza conferências científicas, é culpada de “numerosas deturpações expressas e materiais sobre suas práticas de publicação de periódicos”.

A decisão claramente é uma vitória para os corretores honestos na publicação científica. Mas não é a solução para o problema dos chamados periódicos predatórios - um termo usado para descrever publicações com fins lucrativos que pretendem oferecer revisão por pares e edição, mas na realidade fazem pouco ou nenhum dos dois.

Editores predatórios como o OMICS, que está longe de estar sozinho neste espaço (uma estimativa coloca o número de atores ruins em mais de 900), prosperam porque o mercado de artigos científicos é insaciável - e crescente. No ano passado, os pesquisadores produziram algo entre 2 milhões e 3 milhões de artigos.

O mundo claramente não sofre com a falta de pixels dedicados à pesquisa. O que falta é um mecanismo eficaz para controlar a qualidade de toda essa informação.

Em certo sentido, então, OMICS está inadvertidamente certo sobre uma coisa: confiar em revisores para examinar documentos antes da publicação é menos crítico do que os editores legítimos gostariam que acreditássemos.

Críticos da OMICS, com sede em Los Angeles e Hyderabad, na Índia, há muito alegam que as promessas da empresa de revisão por pares convencional estão praticamente vazias. Navarro evidentemente concordou. De acordo com a decisão, a FTC descobriu que “de 69.000 artigos publicados, apenas 49% indicam que alguma forma de revisão foi conduzida”. O juiz também observou que embora a OMICS alega ter mais de 50.000 editores especialistas em seus cabeçalhos, a empresa forneceu uma lista com apenas 14.598 nomes únicos, "e evidência de um acordo para servir como editor para apenas 380 indivíduos".

De fato, como nós e outros argumentamos, a revisão por pares pré-publicação, mesmo quando legítima, é muitas vezes latida sem mordida . Não pega fraude, permite que muita ciência de lixo entre na literatura, não tenha estancado a enxurrada de resultados irreproduzíveis, e assim por diante.

Assim, enquanto punir OMICS por suas práticas de má fé é justificável, e pode impedir alguns supostos predadores de um mau comportamento semelhante, não espere que os problemas fundamentais na publicação de ciência desapareçam sem um esforço para resolver suas causas. Editores predatórios como OMICS são sintomas desses problemas, não os problemas em si. Não haveria presas - sabendo ou não - se não houvesse um mercado.

Esses mercados não existem apenas no mundo em desenvolvimento, onde as diferenças de idioma podem dificultar a identificação de periódicos predatórios. Uma investigação internacional publicada no ano passado descobriu que milhares de cientistas na Europa Ocidental também haviam publicado em tais periódicos.

No topo da lista de problemas, estão os incentivos perversos que obrigam os pesquisadores a publicar em suas vidas acadêmicas. A menos que instituições e financiadores estejam dispostos a abandonar a sua fetichização do papel como valor de produtividade e um critério primordial para premiar promoções e estabilidade, continuaremos a ver um excesso de artigos de baixa qualidade que os editores dão um selo de aprovação enganoso. .

Essa mudança não ocorrerá da noite para o dia, portanto, as autoridades científicas devem encorajar os pesquisadores a aproveitarem o crescente mundo dos servidores de pré-impressão que permitem aos autores, na verdade, organizar seus artigos com os colegas antes de enviá-los para publicação oficial. Eles são promissores, embora pelo menos um estudo sugira que os resultados não serão diferentes do status quo: ele encontrou diferenças mínimas de texto entre os preprints e suas versões publicadas.

Ou talvez a resposta esteja em algum outro modelo projetado para melhorar o sistema atual e quebrado. Deve haver alguns experimentos científicos de publicação que valem US $ 50 milhões.

FONTE: Adam Marcus (State News)

https://www.statnews.com/2019/04/05/fining-predatory-publisher-wont-end-bad-science-in-journals/

Indicadores de qualidade de pesquisas nacionais e internacionais são divergentes

Pesquisa compara critérios adotados pelo Qualis Capes aos dos principais indicadores internacionais na área de Ciência Política

Pesquisa indica descompasso entre as métricas de avaliação do sistema Qualis Capes e os principais indicadores internacionais de produção científica – Scimago Journal Rank (SJR), Source Normalized Impact per Paper (SNIP), H-index e Google Scholar Metrics -, no campo da ciência política. O assunto é relevante no meio científico porque o ranking baliza o governo na alocação de recursos financeiros destinados ao ensino superior. Quanto mais bem avaliado pelo Qualis Capes, maiores as chances de captação de verba e aquisição de bolsas de estudo para pesquisa. Um artigo sobre o tema, Expert-driven and citational approaches to assessing journal publications of Brazilian political scientists, foi publicado na revista Brazilian Political Science Review.

Segundo uma das autoras, Lorena Barberia, professora do Departamento de Ciência Política da Faculdade de Filosofia, Letras e Ciências Humanas (FFLCH) da USP, “a pesquisa mostrou que há evidências de que os critérios adotados pelo Qualis Capes, da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), para sinalizar revistas acadêmicas de maior qualidade, não correspondem aos critérios utilizados pelos indicadores internacionais para mensurar os periódicos que produzem resultados científicos com maior impacto em termos de citações na academia internacional”, explica.

Os pesquisadores também encontraram fraca correlação quando foi comparada a classificação adotada pela Capes, que é fundamentada na opinião de especialistas da área, com indicadores internacionais de produção científica, que partem do número de citações como fundamento. Ou seja, “há revistas com impacto muito importante na disciplina de ciência política mundial que são pouco valorizadas pelo critério Qualis. E há também revistas de ciência política com pouca penetração mundial, que são consideradas de alta qualidade pela Capes”, afirma Danilo Praxedes Barboza, outro pesquisador envolvido no estudo e doutorando no Departamento de Ciência Política da USP.

No quadro abaixo, seguem dois exemplos de avaliações discrepantes feitas pela Capes e pelo indicador internacional Scimago Journal Rank (SJR). Entre os anos de 2010 e 2016, pela mensuração do SJR, o Journal of International Relations & Development teve pequeno aumento em seu fator de impacto. Já o Qualis Capes, no mesmo período, elevou o periódico da pior categoria, a “C”, para a melhor, a “A1”. Também teve exemplo contrário: a revista Cultures et Conflicts teve aumento no fator de impacto no indicador internacional, mas foi rebaixado no Qualis.

Devido a essas distorções, os pesquisadores procuraram entender quais eram os fatores que a Capes levava em consideração para avaliar suas publicações. Para tanto, empregaram um modelo estatístico multivariado utilizando a técnica de regressão logística ordenada. Os resultados desses testes estatísticos indicaram que o fator mais importante que justificava a classificação foi a própria posição da revista na classificação do triênio anterior. O que implica dizer que as revistas com boa colocação na avaliação anterior do Qualis tendem a se manter na posição das classificações subsequentes, avalia Barboza. Os demais fatores – país de origem, língua, área de conhecimento e a posição nos indicadores internacionais de qualidade e impacto da produção científica – não se mostraram fundamentais para entender a classificação atual do indicador do Qualis.

Os resultados ainda mostraram que entre 2010 e 2014 houve aumento de revistas nacionais, publicadas em português, com classificação Qualis nos maiores estratos. No período 2010-2012, 5,4% dos periódicos nacionais estavam no estrato “A1” e no período 2013-2014, esse porcentual passou para 20,6%. Porém, o aumento na classificação Qualis não correspondeu às revistas que aumentaram seus indicadores de citação em indicadores internacionais. Ou seja, o sistema de avaliação adotado para a produção científica brasileira em ciência política não premiou necessariamente as revistas que tinham melhorado seus fatores de impacto.

Segundo Lorena, a falta de coerência entre indicadores nacionais e internacionais pode ser um alerta para o governo, que tem o sistema Qualis como referência para definição de políticas públicas e distribuição de recursos financeiros para os programas de pós graduação. “As pesquisas publicadas em revistas avaliadas pelo Qualis Capes como sendo de excelência podem não ter o mesmo impacto internacional”, conclui.

Este estudo foi feito com recorte no campo de ciências políticas, porém o grupo de pesquisa está expandindo o escopo para outras áreas do conhecimento. Alguns dados preliminares já indicam que o padrão de avaliação do sistema Capes também se repete para outras áreas.

Lorena Barberia / Danilo Praxedes 

JORNAL DA USP 

https://jornal.usp.br/ciencias/ciencias-humanas/indicadores-de-qualidade-de-pesquisas-nacionais-e-internacionais-sao-divergentes/ 

O que os editores esperam e os autores devem saber

A revisão de artigos científico-acadêmicos, uma atividade também conhecida como peer review (revisão por pares) ou revisão por experts, é crucial para manter a qualidade da comunicação científica.

Os pesquisadores geralmente não recebem treinamento sobre esse assunto, e, ainda que pouca carreira acadêmica tenha começado a ser bem-sucedida, chegará um momento em que eles serão solicitados a atuar como avaliadores do trabalho de seus colegas.

Neste contexto, é extremamente importante que os avaliadores façam o seu trabalho da melhor maneira possível, pelo menos por três razões:

• Primeiro, porque uma má avaliação causa um dano desnecessário e possivelmente irreparável, então existe uma profunda razão ética para que os avaliadores tentem fazer as coisas da melhor maneira possível;

• Segundo, porque boas avaliações são essenciais para o avanço da comunicação científica e esta, por sua vez, é a base da boa ciência devido à sua natureza cumulativa;

• Terceiro, se o avaliador o fizer bem, os editores dos periódicos confiarão em seus critérios e isso ajudará seu currículo direta e indiretamente.

Lluís Codina
https://www.lluiscodina.com/peer-review-articulos/