Uma doação de um bilhão de dólares: estimando o custo do tempo dos pesquisadores gasto na revisão por pares

FUNDO

Um dos principais produtos do sistema de publicação acadêmica, o artigo de periódico, é a coprodução de pesquisadores e editores. Os pesquisadores fornecem valor não apenas por fazendo a pesquisa e escrevendo os resultados como um manuscrito, mas também servindo como revisores. Editoras fornecer serviços de seleção, triagem e disseminação de artigos, incluindo a garantia de indexação (adequada) de metadados em bancos de dados. Embora várias estimativas cuidadosas estejam disponíveis em relação ao custo de publicação acadêmica, por exemplo, [1], um aspecto que essas estimativas frequentemente negligenciam é o custo dos pares comentários [2]. Nosso objetivo era fornecer uma estimativa oportuna de contribuição dos revisores para o sistema de publicação em termos de tempo e valor financeiro e discutir as implicações.

Em sua função de revisores pares, cientistas e outros pesquisadores fornecem comentários para melhorar os manuscritos de outros pesquisadores e julgar sua qualidade. Elas oferecem seu tempo e conhecimento altamente especializado para fornecer uma avaliação detalhada e sugestões para o aprimoramento dos manuscritos. Em média, um revisor conclui 4,73 avaliações por ano, 1 ainda, de acordo com Publons, certos revisores completam mais de mil avaliações a ano. Esta contribuição leva um tempo considerável de outro trabalho acadêmico. Somente no domínio biomédico, o tempo dedicado à revisão por pares em 2015 foi estimado ser 63,4 M horas [3].

Um manuscrito normalmente recebe várias rodadas de revisões antes da aceitação, e cada rodada normalmente envolve dois ou mais pesquisadores como revisores. Par o trabalho de revisão raramente é formalmente reconhecido ou diretamente compensado financeiramente no sistema do jornal (exceções incluem alguns periódicos médicos que pagam por revisores estatísticos e alguns periódicos financeiros que pagam por relatórios de arbitragem rápidos). A maioria das universidades parece esperar acadêmicos para fazer trabalhos de revisão como parte de suas pesquisas ou missão de serviço acadêmico, embora não saibamos de nenhum com uma política explícita sobre quanto tempo eles devem gastar com isso.

Embora o trabalho de revisão por pares seja um elemento crítico da publicação acadêmica, encontramos apenas uma única estimativa de seu valor financeiro, que era de 2007. Então, quando o o número global de artigos publicados não foi nem a metade de o volume atual, estimativas aproximadas indicaram que se os revisores fossem pagos por seu tempo, a conta estaria a ordem de £ 1,9 bilhões [4]. Como uma faceta do processo de pesquisa que atualmente requer trabalho de vários especialistas humanos, a revisão contribui para uma situação de doença de custo para a ciência. "Custo doença ”[5] refere-se ao fato de que, embora o custo de muitos produtos e serviços têm iminuído constantemente ao longo do nos últimos duzentos anos, isso não aconteceu por alguns para o qual a quantidade de tempo de trabalho por unidade não mudado. Isso pode tornar alguns produtos e serviços cada vez mais caros em relação a tudo o mais na sociedade, como ocorreu, por exemplo, para música clássica ao vivo concertos. Este também pode ser o destino da publicação acadêmica, a menos que a revisão se torne mais eficiente.

A justiça e eficiência do sistema tradicional de revisão por pares tornou-se recentemente um tópico altamente debatido [6, 7]. Neste artigo, estendemos esta discussão, fornecendo uma atualização sobre a estimativa de tempo dos pesquisadores e a contribuição baseada no salário para o sistema de revisão por pares. Usamos dados disponíveis publicamente para nossos cálculos. Nosso aproximação é quase certamente uma subestimativa porque não apenas escolhemos valores conservadores dos parâmetros, mas para o número total de artigos acadêmicos, contamos com um banco de dados (Dimensões) que não pretende incluir todos os periódicos do mundo. Nós discutimos as implicações de nossas estimativas e identificar um número de modelos alternativos para melhor utilizar o tempo de pesquisa em revisão por pares.

 

MÉTODOS E RESULTADOS

Para estimar o tempo e o valor monetário baseado no salário valor da revisão por pares conduzida para periódicos em um único ano, tivemos que estimar o número de revisões por pares por ano, o tempo médio gasto por revisão e o custo da mão-de-obra horária de acadêmicos. Em caso de incerteza, usamos estimativas conservadoras para nossos parâmetros, portanto, os valores verdadeiros provavelmente serão maiores.

 

COBERTURA

O número total de artigos é obviamente uma entrada crítica para o nosso cálculo. Infelizmente, parece não haver um banco de dados disponível que inclua todos os artigos acadêmicos publicados em todo o mundo. Periódicos de Ulrich O banco de dados pode listar o maior número de periódicos - consultar seu banco de dados para "revistas" ou "conferência procedimentos ”e“ Arbitrado / revisado por pares ”produziu 99.753 entradas. No entanto, Ulrich não indica o número de artigos que essas entidades publicam. Fora de bases de dados disponíveis que relatam o número de artigos, optamos por usar o conjunto de dados Dimensions (https://www.dimensões.ai/) que coleta e coleta artigos de 87.000 periódicos acadêmicos, muito mais do que Scopus (~ 20.000) ou Web of Science (~ 14.000).

 

NÚMERO DE AVALIAÇÕES POR PARES POR ANO

Existem apenas estimativas de quantas revisões por pares associadas a periódicos ocorrem a cada ano. Publons estimou que os 2,9 milhões de artigos indexados na Web de A ciência em 2016 exigiu 13,7 milhões de revisões. Para calcular o número de avaliações relevantes para 2020, usamos o fórmula usada por Publons - eq. 1 abaixo. Nessa fórmula, uma revisão é o que um pesquisador faz em uma rodada de um processo de revisão. Para envios que são, em última instância, aceito pela revista submetida a, a fórmula de Publons assume que, em média, há duas revisões em o primeiro turno e um no segundo turno; para rejeitado artigos (excluindo rejeições de mesa), a fórmula assume uma média de duas avaliações para inscrições que acabam sendo rejeitadas, ambas na primeira rodada.

As suposições de Publons são baseadas em seus conhecimentos gerais sobre indústria, mas não há dados específicos. Observe, no entanto, que se houver alguma coisa, essas são provavelmente subestimações, pois nem todos as revisões por pares estão incluídas em nossa estimativa. Por exemplo, o trabalho de revisão feito por alguns editores quando lidar com um manuscrito geralmente não é indexado no Publons, e um único relatório de revisão por escrito pode ser assinado por vários esquisadores.

Publons estimou a taxa de aceitação de submissões revisadas por pares em 55%. Ou seja, 45% dos manuscritos que não são rejeitados secretamente são, após um ou mais rodadas de revisão, finalmente rejeitadas. Antes de incluir Estimativas de Publons em nossos cálculos, avaliamos com base em outras informações disponíveis. A editora Thomson Reuters relatou números sobre as inscrições, aceitações e rejeições que ocorreram em seu sistema de gerenciamento de periódicos ScholarOne para o período de 2005-2010 [10]. De acordo com outras fontes [11, 12], mostrou que as taxas médias de aceitação aparentemente diminuíram a proporção de submissões que são eventualmente aceitas pela revista em que o manuscrito foi submetido foi de 0,40 em 2005: 0,37 em 2010 e 0,35 em 2011. Não encontramos estimativas de taxas de aceitação para o últimos anos, mas assumimos que o declínio descrito pela Thomson Reuters continuou até certo ponto, e assumimos que a taxa de aceitação média atual em revistas é de 0,30, então podemos chegar aos números de Publons. No entanto, para os números finais, também precisamos estimar a taxa de rejeições de mesa também. Embora a taxa de rejeições de mesa provavelmente variam substancialmente entre periódicos (por exemplo, 22-26% no PLOS ONE4), valores referenciados [13, 14] e as estimativas da editora de periódicos5 nos levam a estimar esse valor em torno de 0,45. As estimativas acima implicam que, em média, a cada 100 submissões a um periódico compreendem 30 que são aceitas após uma ou mais rodadas de revisão por pares, 45 que são mesa rejeitada e 25 que são rejeitadas após revisão. Assim, entre as submissões enviadas para revisão, 55% (30 / (30 +25) são finalmente aceitos. Ou seja, os artigos publicados representam 55% de todas as submissões revisadas, indicando que 45% das submissões que foram revisadas foram rejeitado. Esses valores são, sem dúvida, especulativos, mas eles são consistentes com as estimativas de Publons.

Para obter esses valores, tivemos que estimar o número de avaliações por pares realizadas para artigos em 2020. Para isso, usamos os números fornecidos pelo portal Dimensions (www.dimensions.ai). A versão gratuita, bem como a versão de assinatura do Dimensions atualmente fornece números separados para artigos, capítulos, procedimentos, pré-impressões, monografias e livros editados. Por causa de simplicidade, nossa estimativa limita-se a artigos. O número total de artigos publicados em 2020 de acordo com a base de dados Dimensions é 4.701.988. Assumindo que esta soma reflete a taxa de aceitação de 55% de submissões revisadas, o número de revisadas, mas submissões rejeitadas (45% de todas as submissões revisadas) são estimadas em globalmente 4.701.988 / 55 * 45 = 3.847.081. Com base nesses cálculos, o número total de avaliações por pares para artigos enviados em 2020 é 4.701.988 * 3 + 3.847.081 * 2 = 1.800.126.

TEMPO GASTO EM REVISÕES

Existem vários relatórios para o tempo médio de um revisor gasta ao revisar um manuscrito. Todos estes são infelizmente com base em relatórios subjetivos de revisores em vez de uma medida objetiva. A única coisa semelhante a uma indicação objetiva que encontramos foi no painel Publons (Publons.com), que em 6 de agosto de 2021 indicou que a duração média das avaliações em seus banco de dados em todos os campos é de aproximadamente 390 palavras. Isso destaca que a avaliação média provavelmente tem conteúdo substantivo além de um veredicto sim / não, mas isso não pode ser convertido em uma estimativa de tempo. Uma pesquisa de 2009 respondido por 3597 revisores selecionados aleatoriamente indicaram que o tempo médio relatado gasto na última revisão foi de 6 h [15], uma pesquisa de 2016 relatou que o o tempo médio de revisão é de 5 horas [9]. Outra pesquisa em 2008 descobriram que o tempo médio relatado gasto revisando foi de 8,5 h [16]. A ser notado, é provável que o segundo

A rodada de análises não leva tanto tempo quanto a primeira. Para ser conservador (e considerando a tendência das pessoas para superestimar quanto tempo eles trabalham), vamos usar 6 h como o tempo médio gasto pelos revisores em cada revisão. Com base em nossa estimativa do número de avaliações e horas gastas em uma revisão, estimamos que em 2020 os revisores gastaram 21.800.126 × 6 h = 130.800.757 h em revendo. Isso é equivalente a 14.932 anos (em 365 dias um ano e 24 horas de trabalho de parto por dia) (Fig. 1).

REMUNERAÇÃO POR HORA DOS REVISORES

Para estimar o valor monetário dos revisores de tempo gastar em avaliações, multiplicamos a média dos revisores salário por hora pelo tempo que passam revisando. Observe que alguns estudiosos consideram seu trabalho de revisão como um trabalho voluntário e não como parte de suas obrigações profissionais [5], mas aqui usamos seus salários como uma estimativa do valor deste tempo. Nenhum dado parece ter sido relatado sobre os salários dos revisores de periódicos, portanto, exigimos algumas suposições adicionais. Presumimos que o distribuição dos países nos quais os revisores trabalham é similar à distribuição dos países na produção de artigos. Ou seja, pesquisadores de países que produzem mais artigos também têm desempenho mais resenhas, enquanto os países que produzem poucos artigos também fazer proporcionalmente poucas revisões. Dada a língua inglesa e geograficamente centrada na língua anglófona concentração de periódicos científicos, suspeitamos que pessoas em países de língua inglesa são chamadas como revisores talvez até mais do que sua proporção como autores [17]. Porque esses países têm maior salários do que a maioria dos outros, nossa suposição de revisor países sendo proporcionais aos países autores é conservador para o custo total. Assim, calculamos as contribuições do país para a produção global de artigos, somando o número total de publicações para todos os países listados no banco de dados Dimensions e computando a proporção de artigos produzidos por cada país. Com base nos resultados da Pesquisa de Avaliação inter pares [15] e para manter o modelo simples e conservador, nós assumiu que a revisão é conduzida quase inteiramente por pessoas empregadas em locais de trabalho acadêmicos, como universidades e institutos de pesquisa, e esse júnior e pesquisadores seniores participam da revisão em uma proporção de 1: 1. Portanto, para calcular o salário do revisor por hora em um determinado país que usamos.

Isso rende um valor de $ 69,25 por hora para os EUA, $ 57,21 para o Reino Unido e $ 33,26 para a China (Tabela 1).

REDUZINDO A REDUNDÂNCIA NA REVISÃO POR PARES

Muitos manuscritos são revisados ​​em várias revistas, que é uma grande ineficiência, por exemplo, [22]. Por ser um fator multiplicativo, ele agrava a questão do aumento global crescente no número de inscrições. Embora as melhorias em o manuscrito entre as submissões significa que o o processo de revisão não é totalmente redundante, normalmente em pelo menos parte da avaliação que está sendo feita é duplicação. Com base nos dados da pesquisa [23], estimamos conservadoramente que, em média, um manuscrito é submetido a duas revistas antes da aceitação (incluindo a revista que aceita). Em outro palavras, cada artigo aceito tem uma rejeição e reenvio por trás dele. Caso as revisões de uma submissão anterior estejam disponíveis para a revista da nova submissão, o tempo de revisão poderia ser substancialmente reduzido (presumindo que a qualidade da revisão não difere entre as revistas - e é muito provável que sim), mas infelizmente isso não é uma prática comum. Se assumirmos que as revisões "aprovadas" ou abertas reduziriam os requisitos em uma revisão por manuscrito, então aprox. 28 milhões de horas (dos nossos 85 milhões de horas estimativa total) poderia ser economizada anualmente. Só nos EUA, significaria uma economia de aprox. 297 M USD de trabalho. Algumas economias desse tipo já começaram. 

Um declínio na quantidade de pesquisas conduzidas, ou o número de manuscritos em que esta pesquisa resulta, seria reduzir a quantidade de trabalho de revisão por pares necessária. O número de artigos publicados vem crescendo rapidamente por muitas décadas [28, 29]. Algumas dessas podem ser devido ao corte de salame (publicação de papéis mais finos, mas mais deles), mas isso não é necessariamente verdade – um estudo descobriu que a taxa de publicação individual dos pesquisadores não aumentou [30] quando normalizado pelo número de autores por artigo, sugerindo que os autores estão colaborando mais para aumentar sua contagem de publicações, em vez do que publicar papéis mais finos. Conseqüentemente, o aumento em o volume de publicação pode ser mais um resultado da estabilidade aumento da economia global e, com isso, apoio para pesquisadores. A qualidade, em vez da quantidade de publicações, no entanto, recentemente começou a ser enfatizado mais por alguns financiadores e esquemas de avaliação nacional, e isso pode moderar a taxa de crescimento no número de publicações e, potencialmente, a carga da revisão por pares.

CONCLUSÕES

Por definição, é muito provável que nossos resultados estejam subestimados, pois refletem apenas uma parte do número total de periódicos em todo o mundo. Os números destacam a enorme quantidade de trabalho e tempo que os pesquisadores fornecem ao sistema de publicação, e a importância de considerar formas alternativas de estruturar e pagar pela revisão por pares. Incentivamos esse processo discutindo alguns modelos alternativos que visam potencializar os benefícios da revisão por pares, melhorando assim sua relação custo-benefício.

Fonte: 

ACZEL1, B.; SZASZI, B.; HOLCOMBE, A. O. A billion-dollar donation: estimating the cost of researchers’ time spent on peer review. Research Integrity and Peer Review, v. 6, n. 14, p. 1-8, 2021. Disponível em: https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-021-00118-2 Acesso em: 09 dez. 2021.