Efetivação da open peer review frente aos editores do Portal de Periódicos da Universidade Federal da Paraíba

 

Effectiveness of the open peer review in front of the editors of the Journal Portal of the Federal University of Paraíba

 

Efectividad de la revisión por pares abierta frente a los editores del Portal de Revistas de la Universidad Federal de Paraíba

 

 

Kleisson Lainnon Nascimento Silva

 Universidade Federal da Paraíba (UFPB)

Brasil

 

Joana Coeli Ribeiro Garcia

Universidade Federal da Paraíba (UFPB)

Brasil

 

Maria das Graças Targino

Universidade Federal da Paraíba (UFPB)

Brasil

 

 

Submetido em: 21/04/2021

Aceito em: 14/06/2021

Publicado em: 28/10/2021

Licença:

 

Autor para correspondência: Kleisson Lainnon Nascimento Silva

E-mail: kleissons@gmail.com

ORCID: https://orcid.org/0000-0001-6211-2372

 

Como citar este artigo:

 

SILVA, Kleisson Lainnon Nascimento; GARCIA, Joana Coeli Ribeiro; TARGINO, Maria das Graças. Efetivação da open peer review frente aos editores do Portal de Periódicos da Universidade Federal da Paraíba. REBECIN, São Paulo, v. 8, edição especial, p. 01-12, 2021. DOI:  10.24208/rebecin.v8i.252.

RESUMO

 

Investiga-se a aquiescência da open peer review (OPR) dentre os editores do Portal de Periódicos da Universidade Federal da Paraíba (UFPB), cujos títulos operam sob a égide das arbitragens cegas. São objetivos operacionais: analisar a disponibilidade da avaliação aberta pelas revistas da UFPB; avaliar o conhecimento dos editores no que respeita às práticas de revisão aberta; identificar os fatores que contribuem e/ou dificultam sua adoção. De caráter descritivo e abordagem quanti-qualitativa, utiliza-se a pesquisa survey como recurso investigativo. O universo da pesquisa compreende os 70 periódicos afiliados à Universidade. Em se tratando da existência de títulos anacrônicos, selecionaram-se apenas os itens conceituados de A1 a B5 pelo sistema Qualis da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), com histórico de publicação em vigor, resultando em amostra de 46 itens. A coleta de dados ocorreu mediante envio de questionário eletrônico, em intervalos sistemáticos, aos respectivos editores, totalizando 14 (31,11%) réplicas. Dentre os resultados, prevalece o interesse em experienciar a OPR, embora, curiosamente, não tenham conhecimento sobre a OPR. No que corresponde aos contributos, ressaltam-se a interlocução entre avaliador(es) e avaliado(s) e a disponibilização de políticas de avaliação aberta. Em contrapartida, o forte apego à blind review constitui obstáculo ao novo método de avaliação científica.

 

Palavras-Chave: Avaliação aberta; Open peer review; Periódicos científicos; Comunicação científica; Ciência aberta.

 

ABSTRACT

 

It investigates the open peer review (OPR) acceptance among the editors of the Portal of Journals of the Federal University of Paraiba (UFPB), whose titles operate under the aegis of blind arbitration. The operational objectives are: to analyze the availability of open evaluation by UFPB journals; to assess the knowledge of the evaluators with respect to open review practices; to identify the factors that contribute for (or not) its adoption. With a descriptive character and quantitative and qualitative approach, the survey research is used as an investigative resource. The research universe refers to the 70 journals maintained by the UFPB. In the case of the existence of anachronistic titles, only items rated from A1 to B5 were selected by the Qualis system of the Coordination for the Improvement of Higher Education Personnel (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, Capes), with an effective publication history, resulting in a sample of 46 items. Data collection occurred by electronic questionnaires sent at systematic intervals to the respective editors, totaling 14 (31.11%) responses. Among the results, the interest in experiencing OPR prevails, although, curiously, they do not have a lot of knowledge about OPR. Regarding the contributions, the dialogue between the evaluator (s) and the evaluated one (s) and the availability of open evaluation policies are highlighted. On the other hand, the strong attachment to blind review is an obstacle to the new method of scientific evaluation.

 

Keywords: Open evaluation; Open peer review; Scientific journals; Scientific communication; Open science.

 

RESUMEN

Investigamos la aquiescencia de la revisión abierta por pares (OPR) entre los editores del Portal de Revistas de la Universidad Federal de Paraíba (UFPB), cuyos títulos operan bajo la égida de arbitrajes ciegos. Los objetivos operativos son: analizar la disponibilidad de evaluación abierta por revistas de la UFPB; evaluar el conocimiento de los editores sobre las prácticas de revisión abierta; identificar los factores que contribuyen y / o dificultan su adopción. Con carácter descriptivo y enfoque cuanti-cualitativo, la investigación por encuestas se utiliza como recurso investigativo. El universo de investigación comprende las 70 revistas afiliadas a la Universidad. En cuanto a la existencia de títulos anacrónicos, solo los ítems calificados de A1 a B5 fueron seleccionados por el sistema Qualis de la Coordinación de Perfeccionamiento del Personal de Educación Superior (Capes), con un historial de publicaciones vigente, resultando una muestra de 46 ítems. La recogida de datos se realizó mediante el envío de un cuestionario electrónico, a intervalos sistemáticos, a los respectivos editores, totalizando 14 (31,11%) respuestas. Entre los resultados, predomina el interés por experimentar OPR, aunque, curiosamente, no tienen conocimiento de OPR. En cuanto a las contribuciones, se destaca el diálogo entre evaluador (es) y evaluado (s) y la disponibilidad de políticas de evaluación abiertas. Por otro lado, el fuerte apego a la revisión ciega es un obstáculo para el nuevo método de evaluación científica.

 

Palabras clave: Evaluación abierta; Revisión abierta por pares; Revistas científicas; Comunicación científica; Ciencia abierta.

 

1 SOBRE A OPEN PEER REVIEW

         A avaliação por pares aberta, doravante open peer review, open review ou OPR, consolida-se no contexto da comunicação científica nos países anglo-saxões, conduzida pelas Ciências Exatas, Naturais, da Saúde e Informacionais na expectativa de minimizar os óbices fomentados pela obscuridade, característica mor que tipifica as arbitragens convencionais (single e double blind peer review).

         Nos últimos anos, o contexto da comunicação científica protagoniza pesquisas de cunho teórico e pragmático que norteiam não só a projeção dos aspectos da OPR enquanto prática conflitante do modelo tradicional, mas sua efetivação visando estabelecer colaboração entre autores, avaliadores, editores e comunidade, conforme o corolário da open science (OS). Para Packer e Santos (2019), a OS favorece a cooperação entre pares nas pesquisas científicas, mediação, democratização, acesso e uso, e reprodutibilidade de dados científicos.

Quer dizer, a OPR atua como divisor d’água no cenário editorial, rompendo os paradigmas concernentes à blind review graças aos benefícios que resultam em visibilidade para os títulos, como: chance de feedbacks coerentes, emitidos nos prazos das revistas; coerência de pareceres dos avaliadores no trâmite. A Ciência da Informação (CI) acompanha os constantes avanços das últimas décadas em prol da OPR, consolidando-a como campo de estudo adjunto à comunicação científica.

A CI é pioneira nos estudos com vistas a verificar o nível de aceitação e de conhecimento a respeito da OPR, no Brasil. Destaca-se a proposta apresentada no XVIII Encontro Nacional de Pesquisa em Ciência da Informação (ENANCIB), em que Garcia e Targino (2017), por survey, constatam que, dentre 15 editores-pesquisados em CI, oito (67%) aceitam aderir à OPR, a partir da transparência do fluxo avaliativo e da qualidade do processo per se e da reputação dos veículos de comunicação. Em 2018, as autoras recorrem a coleta similar analisando a perspectiva de 709 avaliadores de 34 revistas. Dentre 189 respondentes, 66,6% são favoráveis à OPR.

         A monografia do Bacharelado em Biblioteconomia da UFPB, intitulada: “A visão dos editores do Portal de Periódicos da UFPB sobre a open peer review”, verifica a probabilidade de os editores adotarem a OPR. E, objetivos operacionais: analisar o uso da avaliação aberta pelos periódicos; avaliar o conhecimento dos editores quanto à revisão aberta; identificar o que contribui e dificulta sua adoção.

 

2 PROCEDIMENTOS METODOLÓGICOS

A pesquisa tem enfoque descritivo, abordagem quanti-qualitativa, recorre ao survey, para mensurar as razões e a ocorrência de determinado fenômeno. No caso, investigar a aquiescência da OPR dentre os editores do Portal de Periódicos da UFPB, cujos títulos operam, predominantemente, sob a égide das arbitragens cegas.

Arrola 70 publicações hospedadas no Portal, incluindo itens obsoletos sumarizados em índice, constando como títulos interrompidos. Delimitam-se para seleção da amostra: fluxo de publicação corrente e estratificação de A1 a B5, conforme avaliação da Capes. Indo além, a inserção dos títulos compreende o mapeamento dos canais alinhados aos parâmetros preestabelecidos, cadastrando-se, então, os endereços virtuais dos editores-chefes. Por fim, a verificação do Qualis pela plataforma Sucupira, ferramenta de dados da Capes, agindo como base de referência do Sistema Nacional de Pós-Graduação (SNPG), totalizando 46 títulos.

Quanto à coleta dos dados, recorre-se ao questionário por se adequar ao perfil da pesquisa e ao método investigativo. O instrumento, sob o Google Forms, lista 14 perguntas prescindindo da aplicação de pré-teste em razão das pesquisas empreendidas por Garcia e Targino (2017, 2018). A emissão do questionário inicia em 10 de fev. e finda em 2 de mar. de 2018, com reenvio a cada 10 dias. O total de respondentes é de 14 editores, representando 31,11%, percentual superior ao previsto por Marconi e Lakatos (2015).

 

3 RESULTADOS

Sintetizam-se aqui os resultados da pesquisa através da análise dos dados coletados alusivos ao posicionamento dos editores dos títulos aptos à OPR.

 

3.1 Peer review: facetas e características

         Dentre as arbitragens existentes, no caso do Portal de Periódicos da UFPB, condizem com as modalidades de avaliação de Melero e Lopez-Santoveña (2001) e Pavan e Stumpf (2009), que apontam as alternativas: single, double blind e OPR. Godlee (2002) e Silva (2016) justificam a prevalência da blind review (13 = 93%), argumentando que editores, autores e árbitros optam pela avaliação em duas vertentes – single e double – porque acreditam que elas representam o equilíbrio da comunicação científica. Por isso, é adotada, com frequência, por agências de fomento e processos seletivos empreendidos por instituições de pesquisa. Um (7%) editor menciona a OPR, como ruptura no sistema de avaliação. Para DeCoursey (2006) e Callaway (2016), a transição do modelo de arbitragem promove a melhoria das avaliações, reconhecendo que a análise ainda é incipiente, na prática da OPR.

Sobre os traços da OPR, recorrem-se à Ford (2013) e Ross-Hellauer e Deppe e Schmidt (2017). O panorama de indefinições, propõe delinear características alusivas à OPR diferenciando-as das convencionais. A intenção do paper é identificar alternativas pertinentes à realidade dos pesquisados, a quem é permitido assinalar mais de uma alternativa. Nota-se, então, que há dissimetria em relação aos primeiros traços mais recorrentes: avaliação mediada pelo editor soma seis indicações; avaliação assinada, cinco; avaliação tornada pública, quatro; avaliação transparente, três; e a avaliação por grupo ampliado de juízes, duas demarcações. A multiplicidade de opções influencia positivamente a abertura da avaliação por pares.

A avaliação mediada pelo editor justifica-se pela tendência em ambas avaliações, de o editor assumir o posto de regente arbitrário, consoante Ross-Hellauer (2017). Os itens incidentes – avaliação assinada, avaliação tornada pública, avaliação transparente e avaliação síncrona – tem 14 indicações, indicando interesse pela abertura e divulgação da avaliação por pares. A avaliação pré-publicação, avaliação síncrona e avaliação pós-publicação, somam três indícios.

 

3.2 Fatores contribuintes para a adoção da open peer review

         A pesquisa estimula os editores a se pronunciar sobre aspectos propícios à adoção da OPR. Das 14 opiniões, 10 (73%) correspondem a não posicionamentos, outros três (29%) editores lançam mão de suas convicções. Com veemência, um (7%) dos pesquisados julga inútil a adoção de novo modelo de arbitragem, o que desconstrói a interlocução entre os atores (ao diálogo protagonizado por autores, avaliadores e editores) como elemento valioso para a arbitragem, caracterizada pela socialização de saberes visando ao constructo científico e à divulgação de resultados, cuja origem remonta às redes entre pares (SCHMIDT et al., 2018).

Pöschl (2012) reforça que a troca aberta de argumentos representada por avaliações assinadas e autenticadas, deve ser fomentada, vez que desperta o interesse da comunidade e da sociedade civil. Destaca-se o depoimento do entrevistado n. 9: “desde que haja concordância dos autores, o contato direto entre avaliador e autor poderia acelerar o processo e a avaliação, pois considero que um dos maiores entraves é a demora dos avaliadores em darem sua resposta”.

As diretrizes para a OPR, são orientações que conduz os árbitros às boas práticas de avaliação, como procedimento íntegro e construtivo. A incipiência deste modelo, embora valorada por editores e avaliadores da CI, segundo Targino e Garcia e Silva (2018), advém da carência de regime metodológico que norteie os avaliadores à prática OPR. Na concepção do entrevistado n. 13: “seria interessante que os periódicos e as editoras disponibilizassem políticas e procedimentos, normas e regras claras sobre como proceder a OPR”.

 

3.3 Fatores negativos para a adoção da open peer review

 

Quando convidados a assinalar os empecilhos inerentes à anuência da OPR, menciona-se a abstenção de sete (50%) editores, que não se posicionam e um (7%) que desconhece obstáculos à avaliação aberta. Na verdade, no universo editorial de periódicos, há fatores intervenientes e negativos, tais que: resistência de autores e avaliadores, pela indisponibilidade ou receio da exposição e críticas dos pares. Para Schmidt et al. (2018) concorda com Shanahan e Olsen (2014), sobre a indisponibilidade de árbitros, sobretudo, os juniores, por se sentirem desconfortáveis para avaliar quando há posições definidas por cientistas renomados.

Não temos uma equipe de trabalho disponível e especializada para se dedicar a mais uma tarefa. De preferência, as colaborações devem ser avaliadas antes de sua publicação por especialistas, considerando sua qualidade, interesse e valor, sem o risco de pressão psicológica ou da popularidade do autor (entrevistado n. 4).

        

Os conflitos pessoais são atitudes repressivas de árbitros ou autores, que em posição de supremacia, endereçam aos interlocutores críticas não convencionais. Autores internacionais, exempli gratia, Amsen (2014), Ford (2013) e Ross-Hellauer (2017) contextualizam a improbabilidade da blind review como imperfeita, porquanto   avaliadores inclinam-se a rejeitar ou a aceitar resultados por motivos não científicos. Como consequência, é possível que, como previsto por depoentes inflexíveis, a adoção da OPR “[...] fomente os conflitos pessoais” (entrevistado n. 6).

DeCoursey (2006) alega que a OPR identifica a má conduta dos interessados em revogar pesquisas. Acrescenta que a inaptidão dos autores é incomparável à negligência dos árbitros quanto a má ciência. O entrevistado n. 10 argui que a OPR “pode ser algo endógeno e parcial”, revertendo-se em relações partidárias.

 

4 CONSIDERAÇÕES FINAIS

Conclui-se que a pesquisa alcança seu objetivo macro. Constata que a reação dos editores (oito = 57%) à OPR prevalece neste “jogo de bem me quer / mal me quer” em oposição a seis (43%) outros irredutíveis, considerando a blind review como a melhor alternativa. Um dos depoentes afirma, erroneamente, utilizar a OPR em seu métier, pois considera que os agradecimentos endereçados aos árbitros no final da publicação se configuram como um dos protocolos da OPR.

         Os questionamentos subjetivos instigam a compreensão dos declarantes no que condiz à revisão aberta com facetas e características. A priori, constata-se que avaliação mediada pelo editor, avaliação assinada, avaliação tornada pública, avaliação transparente, avaliação ampliada por grupo de juízes – apresentam quantitativo superior de menções identificadas por Ford (2013).

         Quanto às contribuições e aos empecilhos, prevalece um baixo índice de demarcações, traduzindo-se em conhecimentos prévios e rasos, sobre o tema. Reitera-se que a OPR é um modelo ainda não aplicado nem no contexto nacional nem tampouco regional, com alguns protótipos, a exemplo da revista “Ciência da Informação em Aberto” (em incubadora no portal da UFPB), que propõe avaliação mediada pelo editor e avaliação tornada pública sugerindo que o fórum entre autor(es) e avaliador(es) seja anexado ao final do artigo.

O estudo realizado com os editores do Portal de Periódicos da UFPB é um marco no modus operandi, servindo de referência às instituições de ensino superior (IES), ao apresentar e oferecer um processo editorial acessível e transparente que estimula a colaboração, interação e discussão na academia. Cabe à gestão do Portal de Periódicos estimular metas estratégicas e implementá-las, com vistas a inserção da UFPB no cenário editorial contemporâneo.

        

REFERÊNCIAS

 

AMSEN, E. What is open peer review? F1000 Research Blog, Rockville, May 2014.

 

CALLAWAY, E. Open peer review finds more takers. Nature International Weekly Journal of Science, London, Nov. 2016.

 

DeCOURSEY, T. Perspective: the pros and cons of open peer review. Nature International Weekly Journal of Science, London, June 2006.

 

FORD, E. Defining and characterizing open peer review: a review of literature. Journal of Scholarly Publishing, Toronto, v. 44, n. 4, p. 311-326, July 2013.

 

GARCIA, J. C. R.; TARGINO, M. G. O futuro da open peer review na Ciência da Informação. In: ENCONTRO NACIONAL DE CIÊNCIA DA INFORMAÇÃO, 19., 2018, Londrina. Anais [...] Londrina: UEL, 2018. p. 1-20.

 

GARCIA, J. C. R.; TARGINO, M. G. Open peer review sob a ótica dos editores das revistas brasileiras de Ciência da Informação. In: ENCONTRO NACIONAL DE CIÊNCIA DA INFORMAÇÃO, 18., 2017, Marília. Anais [...] Marília: UNESP, 2017. p. 1-21.

 

GODLEE, F. Making reviewers visible openness, accountability, and credit. The Journal of the American Medical Association, Illinois, v. 287, n. 21, p. 2762-2765, June 2002.

 

MARCONI, M. A.; LAKATOS, E. M. Metodologia do trabalho científico: projeto de pesquisa, pesquisa bibliográfica, teses, dissertações, trabalhos de conclusão de curso. 7. ed. São Paulo: Atlas, 2015.

 

MELERO, R.; LOPEZ-SANTOVEÑA, F. Referees’ attitudes toward open peer review and electronic transmission of papers. Sage Journals: Your Gateway to World-Class Research Journals, Thousand Oaks, v. 7, n. 6, p. 521-527, 2001.

 

PACKER, A. L.; SANTOS, S. Ciência aberta e o novo modus operandi de comunicar pesquisas – parte I. Blog Scielo em Perspectiva, São Paulo, ago. 2019.

 

PAVAN, C.; STUMPF, I. R. C. Avaliação pelos pares nas revistas de Ciência da Informação: procedimentos e percepções dos atores. Encontros Bibli: Revista Eletrônica de Biblioteconomia e Ciência da Informação, Florianópolis, v. 14, n. 28, p. 72-92, 2009.

 

PÖSCHL, U. Multi-stage open peen review: scientific evaluation integrating the strengths of traditional peer review with the virtues of transparency and self-regulation. Frontiers in Computational Neuroscience, Rockville, v. 6, n. 33, p. 1-16, July 2012.

ROSS-HELLAUER, T. What is open peer review?: a systematic review. F1000 Research: Open for Science, Rockville, v. 6, n. 5888, p. 1-30, Oct. 2017.

ROSS-HELLAUER, T.; DEPPE, A.; SCHMIDT, B. Survey on open peer review: attitudes and experience amongst editors, authors and reviewers. Plos One, San Francisco, p. 1-28, Dec. 2017.

 

SCHMIDT, B. et al. Ten considerations for open peer review. F1000 Research: Open for Science, Rockville, v. 7, n. 969, p. 1-11, Oct. 2018.

 

SHANAHAN, D.; OLSEN, B. Opening peer review: The democracy of science. Journal of Negative Results in Biomedicine, London, v. 13, n. 2, p. 1-2, 2014.

 

SILVA, S. F. R. Revisão por pares e tecnologias eletrônicas: perspectivas paradigmáticas nos procedimentos da comunicação científica. 2016. 200f. Tese (Doutorado em Ciência da Informação) – Universidade Federal da Bahia, Salvador, 2016.

 

TARGINO, M. G.; GARCIA, J. C. R.; SILVA, K. L. N. Avaliadores da Ciência da Informação frente à open peer review. Revista Interamericana de Bibliotecologia, Medellín, v. 43, n. 1, p. 1-20, jan. 2018.