Efetivação da open peer
review frente aos editores do Portal de Periódicos da Universidade Federal da Paraíba
Effectiveness of open peer review against the editors of
the Periodical Portal of the Federal University of Paraíba
Eficacia de la revisión por pares abierta en los editores del Portal de Publicaciones
Periódicas de la Universidad
Federal de Paraíba
Kleisson Lainnon Nascimento da Silva
Universidade
Federal da Paraíba (UFPB)
Brasil
Joana Coeli Ribeiro Garcia
Universidade
Federal da Paraíba (UFPB)
Brasil
Maria das Graças Targino
Universidade Federal do Piauí (UFPB)
Brasil
Submetido em: 04/05/2021
Aceito em: 14/06/2021
Publicado em: 28/10/2021
Licença:
Autor para
correspondência: Kleisson Lainnon Nascimento da Silva
E-mail: kleissons@gmail.com
ORCID: https://orcid.org/0000-0001-6211-2372
Como citar
este artigo:
SILVA, Kleisson
Lainnon Nascimento da; GARCIA, Joana Coeli Ribeiro; TARGINO, Maria das Graças. Efetivação da open peer review frente
aos editores do Portal de Periódicos da Universidade Federal da Paraíba
REBECIN, São Paulo, v. 8, edição especial, p. 1-12, 2021.
DOI: 10.24208/rebecin.v8i.281
RESUMO
Investiga-se a aquiescência da open
peer review (OPR) dentre os editores do Portal de Periódicos da
Universidade Federal da Paraíba (UFPB), cujos títulos operam sob a égide das
arbitragens cegas. São objetivos operacionais: analisar
a disponibilidade da avaliação aberta pelas revistas da UFPB; avaliar o
conhecimento dos editores no que respeita às práticas de revisão aberta;
identificar os fatores que contribuem e/ou dificultam sua adoção. De
caráter descritivo e abordagem quanti-qualitativa, utiliza-se a pesquisa survey
como recurso investigativo. O universo da pesquisa compreende os 70 periódicos
afiliados à Universidade. Em se tratando da existência de títulos anacrônicos, selecionaram-se
apenas os itens conceituados de A1 a B5 pelo sistema Qualis da Coordenação de
Aperfeiçoamento de Pessoal de Nível Superior (Capes), com histórico de
publicação em vigor, resultando em amostra de 46 itens. A coleta de dados
ocorreu mediante envio de questionário eletrônico, em intervalos sistemáticos,
aos respectivos editores, totalizando 14 (31,11%) réplicas. Dentre os
resultados, prevalece o interesse em experienciar a OPR, embora, curiosamente, não
tenham conhecimento sobre a OPR. No que corresponde aos contributos, ressaltam-se
a interlocução entre avaliador(es) e avaliado(s) e a disponibilização de políticas
de avaliação aberta. Em contrapartida, o forte apego à blind review
constitui obstáculo ao novo método de avaliação científica.
Palavras-Chave: Avaliação
aberta; Open peer review; Periódicos científicos; Comunicação científica;
Ciência aberta.
ABSTRACT
It
investigates the open peer review (OPR) acceptance among the editors of the
Portal of Journals of the Federal University of Paraiba (UFPB), whose titles
operate under the aegis of blind arbitration. The operational objectives are: to analyze the availability of open evaluation by UFPB
journals; to assess the knowledge of the evaluators with respect to open review
practices; to identify the factors that contribute for (or not) its adoption. With
a descriptive character and quantitative and qualitative approach, the survey
research is used as an investigative resource. The research universe refers
to the 70 journals maintained by the UFPB. In the case of the existence of
anachronistic titles, only items rated from A1 to B5 were selected by the
Qualis system of the Coordination for the Improvement of Higher Education
Personnel (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, Capes),
with an effective publication history, resulting in a sample of 46 items. Data
collection occurred by electronic questionnaires sent at systematic intervals
to the respective editors, totaling 14 (31.11%) responses. Among the results,
the interest in experiencing OPR prevails, although, curiously, they do not
have a lot of knowledge about OPR. Regarding the contributions, the dialogue
between the evaluator (s) and the evaluated one (s) and the availability of
open evaluation policies are highlighted. On the other hand, the strong
attachment to blind review is an obstacle to the new method of scientific
evaluation.
Keywords: Open evaluation; Open
peer review; Scientific journals; Scientific
communication; Open science.
RESUMEN
Se investiga la aceptación de la revisión por pares abierta (RPA)
entre los editores del Portal de Publicaciones
Periódicas de la Universidad Federal de Paraíba (UFPB), cuyos títulos funcionan bajo la égida de árbitros ciegos. Los objetivos operativos son: analizar la disponibilidad de la revisión abierta por parte de las revistas de la UFPB; evaluar el conocimiento de los editores respecto a las prácticas de revisión abierta; identificar los factores que contribuyen y/o dificultan su adopción. De carácter descriptivo y enfoque cuanti-cualitativo, se utiliza la investigación por encuesta como recurso
de investigación. El universo
de la investigación comprende
las 70 revistas afiliadas a
la Universidad. En vista de la existencia
de títulos anacrónicos, sólo se seleccionaron los artículos clasificados del A1 al
B5 por el sistema Qualis de
la Coordinación para el Perfeccionamiento
del Personal de Nivel Superior (Capes), con un historial
de publicación actual, lo que dio
como resultado una muestra de 46 artículos. La recogida de datos se realizó mediante el envío de un cuestionario electrónico a intervalos
sistemáticos a los respectivos
redactores, que sumaron 14
(31,11%) réplicas. Entre los resultados,
prevalece el interés por experimentar el OPR, aunque, curiosamente, no tienen conocimiento del mismo. En cuanto a las aportaciones, destacan la interlocución entre evaluador(es)
y evaluado(s) y la disponibilidad
de políticas de evaluación abiertas. Por otra parte, el fuerte apego a la revisión ciega constituye un obstáculo para el nuevo método de
evaluación científica.
Palabras
clave: Evaluación abierta; Revisión por pares abierta; Revistas científicas; Comunicación científica; Ciencia abierta.
A avaliação por pares aberta, doravante open peer review,
open review ou OPR, consolida-se no contexto da comunicação científica nos
países anglo-saxões, conduzida pelas Ciências Exatas, Naturais, da Saúde e
Informacionais na expectativa de minimizar os óbices fomentados pela
obscuridade, característica mor que tipifica as arbitragens convencionais (single
e double blind peer review).
Nos
últimos anos, o contexto da comunicação científica protagoniza pesquisas de
cunho teórico e pragmático que norteiam não só a projeção dos aspectos da OPR
enquanto prática conflitante do modelo tradicional, mas sua efetivação visando
estabelecer colaboração entre autores, avaliadores, editores e comunidade, conforme
o corolário da open science (OS). Para Packer e Santos (2019), a OS
favorece a cooperação entre pares nas pesquisas científicas, mediação, democratização,
acesso e uso, e reprodutibilidade de dados científicos.
Quer dizer, a OPR atua
como divisor d’água no cenário editorial, rompendo os paradigmas concernentes à
blind review graças aos benefícios que resultam em visibilidade para os
títulos, como: chance de feedbacks coerentes, emitidos nos prazos das
revistas; coerência de pareceres dos avaliadores no trâmite. A Ciência da Informação
(CI) acompanha os constantes avanços das últimas décadas em prol da OPR,
consolidando-a como campo de estudo adjunto à comunicação científica.
A CI é pioneira nos
estudos com vistas a verificar o nível de aceitação e de conhecimento a
respeito da OPR, no Brasil. Destaca-se a proposta apresentada no XVIII
Encontro Nacional de Pesquisa em Ciência da Informação (ENANCIB), em que Garcia
e Targino (2017), por survey, constatam que, dentre 15 editores-pesquisados
em CI, oito (67%) aceitam aderir à OPR, a partir da transparência do fluxo
avaliativo e da qualidade do processo per se e da reputação dos veículos
de comunicação. Em 2018, as autoras recorrem a coleta similar analisando a
perspectiva de 709 avaliadores de 34 revistas. Dentre 189 respondentes, 66,6% são
favoráveis à OPR.
A
monografia do Bacharelado em Biblioteconomia da UFPB, intitulada: “A visão dos editores do Portal de Periódicos da UFPB sobre
a open peer review”, verifica a probabilidade de os editores
adotarem a OPR. E, objetivos operacionais: analisar o uso da avaliação aberta pelos
periódicos; avaliar o conhecimento dos editores quanto à
revisão aberta; identificar o que contribui e dificulta sua adoção.
2 PROCEDIMENTOS METODOLÓGICOS
A pesquisa tem enfoque
descritivo, abordagem quanti-qualitativa, recorre ao survey, para mensurar
as razões e a ocorrência de determinado fenômeno. No caso, investigar a
aquiescência da OPR dentre os editores do Portal de Periódicos da UFPB, cujos
títulos operam, predominantemente, sob a égide das arbitragens cegas.
Arrola 70 publicações hospedadas
no Portal, incluindo itens obsoletos sumarizados em índice, constando como títulos
interrompidos. Delimitam-se para seleção da amostra: fluxo de publicação
corrente e estratificação de A1 a B5, conforme avaliação da Capes. Indo além, a
inserção dos títulos compreende o mapeamento dos canais alinhados aos parâmetros
preestabelecidos, cadastrando-se, então, os endereços virtuais dos
editores-chefes. Por fim, a verificação do Qualis pela plataforma
Sucupira, ferramenta de dados da Capes, agindo como base de referência do
Sistema Nacional de Pós-Graduação (SNPG), totalizando 46 títulos.
Quanto à coleta dos dados,
recorre-se ao questionário por se adequar ao perfil da pesquisa e ao método
investigativo. O instrumento, sob o Google Forms, lista 14 perguntas prescindindo
da aplicação de pré-teste em razão das pesquisas empreendidas por Garcia e
Targino (2017, 2018). A emissão do questionário inicia em 10 de fev. e finda em
2 de mar. de 2018, com reenvio a cada 10 dias. O total de respondentes é de 14
editores, representando 31,11%, percentual superior ao previsto por Marconi e
Lakatos (2015).
3 RESULTADOS
Sintetizam-se
aqui os resultados da pesquisa através da análise dos dados coletados alusivos
ao posicionamento dos editores dos títulos aptos à OPR.
3.1 Peer review: facetas e características
Dentre as arbitragens existentes, no caso do Portal de
Periódicos da UFPB, condizem com as modalidades de avaliação de Melero e
Lopez-Santoveña (2001) e Pavan e Stumpf (2009), que apontam as alternativas: single,
double blind e OPR. Godlee (2002) e Silva (2016) justificam a prevalência
da blind review (13 = 93%), argumentando que editores, autores e
árbitros optam pela avaliação em duas vertentes – single e double
– porque acreditam que elas representam o equilíbrio da comunicação científica.
Por isso, é adotada, com frequência, por agências de fomento e processos
seletivos empreendidos por instituições de pesquisa. Um (7%) editor menciona a OPR,
como ruptura no sistema de avaliação. Para DeCoursey (2006) e Callaway (2016), a
transição do modelo de arbitragem promove a melhoria das avaliações, reconhecendo
que a análise ainda é incipiente, na prática da OPR.
Sobre os traços da OPR,
recorrem-se à Ford (2013) e Ross-Hellauer e Deppe e Schmidt (2017). O panorama
de indefinições, propõe delinear características alusivas à OPR diferenciando-as
das convencionais. A intenção do paper é identificar alternativas
pertinentes à realidade dos pesquisados, a quem é permitido assinalar mais de
uma alternativa. Nota-se, então, que há dissimetria em relação aos primeiros traços
mais recorrentes: avaliação mediada pelo editor soma seis indicações; avaliação
assinada, cinco; avaliação tornada pública, quatro; avaliação transparente, três;
e a avaliação por grupo ampliado de juízes, duas demarcações. A multiplicidade
de opções influencia positivamente a abertura da avaliação por pares.
A avaliação mediada pelo
editor justifica-se pela tendência em ambas avaliações,
de o editor assumir o posto de regente arbitrário, consoante Ross-Hellauer
(2017). Os itens incidentes – avaliação assinada, avaliação tornada pública,
avaliação transparente e avaliação síncrona – tem 14 indicações, indicando interesse
pela abertura e divulgação da avaliação por pares. A avaliação pré-publicação, avaliação síncrona e
avaliação pós-publicação, somam três indícios.
3.2 Fatores contribuintes para a adoção da open peer review
A pesquisa estimula os editores a se pronunciar sobre aspectos
propícios à adoção da OPR. Das 14 opiniões, 10 (73%) correspondem a não
posicionamentos, outros três (29%) editores lançam mão de suas convicções. Com
veemência, um (7%) dos pesquisados julga inútil a adoção de novo modelo de
arbitragem, o que desconstrói a interlocução entre os atores (ao diálogo
protagonizado por autores, avaliadores e editores) como elemento valioso para a
arbitragem, caracterizada pela socialização de saberes visando ao constructo
científico e à divulgação de resultados, cuja origem remonta às redes entre
pares (SCHMIDT et al., 2018).
Pöschl (2012) reforça que
a troca aberta de argumentos representada por avaliações assinadas e
autenticadas, deve ser fomentada, vez que desperta o interesse da comunidade e
da sociedade civil. Destaca-se o depoimento do entrevistado n. 9: “desde que
haja concordância dos autores, o contato direto entre avaliador e autor poderia
acelerar o processo e a avaliação, pois considero que um dos maiores entraves é
a demora dos avaliadores em darem sua resposta”.
As diretrizes para a OPR,
são orientações que conduz os árbitros às boas práticas de avaliação, como
procedimento íntegro e construtivo. A incipiência deste modelo, embora valorada
por editores e avaliadores da CI, segundo Targino e Garcia e Silva (2018),
advém da carência de regime metodológico que norteie os avaliadores à prática
OPR. Na concepção do entrevistado n. 13: “seria interessante que os periódicos
e as editoras disponibilizassem políticas e procedimentos, normas e regras
claras sobre como proceder a OPR”.
3.3 Fatores negativos para a adoção da open peer review
Quando
convidados a assinalar os empecilhos inerentes à anuência da OPR, menciona-se a
abstenção de sete (50%) editores, que não se posicionam e um (7%) que desconhece
obstáculos à avaliação aberta. Na verdade, no universo editorial de periódicos,
há fatores intervenientes e negativos, tais que: resistência de autores e
avaliadores, pela indisponibilidade ou receio da exposição e críticas dos pares.
Para Schmidt et al. (2018) concorda com Shanahan e Olsen (2014), sobre a
indisponibilidade de árbitros, sobretudo, os juniores, por se sentirem
desconfortáveis para avaliar quando há posições definidas por cientistas renomados.
Não temos uma equipe de trabalho
disponível e especializada para se dedicar a mais uma tarefa. De preferência,
as colaborações devem ser avaliadas antes de sua publicação por especialistas,
considerando sua qualidade, interesse e valor, sem o risco de pressão
psicológica ou da popularidade do autor (entrevistado n. 4).
Os conflitos pessoais são
atitudes repressivas de árbitros ou autores, que em posição de supremacia,
endereçam aos interlocutores críticas não convencionais. Autores internacionais,
exempli gratia, Amsen (2014), Ford (2013) e Ross-Hellauer (2017) contextualizam
a improbabilidade da blind review como imperfeita, porquanto avaliadores inclinam-se a rejeitar ou a
aceitar resultados por motivos não científicos. Como consequência, é possível
que, como previsto por depoentes inflexíveis, a adoção da OPR “[...] fomente os
conflitos pessoais” (entrevistado n. 6).
DeCoursey (2006) alega
que a OPR identifica a má conduta dos interessados em revogar pesquisas. Acrescenta
que a inaptidão dos autores é incomparável à negligência dos árbitros quanto a
má ciência. O entrevistado n. 10 argui que a OPR “pode ser algo endógeno e
parcial”, revertendo-se em relações partidárias.
4 CONSIDERAÇÕES FINAIS
Conclui-se
que a pesquisa alcança seu objetivo macro. Constata que a reação dos editores (oito = 57%) à OPR prevalece neste “jogo de bem me quer
/ mal me quer” em oposição a seis (43%) outros irredutíveis, considerando a blind
review como a melhor alternativa. Um dos depoentes afirma, erroneamente, utilizar
a OPR em seu métier, pois
considera que os agradecimentos endereçados aos árbitros no final da publicação
se configuram como um dos protocolos da OPR.
Os
questionamentos subjetivos instigam a compreensão dos declarantes no que condiz
à revisão aberta com facetas e características. A priori, constata-se
que avaliação mediada pelo editor, avaliação assinada, avaliação tornada
pública, avaliação transparente, avaliação ampliada por grupo de juízes – apresentam
quantitativo superior de menções identificadas por Ford (2013).
Quanto
às contribuições e aos empecilhos, prevalece um baixo índice de demarcações, traduzindo-se
em conhecimentos prévios e rasos, sobre o tema. Reitera-se que a OPR é um modelo
ainda não aplicado nem no contexto nacional nem tampouco regional, com alguns
protótipos, a exemplo da revista “Ciência da Informação em Aberto” (em
incubadora no portal da UFPB), que propõe avaliação mediada pelo editor e
avaliação tornada pública sugerindo que o fórum entre autor(es) e avaliador(es)
seja anexado ao final do artigo.
O estudo realizado com os
editores do Portal de Periódicos da UFPB é um marco no modus operandi, servindo
de referência às instituições de ensino superior (IES), ao apresentar e oferecer
um processo editorial acessível e transparente que estimula a colaboração,
interação e discussão na academia. Cabe à gestão do Portal de Periódicos estimular
metas estratégicas e implementá-las, com vistas a inserção da UFPB no cenário editorial
contemporâneo.
REFERÊNCIAS
AMSEN, E. What is open peer
review? F1000 Research Blog, Rockville, May 2014.
CALLAWAY, E. Open peer review
finds more takers. Nature International Weekly Journal of Science,
London, Nov. 2016.
DeCOURSEY, T. Perspective: the
pros and cons of open peer review. Nature International Weekly Journal of
Science, London, June 2006.
FORD, E. Defining and
characterizing open peer review: a review of literature. Journal of Scholarly Publishing, Toronto, v. 44, n. 4, p. 311-326, July 2013.
GARCIA,
J. C. R.; TARGINO, M. G. O futuro da open
peer review na Ciência da Informação. In: ENCONTRO NACIONAL DE
CIÊNCIA DA INFORMAÇÃO, 19., 2018, Londrina. Anais [...] Londrina: UEL,
2018. p. 1-20.
GARCIA,
J. C. R.; TARGINO, M. G. Open peer review sob a ótica dos editores das revistas
brasileiras de Ciência da Informação. In: ENCONTRO NACIONAL DE CIÊNCIA
DA INFORMAÇÃO, 18., 2017, Marília. Anais [...] Marília: UNESP, 2017. p.
1-21.
GODLEE, F. Making reviewers
visible openness, accountability, and credit. The Journal of the American
Medical Association, Illinois, v. 287, n. 21, p. 2762-2765, June 2002.
MARCONI,
M. A.; LAKATOS, E. M. Metodologia do trabalho científico: projeto de
pesquisa, pesquisa bibliográfica, teses, dissertações, trabalhos de conclusão
de curso. 7. ed. São Paulo: Atlas, 2015.
MELERO, R.; LOPEZ-SANTOVEÑA,
F. Referees’ attitudes toward open peer review and electronic transmission of
papers. Sage Journals: Your Gateway to World-Class Research Journals,
Thousand Oaks, v. 7, n. 6, p. 521-527, 2001.
PACKER,
A. L.; SANTOS, S. Ciência aberta e o novo modus operandi de comunicar
pesquisas – parte I. Blog Scielo em Perspectiva, São Paulo, ago. 2019.
PAVAN,
C.; STUMPF, I. R. C. Avaliação pelos pares nas revistas de Ciência da
Informação: procedimentos e percepções dos atores. Encontros Bibli:
Revista Eletrônica de Biblioteconomia e Ciência da Informação, Florianópolis,
v. 14, n. 28, p. 72-92, 2009.
PÖSCHL, U. Multi-stage open
peen review: scientific evaluation integrating the strengths of traditional
peer review with the virtues of transparency and self-regulation. Frontiers
in Computational Neuroscience, Rockville, v. 6, n. 33, p. 1-16, July 2012.
ROSS-HELLAUER, T. What is open
peer review?: a systematic review. F1000 Research:
Open for Science, Rockville, v. 6, n. 5888, p. 1-30, Oct. 2017.
ROSS-HELLAUER, T.; DEPPE, A.;
SCHMIDT, B. Survey on open peer review: attitudes and experience amongst
editors, authors and reviewers. Plos One, San Francisco, p. 1-28, Dec.
2017.
SCHMIDT, B. et al. Ten
considerations for open peer review. F1000 Research: Open for Science,
Rockville, v. 7, n. 969, p. 1-11, Oct. 2018.
SHANAHAN, D.; OLSEN, B.
Opening peer review: The democracy of science. Journal of Negative Results
in Biomedicine, London, v. 13, n. 2, p. 1-2, 2014.
SILVA,
K. L. N. A visão dos editores do portal de periódicos da Universidade
Federal da Paraíba sobre a open peer review. 2018. 89f. Trabalho de
Conclusão de Curso (Bacharelado em Biblioteconomia) – Universidade Federal da Paraíba,
João Pessoa, 2018.
SILVA,
S. F. R. Revisão por pares e tecnologias eletrônicas: perspectivas
paradigmáticas nos procedimentos da comunicação científica. 2016. 200 f. Tese
(Doutorado em Ciência da Informação) – Universidade Federal da Bahia, Salvador,
2016.
TARGINO,
M. G.; GARCIA, J. C. R.; SILVA, K. L. N. Avaliadores da Ciência da Informação
frente à open peer review. Revista Interamericana de Bibliotecologia,
Medellín, v. 43, n. 1, p. 1-20, jan. 2018.