quinta-feira, 23 de setembro de 2010

Quem Julga os Julgadores?

Para começar esse texto quero deixar claro que até o momento tenho 35 artigos aceitos/publicados (15 internacionais e 20 nacionais). Dado que terminei meu doutorado em dezembro de 2000, isso implica numa média superior a 3 artigos aceitos por ano. Na área de economia essa média é excelente. Em relação a participação em congressos, já tive tantos aceites que nem os incluo mais no meu cv lattes. Para cada um desses artigos aceitos devo ter tido uns dois (ou mais) rejeites. Isto implica que já devo ter recebido umas 70 rejeições (também já parei de contar). Isto é, de artigos aceitos e rejeitados eu entendo.

Um detalhe que tem me chamado a atenção é a queda gigantesca de qualidade dos pareceres em revistas nacionais nos últimos dois anos. Quando se submete um artigo para uma revista, dois pareceristas (julgadores) emitem um parecer (sua opinião técnica) sobre a qualidade do artigo, e dizem se o mesmo deve ou não ser publicado. Dando minha opinião pessoal, noto que a qualidade desses pareceres têm caido muito. O exemplo mais claro é aquele parecerista que rejeita um paper com base em testes de raiz unitária (como se só ele conhecesse esses testes), mas se esquece que em análises bayesianas este não é um problema sério. Outro caso é daqueles pareceristas que nitidamente não leem e rejeitam o artigo.

Mas por que a qualidade dos pareceres tem caido tanto nos últimos anos? Uma hipótese plausível bota a culpa no governo. Isto é, a CAPES aumentou a pontuação das revistas nacionais frente a revistas internacionais. Ao mesmo tempo, ter artigos publicados passou a ter cada vez mais peso tanto em pedidos de recursos, como na contratação de professores, ou na avaliação dos centros. Em resumo: passou a ser muito vantajoso passar a submeter artigos para revistas brasileiras, ao invés de submeter artigos para revistas no exterior. Esse movimento intensivo em direção a revistas nacionais esgotou o números de pareceristas disponíveis. Isto é, esta cada vez mais difícil encontrar alguém para julgar artigos. Com essa escassez de pareceristas, os editores das revistas são obrigados a recorrer, cada vez mais, a pareceristas de qualidade duvidosa.

Outra explicação possível refere-se a questões políticas: revistas de determinados centros teriam menos incentivo para aceitarem artigos de outros centros (pois isso pode afetar a nota relativa do centro). Além disso, os pareceristas entendem que ao aceitarem um artigo para uma revista nacional, sobra-se menos espaço para ele e seus colegas nessa mesma revista.

Para resolvermos os problemas acima existem duas soluções: exigir que os artigos sejam escritos em inglês (pois isso aumenta o pool de pareceristas disponíveis); e/ou aumentar o número de revistas nacionais. De qualquer maneira, esse é um problema que me parece sério.

7 comentários:

Anônimo disse...

Por essas e outras todos deveriam fazer como a UCB e parar de escrever artigos, assim não se submeteriam a estas deficiências.

Erik Figueiredo disse...

Ou corrigir o peso dado aos periódicos internacionais...
O que se tem atualmente é a fórmula do "todo mundo dentro e pontuando". Com isso, temos um grande número de bolsistas de produtividade que ficam contando os pontos necessários para manter a bolsa ("se eu colocar mais 10 artigos no encontro da SOBER, eu a mantenho"). E ainda têm aqueles que maquiam o curriculo Lattes. Para esses trabalho enviado é trabalho aceito para publicação.

Anônimo disse...

"Com essa escassez de pareceristas, os editores das revistas são obrigados a recorrer, cada vez mais, a pareceristas de qualidade duvidosa."

Adolfo,

Sabia que as universidades públicas estão recorrendo aos seus alunos de Mestrado e Doutorado para serem pareceristas de suas revistas? O que acha disso?

Abs.

Teresa disse...

Assisti o seu programa na TV Câmara, fiquei surpresa como o sr. está desinformado sobre o Brasil, estamos super bem, num patamar elevado, vencemos a crise, enfim o que o sr. quer mais, estamos sim no rumo certo, segundo o Ipea e IBGE.
Gostaria de sua resposta.
Ah! Eu voto Dilma!

Anônimo disse...

Olá Adolfo,

compartilho da sua visão a respeito da queda de qualidade dos pareceres, mas tenho uma vi~so diferente sobre o tema. Do meu ponto de vista, o problema é estrangulamente de oferta: o número de pareceristas qualificados é particamente o mesmo no Brasil, enquanto o número de artigos submetidos as revistas nacionais aumentou astronomicamente devido as pressões da CAPES para aumento da produção cientifica (o que eu acho algo positivo).

Para voce ter uma idéia do problema, só em 2010 eu devo ter concedido en 15 pareceres para revistas nacionais. É um trabalho maçante, time-consumig e não remunerado. Eu só aceito dar esse grande número de pareceres porque (i) envio, em média, 5 artigos por ano para revistas nacionais (logo, seu eu quero que avaliem o meu artigo tb preciso avaliar o artigo dos outros); (ii) sou bolsista do CNPq e isso faz parte do meu trabalho; (iii) é uma forma de saber "on-line" o que meus colegas estão produzindo.

Acho, no entanto, que as revistas nacionais precisam passar por uma maior profissionalização. Isso implica em PAGAR uma remuneração para os pareceristas, o que exigiria, como contra-partida, uma taxa de submissão de artigos para as revistas. Esse sistema desestimularia a submissão de artigos ruins e estimularia a elaboração de pareceres, desafogando os pareceristas que, como eu, estão sobre-carregados de trabalho.

Abraços

Oreiro

Irineu de Carvalho Filho disse...

Caro Adolfo,

Prepara-te então que eu logo mando algum artigo para você dar o parecer.

Abraços,

Irineu

Roberto disse...

"Do meu ponto de vista, o problema é estrangulamente de oferta: o número de pareceristas qualificados é particamente o mesmo no Brasil, enquanto o número de artigos submetidos as revistas nacionais aumentou astronomicamente devido as pressões da CAPES para aumento da produção cientifica (o que eu acho algo positivo)".

Oreiro, acredito então que você e o Adolfo tenham a mesma opinião, pois essa é exatamente uma das hipóteses que ele colocou!

Google+ Followers

Ocorreu um erro neste gadget

Follow by Email