ARTÍCULO ORIGINAL

Políticas de avaliação e práticas de publicação nas Ciências da Saúde no Brasil

Políticas de evaluación y prácticas de publicación en las Ciencias de la Salud en Brasil

Health sciences evaluation policies and publication practices in Brazil

Alejandro Caballero Rivero^1* https://orcid.org/0000-0003-1061-0534

Raimundo Nonato Macedo dos Santos^{1 https://orcid.org/0000-0002-9208-3266}

Piotr Trzesniak^{1 https://orcid.org/0000-0002-2833-1923}

¹ Universidade Federal de Pernambuco (UFPE).

RESUMEN

Estudos teóricos sustentam a existência de culturas epistêmicas nas comunidades acadêmicas, bem como a influência que as políticas de avaliação exercem sobre elas. Este trabalho aprofunda a análise realizada pelos autores em estudos anteriores para melhorar a compreensão de mudanças nas práticas de publicação das Ciências da Saúde no Brasil entre 2000 e 2014. Pesquisa quantitativa-qualitativa, não experimental e longitudinal. Os dados de produção científica das Ciências da Saúde são coletados a partir do Diretório dos Grupos de Pesquisa do Conselho Nacional de Desenvolvimento Científico e Tecnológico e são representadas graficamente as séries históricas de artigos, monografias e trabalhos completos em anais, bem como as razões de artigos nacionais/internacionais e artigos/monografias, para identificar e comparar padrões. Os documentos das Comissões de Áreas (Capes) e dos Comitês de Assessoramento das Ciências da Saúde (CNPq) são analisados, identificando, examinando e classificando os critérios de avaliação utilizados. Os resultados indicam que os critérios de avaliação contribuem a promover mudanças nas práticas de publicação dos pesquisadores das Ciências da Saúde, especificamente, um aumento significativo na contribuição percentual de artigos internacionais e uma redução dos nacionais, das monografias e dos trabalhos completo em anais.

Palavras-chave: Culturas epistêmicas; práticas de publicação; políticas de avaliação; Ciências da Saúde; Brasil.

RESUMEN

Estudios teóricos fundamentan la existencia de culturas epistémicas en las comunidades académicas, así como la influencia que las políticas de evaluación ejercen sobre ellas. El presente trabajo profundiza los análisis realizados por los autores en estudios anteriores para mejorar la comprensión sobre los cambios ocurridos en las prácticas de publicación de las Ciencias de la Salud en Brasil entre los años 2000 y 2014. Se trata de una investigación cuantitativa-cualitativa, no experimental y longitudinal. Se colectan los datos de la producción científica de las Ciencias de la Salud a partir del Directorio de Grupos de Investigación del Consejo Nacional de Asesoramiento Científico y Tecnológico, y se representan gráficamente las series históricas de artículos, monografías y trabajos en anales, así como las razones de artículos nacionales/internacionales y artículos/monografías, para identificar y comparar patrones. Se analizan los documentos de las Comisiones de Áreas (Capes) y de los Comités de Asesoramiento de las Ciencias de la Salud (CNPq), y se identifican, examinan y clasifican los criterios de evaluación utilizados. Los resultados indican que los criterios de evaluación contribuyen a promover cambios en las prácticas de publicación de los investigadores de las Ciencias de la Salud, específicamente un aumento significativo de la contribución porcentual de los artículos internacionales y una reducción de los nacionales, de las monografías y de los trabajos completos en anales.

Palabras clave: Culturas epistémicas; prácticas de publicación; políticas de evaluación.; Ciencias de la Salud; Brasil.

ABSTRACT

Theoretical studies substantiate the existence of epistemic cultures in academic communities, as well as the influence that evaluation policies exert upon them. The present study reviews the analyses conducted by authors of previous research to improve understanding of the changes taking place in health sciences publication practices in Brazil between the years 2000 and 2014. A longitudinal non-experimental quantitative-qualitative study was conducted. Data about health sciences scientific production were collected from the Research Groups Directory of the National Council for Scientific and Technological Development, and a graphic representation is provided of the historical series of papers, monographies and studies contained in annals, as well as of the ratios of national/international papers and papers/monographies, with the purpose of identifying and comparing the patterns. An analysis was performed of documents from the Area Committees (Capes) and the Health Sciences Advisory Committees (CNPq), identifying, examining and classifying the evaluation criteria used. Results suggest that evaluation criteria contribute to foster changes in the publication practices of health sciences researchers, particularly a significant increase in the percentage of international papers and a decrease in national papers, monographies and full papers in proceedings.

Key words: epistemic cultures; publication practices; evaluation policies; health sciences; Brazil.

INTRODUÇÃO

Estudos sobre a sociologia do conhecimento científico ^(1-4) mostram a existência de culturas epistêmicas no interior das comunidades acadêmicas. Knorr-Cetina as define como "(...) those sets of practices, arrangements, and mechanisms bound together by necessity, affinity, and historical coincidence that, in a given area of professional expertise, make up how we know what we know. Epistemic cultures are cultures of creating and warranting knowledge".⁽³⁾ Conforme essa autora, as culturas epistêmicas são "máquinas de construção de conhecimento",⁽³⁾ i. e., combinações de elementos cognitivos, racionais ou técnicos (ex. natureza dos fenômenos estudados, objeto de estudo, metodologias, modelos, paradigmas teóricos) e sociais (ex. sistemas de avaliação, seleção de veículos de comunicação). As culturas epistêmicas estão enraizadas na noção de práticas; referem-se aos padrões e à dinâmica dos pesquisadores nas suas tarefas cotidianas, i.e., são normas ou convenções que regem a produção de conhecimento, e ser um cientista implica encaixar-se nessas práticas.

A influência dos elementos técnicos, racionais ou cognitivos é indicada por diversos estudos^(5,6,7,8)que mostram consenso sobre a existência de duas grandes culturas epistêmicas: ciências "duras" (Exatas, Naturais, Médicas, Engenharias) e ciências "brandas" (Humanas, Sociais, Artísticas). As "duras" lidam com fenômenos do mundo físico (fora da mente humana), que são mais universais, predominantemente determinísticos (é possível estabelecer relações direta de causa efeito entre as variáveis envolvidas) e podem ser observados e verificados por meio de experimentos; consequentemente, é mais simples alcançar consenso, bem como o surgimento de paradigmas teóricos dominantes. Já as "brandas" estudam estados mentais ou condições para esses estados, fenômenos majoritariamente estocásticos (a relação causa-efeito é mediada probabilisticamente) e são bastante dependentes do contexto sociocultural; portanto, resulta mais difícil alcançar consenso e surgem diversos paradigmas teóricos.

Em consequência, os métodos e teorias que funcionam no interior das ciências "duras" e "brandas" diferem, o que se reflete na forma de comunicar os resultados de pesquisa. ^(8-12) As "duras" trabalham sob um paradigma teórico-metodológico dominante, suas pesquisas são menos flexíveis, mais quantitativas e rigorosas, comunicam seus resultados por meio de uma linguagem altamente codificada, que utiliza sistemas de símbolos uniformes; logo, produzem conhecimento a uma velocidade superior, exigindo uma atualização mais rápida dos pesquisadores. Os artigos respondem melhor a essas exigências: são publicações em formato curto, padronizado, sintéticas, possibilitando uma redação, publicação e leitura mais rápidas; a difusão periódica permite uma rápida atualização e a ampla divulgação atinge um público mais internacional.

Por sua parte, as "brandas", ao estudarem fenômenos estocásticos, e-mais dependentes do contexto local ou regional, desenvolvem pesquisas sob a influência de diversas correntes teóricas, com um enfoque mais qualitativo, comunicando seus resultados por meio de uma linguagem menos codificada e uniformizada, que exige maior elaboração e argumentação e produzindo conhecimento a uma velocidade inferior. As monografias respondem melhor a essas exigências: são publicações mais longas, sua escrita, edição e leitura levam mais tempo; seu grau de atualização é menor; sua disseminação não atinge o nível da dos artigos, o que as faz mais apropriadas para expor conhecimentos mais complexos e sedimentados, que demandam mais espaço.

Como resultado, conformam-se duas hiperáreas (aglomerações de grandes áreas): “duras” (Exatas, Naturais, Médicas, Biológicas, Engenharias), que comunicam seus resultados de pesquisa, predominantemente, por meio de artigos em periódicos (~6,5 a 8,5 artigos para cada livro/capítulo); "brandas" (Sociais, Humanas, Linguística, Literatura, Arte) que manifestam maior equilíbrio na produção de artigos e monografias (~0,8 a 1,5 na mesma razão).^(9-11,13-15)

No entanto, o componente social das culturas epistêmicas também desempenha um papel essencial. A opção por um ou outro veículo de comunicação não depende, unicamente, dos elementos racionais, técnicos ou cognitivos, mas também dos sociais, principalmente, da obtenção de reconhecimento dos pares e das pressões externas vinculadas à avaliação pelas instituições empregadoras ou de fomento. Como afirma Knorr-Cetina,⁽¹⁾ a noção de prática enfatiza os atos de criação de conhecimento, incluindo como os pesquisadores geram e "negociam" seus resultados de investigação. A perspectiva de "negociação" também é mencionada por Bourdieu⁽¹⁶⁾ quando assevera que o comportamento dos cientistas responde às noções de "capital científico acumulado" e "lucro científico"; os investigadores buscam a satisfação pessoal e o sucesso profissional formando alianças intelectuais com colegas para a obtenção de reconhecimento, status e poder, sob a forma de publicações, financiamento, etcétera.

Os sistemas que determinam o financiamento à pesquisa e o reconhecimento com base no desempenho acadêmico influenciam as práticas de publicação de duas formas. Primeiro, levam os investigadores a considerar a obtenção de bons resultados nas avaliações como um fim que precisam atingir a qualquer preço; o vínculo da reputação/financiamento com o número de publicações os incentiva a publicar mais em detrimento da qualidade.⁽¹⁷⁾ Segundo, quando, induzidos pelos critérios de avaliação, os pesquisadores introduzem mudanças nas suas práticas de publicação. Conforme vários estudos,^(13,18,19) a ênfase no uso dos indicadores de citação dos periódicos indexados nas principais bases de dados comerciais como critérios de avaliação da pesquisa, particularmente o Fator de Impacto (FI) do Journal Citation Report (JCR), está promovendo mudanças nessas práticas, especialmente, uma concentração progressiva em artigos de revistas, incluso nas ciências "brandas". Os pesquisadores percebem que a publicação em periódicos de alto FI traz maiores recompensas do que a publicação em outros tipos de documentos (livros, capítulos, trabalhos em eventos) e passam a priorizá-la. Adicionalmente, Laudel e Glässer ⁽²⁰⁾ mostram que o contexto competitivo, no qual os pesquisadores atuam, faz com que utilizem tais indicadores para exibir seu desempenho, realimentando esse tipo de avaliação.

No entanto, apesar dos argumentos apresentados nos parágrafos anteriores, os principais órgãos de fomento à pesquisa no Brasil, a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), concentram sua atenção, predominantemente, em artigos veiculados em revistas e privilegiam o FI para construir o Qualis Periódicos (QP) e avaliar a produção intelectual de Programas de Pós-graduação (PPGs) e pesquisadores.⁽¹⁰⁾ Tal comportamento pode influenciar diferenciadamente as áreas do conhecimento, gerando distorções nos processos de avaliação, produção e publicação da ciência.^(21,22)

Em estudos anteriores^(9,10)utilizamos os dados do Diretório dos Grupos de Pesquisa (DGP) sobre os censos da produção científica dos pesquisadores doutores brasileiros no período 2000-2014, para identificar as práticas de publicação das oito grandes áreas de conhecimento do CNPq, agrupando-as em duas hiperáreas ("duras" e "brandas"), já aqui caracterizadas, conforme as suas similaridades. Nas primeiras, manifestou-se equilíbrio entre monografias, trabalhos completos em anais e artigos (predominando os nacionais). Já nas "duras", dominaram os artigos, majoritariamente os internacionais, observando-se uma diminuição significativa dos trabalhos em anais e um volume inexpressivo de monografias.

Nesse contexto geral, observou-se uma peculiaridade no padrão de publicação dos pesquisadores das Ciências da Saúde (CdS). Entre os censos 2000-2006, predominou a produção de artigos nacionais, porém, a partir de 2008, o incremento desses passou a ser inferior ao dos artigos internacionais, os quais vieram a tornar-se a principal forma de comunicação nos censos 2008-2014. Enquanto no censo de 2000 a razão entre artigos nacionais e internacionais era de três para dois, ela se inverte no de 2014, passando a ser de dois para três (anexo).

Este trabalho aprofunda as análises realizadas nos estudos anteriores,^(9,10) a fim de melhor compreender essa mudança. As discussões se apoiam, por uma parte, na representação gráfica das séries históricas da produção científica brasileira e na identificação e comparação de padrões nas práticas de publicação. Por outra, na identificação, classificação e análise dos critérios de avaliação utilizados na grande área das CdS. A seção 2 detalha os procedimentos metodológicos; a 3 analisa e discute os resultados e, na seção 4, apresentam-se as considerações finais.

MÉTODOS

Trata-se de um estudo quantitativo-qualitativo, não experimental e longitudinal. A pesquisa foi realizada em duas fases. Na primeira, foram coletados, processados e representados graficamente os dados da produção científica brasileira por tipo de documentos e grande área do conhecimento, a partir dos censos realizados pelo CNPq entre 2000 e 2014. Essa representação permitiu identificar, caracterizar e comparar as práticas de publicação das CdS e das hiperáreas "duras sem CdS" e "brandas". Na segunda fase foi realizada uma análise documental para identificar os critérios de avaliação utilizados pelas Comissões de Área (CAs) da Capes nas avaliações trienais dos PPGs (2010 e 2013), bem como dos documentos dos Comitês de Assessoramento (CAS) do CNPq para avaliar a concessão de bolsas de produtividade. Finalmente, esses critérios foram relacionados com os padrões identificados nas práticas de publicação. Os procedimentos são detalhados a seguir.

Coleta, processamento e representação gráfica da produção científica por tipo de documento

Para a seleção da fonte, a coleta dos dados, bem como a escolha e cálculo das variáveis representadas graficamente, partiu-se da metodologia utilizada nos estudos anteriores.^(9-10) Definem-se práticas de publicação como os modos particulares mediante os quais os pesquisadores comunicam os seus resultados. Trata-se de um fenômeno complexo, conformado por várias dimensões, as quais foram operacionalizadas por várias famílias de variáveis. Em quanto nos estudos anteriores foram utilizadas as famílias a, b e c, no presente trabalho adicionou-se uma quarta família (d):

a) Quantidade absoluta de cada um dos seguintes tipos de publicação: artigos nacionais (A_n); artigos internacionais (A_i); trabalhos completos em anais (T); capítulos de livros (M_c); e livros (M_l).

b) Quantidades absolutas totais: de artigos (A) (nacionais mais internacionais); de monografias (M) (livros mais capítulos); e de produção (P) (somas das quantidades de todos os produtos).

c) Contribuição percentual: de artigos nacionais (a _n); de artigos internacionais (a_i); de trabalhos completos em anais (t); de capítulos de livros (m_c); e de livros (m_l) para a produção total da área.

d) Razões: entre os totais de artigos e de monografias (R_A/M) e entre os totais de artigos nacionais e internacionais (R _An/Ai).

As variáveis do item a foram extraídas manualmente (em setembro de 2017) do DGP (http:/lattes.cnpq.br/web/dgp/producao-c-t-a), tabelas da Produção Científica, Tecnológica e Artística (CT&A) dos pesquisadores doutores brasileiros , disponíveis segundo o tipo de produção e a grande área do conhecimento (o sistema não oferece os dados por área ou subárea), e correspondem aos censos finalizados nos anos 2000, 2002, 2004, 2006, 2008, 2010 e 2014. A transferência dos dados para um documento Excel permitiu construir sete planilhas, uma para cada um desses censos, com auxílio das quais se calcularam as variáveis mencionadas nos itens b, c e d. Ainda utilizando Excel, construíram-se os gráficos das séries históricas das variáveis para cada grande área, e as hiperáreas "brandas", "duras" e "duras sem CdS". Destacam-se neste trabalho:

- Produção científica em artigos (nacionais + internacionais), monografias (livros + capítulos) e trabalhos completos em anais nas CdS e nas hiperáreas “brandas” (Sociais, Humanas, Linguística, Letras e Artes) e "duras sem CdS" (Extas e da Terra, Agrárias, Biológicas, Engenharias e Computação).

- Contribuições percentuais para a produção total de artigos (nacionais + internacionais), monografias (livros + capítulos) e trabalhos completos em anais nas CdS, e nas hiper-áreas "brandas" e "duras sem CdS".

Análise documental

A análise documental não foi realizada nos dois estudos anteriores. Agora é utilizada para caracterizar as avaliações dos bolsistas de produtividade, realizadas pelo CNPq, e a dos PPGs, realizadas pela Capes, na grande área das CdS. A busca dos documentos ocorreu em setembro de 2017, tendo-se recuperado: do CNPq (http://cnpq.br/criterios-de-julgamento/), os documentos dos CAS de Enfermagem; Farmácia; Medicina; Educação Física, Fonoaudiologia, Fisioterapia e Terapia Educacional; Odontologia; Saúde Coletiva e Nutrição, correspondentes às análises para a concessão de bolsas de produtividade no período 2015-2017; da Capes, os documentos das CAs de Educação Física; Enfermagem; Farmácia; Medicina I; Medicina II; Medicina III; Nutrição; Odontologia e Saúde Coletiva, correspondentes às avaliações trienais 2010 e 2013 (http://www.capes.gov.br/avaliacao/sobre-as-areas-de-avaliacao). Nos dois casos, não existiam outros documentos correspondentes ao período analisado.

Os documentos foram descarregados, lidos e analisados um por um, permitindo identificar e classificar os critérios de avaliação segundo o órgão de fomento (Capes ou CNPq), o período de análise (2010, 2013, 2015-2017) e a área de avaliação (CA ou CAS de Enfermagem, de Nutrição, etc.). Identificaram-se os tipos de publicações considerados nas avaliações (artigos, monografias ou trabalhos em anais) e os requisitos específicos por cada um. No caso do CNPq, os critérios ainda foram categorizados considerando o tipo de bolsista de produtividade PQ1A, PQ1B, PQ1C, PQ1D, PQ2; não foram considerados os bolsistas de produtividade de pesquisa sênior (PQ-Sr). No da Capes, tendo em vista que existiam dados das avaliações trienais de 2010 e 2013, analisou-se a existência de mudanças quantitativas ou qualitativas de uma para outra.

RESULTADOS E DISCUSSÃO

Padrões nas práticas de publicação

Nas figuras 1, 2, 3 e 4, são apresentadas as series históricas da produção absoluta e da correspondente contribuição percentual de artigos, monografias e trabalhos em anais, nas CdS e nas hiperáreas "duras sem CdS" e "brandas", respectivamente. Os dados encontram-se no anexo.

Fonte: Dados da pesquisa (2017).

Fig. 1. Produção em artigos, monografias e trabalhos em anais das
CdS(censos 2000-2014).

Fonte: Dados da pesquisa (2017).

Fig. 2 - Contribuição percentual de artigos, monografias e trabalhos
em anais para a produção total das CdS (censos 2000-2014).

Fonte: Dados da pesquisa (2017).

Fig. 3 - Produção em artigos, monografias e trabalhos em anais
das ciências "duras sem CdS" (censos 2000-2014).

Fonte: Dados da pesquisa (2017).

Fig. 4 - Contribuição percentual de artigos, monografias e trabalhos em
anais para a produção total das ciências "duras sem CdS"
(censos 2000-2014).

As figuras permitem identificar padrões similares nas práticas de publicação das CdS e das ciências "duras sem CdS" ao longo do período analisado Em ambos casos, os artigos constituem o principal tipo de produto, contribuindo majoritariamente e de forma crescente para a produção total. Nas CdS sua contribuição passou de 63 % no censo de 2000 para 79 % no censo de 2014 e nas ciências "duras sem CdS" de 51 % em 2000 para 63 % em 2014. Igualmente, a contribuição dos trabalhos em anais diminui sensivelmente em umas e outras; nas CdS decresceu de 20 % no censo de 2000 para apenas 7 % em 2014, ficando incluso abaixo das monografias; nas "duras sem CdS" o decrescimento passou de 42 % em 2000 para 28 % em 2014. Finalmente, a variação da contribuição das monografias é pouco acentuada; nas CdS oscila entre 14 -19 % e nas "duras sem CdS" entre 7-9 %.

Diferentemente, nas ciências "brandas" (Fig. 5, anexo), identifica-se um equilíbrio entre os três tipos de publicação. Artigos e trabalhos em anais alternam-se como dominantes, os primeiros contribuindo com 37-40 % da produção total nos censos de 2000–2004 e 2014 e os segundos respondendo por 40-42 % dessa produção entre 2006 e 2010. A contribuição das monografias é estável, mas bem mais significativa (26-28 %) do que nas "duras".

Fonte: Dados da pesquisa (2017).

Fig. 5 – Produção em artigos, monografias e trabalhos em anais
das ciências "brandas" (censos 2000-2014).

Apesar da similaridade nos padrões das CdS e da hiperárea "duras sem CdS", análises adicionais mostram que as práticas de publicação das primeiras não corresponderam fielmente aos das últimas. No anexo são apresentadas as razões R_A/M (entre os totais de artigos e monografias) e R_An/Ai (entre artigos internacionais e nacionais) para as CdS e as hiperáreas "duras sem CdS" e "brandas", respectivamente.

Nos censos 2000-2006 a razão R_A/M nas CdS apresenta um valor muito próximo a 3,60, ou seja, produziam ~3,50 artigos para cada livro ou capítulo, valor intermediário entre os das ciências "duras sem CdS" (média 6,6) e das "brandas" (média 1,4). A partir daí, passa a crescer, atingindo 5,78 em 2014, já bem próximo ao padrão das "duras"; i.e., a partir do censo de 2006, as CdS começam a mudar seu perfil de publicação, incrementando a produção de artigos mais significativamente do que a de monografias. Observe-se que a produção de artigos nas CdS cresceu de 104 806 no censo de 2006 para 260 543 no censo de 2014 (~249 %), enquanto a de monografias incrementou-se de 29 322 para 45 080 (~53 %) no mesmo período.

A orientação na publicação de artigos também sofreu uma mudança importante. Os dados da razão R_An/Ai nas CdS mostram que, nos censos 2000-2006, seu valor oscilou entre 1,20-1,90 (média 1,52, ou ~3 artigos nacionais para cada dois internacionais), valores distintos, tanto do padrão das "duras sem CdS" (média 0,75), quanto das "brandas" (média 6,09), mas refletindo uma característica típica dessas últimas: orientação majoritariamente nacional. Porém, também a partir do censo de 2006, os valores de R_An/Ai começaram a diminuir, indicando um crescimento mais acentuado da orientação internacional, atingindo 0,65 em 2014, equivalente ao valor médio das ciências "duras sem CdS" (média 0,66) e mais distante das "brandas" (média 5,98). Nesse período, enquanto a produção de artigos nacionais teve um incremento de ~79 %, passando de 57 141 (2006) para 102 309 (2014), a de artigos internacionais aumentou muito mais (~332 %), passando de 47 665 a 158 234.

A não correspondência das práticas de publicação das CdS com qualquer das duas hiperáreas ("duras sem CdS" ou "brandas") nos censos 2000-2006 sustenta-se devido a coexistência de áreas com culturas epistêmicas distintas (Medicina, Odontologia, Farmácia, Enfermagem, Nutrição, Saúde Coletiva, Fonoaudiologia, Fisioterapia e Terapia Operacional e Educação Física), o que acarreta a utilização de diferentes práticas de publicação.⁽²³⁾ As áreas médicas (ex. Medicina, Odontologia) lidam com objetos de estudo e utilizam ferramentas teórico-metodológicas mais afinadas com as das ciências "duras", priorizando a publicação de artigos. Outras áreas (ex. Saúde Coletiva, Educação Física) contemplam objetos de estudo mais vinculados a problemas sociais (ex. serviços de saúde, doenças de transmissão sexual), cujo desenvolvimento metodológico e conceitual recebe muitas contribuições das Ciências Sociais e Humanas; logo, apresentam maior equilíbrio na produção de artigos, trabalhos em anais e monografias. Carvalho e Manoel⁽²⁴⁾ mostram que, entre 2000-2003, Enfermagem, Educação Física, Fonoaudiologia e Saúde Coletiva dispunham de várias linhas de pesquisa voltadas para problemas sociais.

No entanto, esses argumentos são igualmente válidos para os censos de 2008-2014, quando se verifica a crescente aproximação das práticas de publicação das CdS aos das ciências "duras sem CdS". Evidentemente, as causas são multifatoriais e o presente trabalho não pretende dar uma resposta total a essa questão. Porém, a partir dos elementos teóricos já apresentados, é plausível que um dos fatores essenciais sejam as políticas de avaliação, hipótese que se discute a seguir, a partir dos resultados da análise documental.

Políticas de avaliação de Capes e CNPq

Tanto a Capes, quanto o CNPq avaliam a ciência brasileira; no entanto, a primeira tem um foco coletivo, pois avalia PPGs, enquanto o do CNPq é individual, dirige-se a investigadores. Os documentos das CA (Capes) indicam que são avaliadas cinco dimensões:

- Proposta dos PPGs: coerência; consistência; abrangência, atualização das áreas de concentração; linhas de pesquisa; projetos em andamento; proposta curricular; planejamento futuro do PPG; infraestrutura para ensino, pesquisa e extensão; autoavaliação.

- Corpo docente: perfil do corpo docente (titulação, experiência, número de docentes permanentes, etc.); dedicação dos docentes permanentes à pesquisa e ao ensino; distribuição das atividades de pesquisa e ensino entre os docentes permanentes; contribuição dos docentes permanentes para as atividades de pesquisa e de ensino (orientação, etcétera.).

- Corpo docente, teses e dissertações: relação entre o número de teses e dissertações defendidas e o corpo docente permanente; distribuição equilibrada das orientações (teses, dissertações) entre os docentes permanentes; qualidade das teses e dissertações considerando as publicações decorrentes (artigos, livros, etc.); proporção entre o tempo de formação e a obtenção do título de doutores e mestres.

- Produção intelectual: qualidade da produção intelectual dos docentes permanentes (artigos em periódicos qualificados, livros, etc.); distribuição equilibrada da produção dos docentes permanentes; produção técnica, patentes, etcétera.

- Inserção social: responsabilidade e compromisso do PPG com o desenvolvimento regional ou nacional; contribuição para a melhora da qualidade do ensino (contar com grupos de pesquisa, ações de divulgação educacional e científica, etc.); integração e cooperação com outros PPGs (projetos conjuntos de pesquisa, publicações conjuntas, organização de eventos, etc.); visibilidade e transparência das atividades dos PPGs (site com informações atualizadas).

O CNPq avalia pesquisadores que solicitam financiamento para pesquisa em diversas modalidades (produtividade em pesquisa, desenvolvimento tecnológico, etc.). Em particular, os pesquisadores que recebem financiamento na modalidade de produtividade são cientistas altamente reconhecidos em suas respectivas áreas de atuação, detentores de um capital científico significativo, razão pela qual são objeto de análise. São avaliadas quatro dimensões:

- Produção científica e inovação tecnológica: quantidade de publicações (artigos, trabalhos completos em anais de eventos, patentes, etcétera.).

- Formação de recursos humanos: supervisão de pós-doutorado; orientação de teses e dissertações; orientações em curso; participação em bancas.

- Projetos de pesquisa: direção e participação em projetos de pesquisa.

- Atuação relevante em C&T: membro de comissões e conselhos; prêmios e títulos; liderança científica; assessoria ad hoc; organização de eventos; coordenação de PPGs; pós-doutorado; inserção internacional; participação em atividades editoriais, de gestão científica ou de administração de instituições e núcleos de excelência.

Como acontece em outras grandes áreas, cada CA e CAS das CdS avalia essas dimensões de forma independente, atribuindo a cada uma um peso específico que varia (0 -100 %); porém, a produção científica é o elemento mais valorizado, alcançando 35-40 % nas CA e 50 -70 % nos CAS. A avaliação dessa última é realizada por meio de um grupo de ferramentas conhecidas como "família Qualis": Qualis Periódicos (QP) para a publicação de artigos; Qualis livros (RCL) para as monografias (livros, capítulos); Qualis Artístico (QA) para a produção artística (música, artes visuais, etc.)^25,26,27 e até 2009, Qualis Eventos (QE) para os trabalhos apresentados em uma seleção de congressos, workshops, etc.⁽²⁷⁾ Porém, tanto no caso da Capes, quanto do CNPq, manifesta-se o uso predominante da QP como ferramenta de avaliação.

A tabela 1 permite apreciar que, enquanto 100 % das CA consideraram os artigos nas avaliações dos PPGs em 2010 e 2013, com as monografias ou os trabalhos em anais de eventos a situação é diferente. Unicamente Educação Física, Farmácia e Saúde Coletiva (33 %) consideraram as monografias em 2010 e 2013; Enfermagem deixou de considerar as monografias em 2013; Nutrição foi criada só nessa avaliação. Deles, apenas Educação Física e Farmácia não estabeleceram requisitos para sua avaliação; Nutrição e Saúde Coletiva aceitam somente publicações de carácter científico; outros tipos de publicações (técnicas, divulgação, didáticas) não são consideradas. O resto das CA (67 %) considera as monografias como produção técnica ou outro tipo de produção e, portanto, não pontuam nas avaliações. A contraste se incrementa com os trabalhos em anais; nenhuma CA considera esse tipo de publicação.

Por sua vez, a tabela 2 mostra que, enquanto todos os CAS exigem que os pesquisadores tenham publicado uma quantidade específica de artigos, unicamente Saúde Pública e Nutrição aceitam monografias; porém, pontuam somente monografias publicadas por editoras universitárias ou comerciais de reconhecido prestigio. Nenhum CAS considera trabalhos em anais.

A discussão apresentada nos parágrafos precedentes mostra a preponderância atribuída aos artigos na avaliação das CdS, a relativa pouca importância que se confere às monografias e a desconsideração total dos trabalhos em anais. Esses elementos estão em concordância com os padrões percentuais de produção identificados e analisados na seção 3.1: crescimento mais acentuado da produção de artigos; produção estável, porém não muito representativa de monografias e; decrescimento rápido da contribuição dos trabalhos em anais.

O Qualis Periódicos: critérios e questões

A importância que se confere aos artigos implica que a forma de organização do QP influencia o comportamento dos pesquisadores. A classificação é organizada por cada CA e está disponível online através da plataforma Sucupira (https://sucupira.capes.gov.br/sucupira/). Fornece uma lista de periódicos nos quais os PPGs de determinada área realizaram um número mínimo de publicações. As revistas são enquadradas em estratos indicativos de qualidade - A1, o mais alto; A2; B1; B2; B3; B4; B5 e C. Cada estrato, atribui um certo número de pontos para cada artigo que foi publicado em um periódico que nele se insere (por exemplo, A1 = 100, A2 = 85, ..., B5 = 10), exceto o C, que pontua zero. A qualidade dos artigos é definida com base na classificação das revistas em que foram publicados e, somando-se a pontuação para todos os professores permanentes, tem-se a avaliação da produção científica do PPG nesse quesito.⁽²⁷⁾

Esse mecanismo promove a publicação em periódicos localizados nos estratos superiores do QP; quanto maior a quantidade de publicações de um PPG nesses estratos, maior a pontuação que o programa obterá na avaliação. Sob tal perspectiva, é fundamental delimitar claramente os estratos para poder realizar a classificação das revistas, e pontuar os artigos. Para isso, são consideradas, essencialmente, as quatro dimensões de qualidade dos periódicos científicos identificadas por Trzesniak:⁽²⁸⁾

- Técnico-normativa: obediência às normas técnicas (nacionais ou internacionais) que devem ser cumpridas pelos periódicos. Critérios: contar com ISSN; conselho editorial; editor responsável; política editorial; normas de apresentação dos artigos; oferecer informação sobre os autores, sua afiliação institucional, resumo, palavras-chave, etcétera.

- Finalidade da revista: garante que a revista atenda ao seu propósito com a maior qualidade possível. Critérios: revisão por pares; contar com Corpo Editorial Científico altamente qualificado, institucional e geograficamente diversificado; consultores ad hoc; apoio institucional; entre outros elementos.

- Processo produtivo: associado à execução de procedimentos editoriais de forma sistemática, completa, eficiente, eficaz e transparente. Critérios: contar com regulamento; parâmetros estabelecidos para a seleção de editores; formulários de revisão por pares; fluxograma do processo editorial; manual de procedimentos de qualidade; periodicidade regular, etcétera.

- Mercado: qualidade que autores, consumidores ou usuários atribuem aos periódicos. Critérios: uso de indicadores quantitativos de contagem de citações (FI do JCR, Índice h do Scopus, etc.); indexação em bases de dados de ampla visibilidade (WoS, Scopus, etc.); publicação em formato eletrônico, entre outros.

Cada CA define livremente os critérios para avaliar essas dimensões e, sobre essa base, classifica os periódicos nos estratos correspondentes. A tabela 3 mostra a distribuição dos critérios mais utilizados pelas CA nas avaliações de 2010 e 2013. Na Tabela 4, detalham-se as bases de dados mais utilizadas. Observa-se que há critérios considerados por todas as CA, especificamente, aqueles que caracterizam "formalmente" uma revista científica (técnico-normativos e revisão por pares). Não são concebidas publicações de qualidade que não atendam esses requisitos; estabelecem critérios mínimos para incluir um periódico nos estratos A1-B5 e consequente pontuação para os artigos nele publicados. Não atendimento coloca a revista no estrato C, cujos artigos não pontuam. Porém, esses critérios não definem a gradação dos estratos; essa considera critérios da dimensão de mercado, destacando pelo uso majoritário, os indicadores quantitativos e a indexação em bases de dados. Entre os indicadores quantitativos predomina o FI (JCR) utilizado por todas as CA; o índice H e as Citações por documento são muito menos empregados e sempre acompanhados pelo FI. Observou-se um crescimento dessa tendência de 2010 para 2013; Farmácia, Medicina I, II, III, e Odontologia incrementaram o valor do FI que delimita o nível superior e inferior dos estratos e a quantidade de estratos que exigem publicações com FI; Saúde Coletiva diminuiu a quantidade de estratos definidos por FI, mas incrementou seu valor; Enfermagem não incrementou o valor, mas a quantidade de estratos definidos por FI. Apenas Educação Física não realizou mudanças.

A indexação em bases de dados é também um critério utilizado por todos os CA; reconhece-se que, quanto maior a quantidade de indexações de um periódico, maior a visibilidade dos seus artigos, aumentando a possibilidade de serem encontrados, consultados e citados. Porém, observa-se que a classificação nos estratos superiores do QP (A1-B1) privilegia às revistas indexadas nas bases de dados comerciais mais reconhecidas (WoS e Scopus), pertencentes a empresas privadas do hemisfério norte. Em 2013, unicamente Saúde Pública incorpora SciELO nos estratos A1, A2 e B1; Educação Física incorpora Medline, SciELO e SJR no B1 e Enfermagem incorpora CUIDEN também no B1. Já nos estratos inferiores, aparecem outras bases, tais como, SciELO, LILACS, etcétera.

O uso preponderante do FI e da indexação na WoS e Scopus como critérios essenciais para estratificar a produção científica, contribuem para os padrões de publicação identificados, particularmente, no que diz respeito ao crescimento acelerado dos artigos internacionais, com relação aos nacionais; deve considerar-se as exigências de produtividade a que são submetidos os PPGs e pesquisadores e a desproporção existente entre a quantidade de revistas internacionais e brasileiras que cumprem esses requisitos.

A situação descrita até aqui indica que a avaliação nas CdS é dependente de três critérios que, conforme as análises realizadas, contribuíram para as mudanças nas práticas de publicação: o uso preponderante de QP como ferramenta de avaliação, do FI (JCR) e da indexação na WoS e Scopus, como indicadores essenciais da qualidade das publicações. A materialização dessas mudanças reflete a efetividade das políticas de avaliação de Capes e CNPq voltadas para incrementar a visibilidade da ciência brasileira.

Porém, também traz questões problemáticas. Como afirmam Santos e Kobashi "(...) não se pode reduzir a atividade científica à produção, à circulação e ao consumo de artigos de periódicos e, muito menos, confundir o crescimento quantitativo de artigos com o desenvolvimento cognitivo da ciência".⁽²⁹⁾ Ao colocar as monografias e os trabalhos em anais num segundo plano, desconsidera-se uma parcela da produção científica das CdS que, apesar de ser intencionalmente desvalorizada, no censo de 2014 ainda representava 21 % do volume total da produção (Fig. 2).

Monografias e trabalhos em anais de eventos são formas tradicionais de comunicação científica que respondem a determinadas exigências dos processos de produção e disseminação do conhecimento. As primeiras permitem a exposição de conhecimentos mais complexos que exigem maior elaboração e espaço; os segundos apresentam resultados preliminares permitindo aos pesquisadores obter uma retroalimentação e afinar seu trabalho. Argumentar que são tipos de publicação que não passam por processos rigorosos de revisão é uma generalização que não se ajusta totalmente à realidade; como mostra Meadows,⁽¹²⁾ existem evidências de que isso acontece, mas também de que muitas editoras e eventos submetem as comunicações a processos de avaliação tão severos quanto os das revistas. O verdadeiro problema é a falta de indicadores para avaliar ambos tipos de produção. Os avaliadores precisam revisar muitas publicações num prazo curto de tempo, portanto, apoiam-se em “atalhos” bibliométricos; enquanto para artigos existe uma variedade de indicadores disponíveis, no caso das monografias e dos trabalhos em anais isso não acontece.

Outro problema é o baseamento que sustenta o QP. Avaliar a produção científica a partir da qualidade das revistas, tira o foco da questão essencial: a qualidade dos artigos. Os periódicos são avaliados, predominantemente, por meio do FI. Porém, quando esse indicador alcança valores proeminentes não significa que todos os artigos da revista são de alta qualidade; basta que um artigo alcance um número elevado de citações para que o “sucesso” seja transmitido para a revista e, “automaticamente”, para os outros artigos publicados nela. O FI não garante a qualidade dos artigos, o que, a rigor, invalida seu uso como critério essencial para delimitar os estratos superiores de QP.

Adicionalmente, tomar o FI e a indexação na WoS ou Scopus como base para a estratificação, compromete a inclusão dos periódicos brasileiros das CdS nas camadas superiores do QP, submetendo a ciência nacional aos interesses de empresas privadas. Semelhante abordagem pode favorecer as áreas mais próximas das ciências “duras”, porém, impacta negativamente naquelas que desenvolvem pesquisas mais vinculadas a problemas sociais locais ou regionais.^(21,22)

E há ainda mais. As ferramentas Qualis foram criadas no âmbito da Capes para avaliar a produção dos PPGs, atualmente quadrienal e trienal até 2013. Concluída tal avaliação, o Qualis referente ao período de avaliação finalizado cumpriu seu papel, e poderia ser extinto. Embora seja de se esperar que uma revista bem classificada em certa edição do QP mantenha o posto na próxima, não há qualquer garantia nesse sentido. Por exemplo, há limites percentuais para presença nos estratos A1, A1+A2 e A1+A2+B1. Então, se novas revistas entram em A1 e/ou A2, algumas das que lá estavam podem cair para B2 ou pior.

A primeira questão é se a ferramenta para avaliar PPGs (coletividades) pode ser aplicada à avaliação de pesquisadores (indivíduos). A segunda é que, nas avaliações de prazo mais abrangente, a classificação de uma revista pode ter mudado, de modo que os CAS teriam que observar a data de publicação de cada artigo e considerar o QP da época. Grande parte das áreas Capes gera duas edições do QP em cada período de avaliação, uma intermediária e uma final. Para avaliar os PPGs, vale a final. Para os pesquisadores vale qual?

CONCLUSÕES

No período 2000-2014, as práticas de publicação das CdS mudaram: percentualmente, aumentou a contribuição dos artigos internacionais e reduziram-se as de artigos nacionais, monografias e trabalhos completos em anais (todas aumentaram, porém, em números absolutos). Os critérios de avaliação utilizados por Capes e CNPq são um dos fatores que influenciaram esse comportamento. Mas a estratégia que baseia tais critérios - privilegiando a produção científica em periódicos de alto FI - repousa sobre a presunção de que assim se incrementa a qualidade da ciência brasileira, premissa que, na visão dos autores, ainda carece de fundamentação para ser indiscriminadamente estendida a todas as áreas. A pesquisa científica não tem apenas impacto intelectual (contribuição ao corpo comum de conhecimento) mas, também, social. Partir de uma visão elitista talvez possa incrementar o impacto da ciência brasileira no mundo, porém certamente não motiva pesquisas voltadas para a solução de problemas sociais. Subordina-se o interersse social ao de editoras comerciais cujo objetivo principal, muitas vezes, é a obtençao de lucro.

Uma solução de compromisso, capaz de contemplar equilibradamente essas duas visões, seria as áreas que realizam pesquisas com maior impacto social no Brasil incluirem, nos estratos superiores do QP, um maior número de periódicos nacionais, que publiquem artigos de qualidade, mediante rigorosos processos editoriais. Adicionalmente, a Capes e o CNPq devem promover e valorizar publicações que apresentem um impacto social significativo. Um caminho para tanto é discutido por Trzesniak.²²

Financiamento

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior.

REFERENCIAS BIBLIOGRÁFICAS

1. Brosnan C. Epistemic cultures in complementary medicine. Health Sociol Rev. 2016; 25(2):171-86.

2. Ganeri J. Well-Ordered Science and Indian Epistemic Cultures: towards a polycentered history of science. Isis. 2013;104(2):348-59.

3. Knorr-Cetina K. Culture in global knowledge societies: knowledge cultures and epistemic culture. In: Jacobs MD, Hanrahan NW, editores. The blackwell companion to the sociology of culture. In: Malden MA: Blackwell Publishing Ltd; 2005. p. 65-79.

4. Knorr-Cetina K. Epistemic cultures. How the sciences make knowledge. Cambridge Massachusetts: Harvard University Press, 1999.

5. Trzesniak P. Indicadores quantitativos: como obter, avaliar, criticar e aperfeiçoar. Navus-Rev Gest Tecnol, Florian SC. 2014;4(2):5-18.

6. Charlot B. A pesquisa educacional entre conhecimentos, políticas e práticas: especificidades e desafios de uma área de saber. Belo Horizonte: Rev Bras Educaç. 2006;11(31):7-18.

7. Alexander JC. A importância dos clássicos. In: Giddens A, Turner J, organizadores. Teoria social hoje. São Paulo: Editora UNESP; 1999. p. 23-89.

8. Becher T. The significance of disciplinary differences. Stud High Educ. 1994;10(2):151-61.

9. Caballero Rivero A, Santos RNM, Trzesniak P. Caracterización de las prácticas de publicación de las grandes áreas de conocimiento em Brasil. Rev Cubana Inform Cienc Salud. 2017;28(4):1-19.

10. Caballero Rivero, A. Caracterização das práticas de publicação das grandes áreas do conhecimento no Brasil. [Dissertação&#93. Recife: Universidade Federal de Pernambuco (UFPE); 2017.

11. Puuska HM. Scholarly publishing patterns in Finland: a comparison of disciplinary groups. [Tese]. Tampere: School of Information Science, University of Tampere; 2014.

12. Meadows AJ. A comunicação científica. Brasília, DF: Briquet de Lemus; 1999.

13. Adams J, Gurney K. Evidence for excellence: has the signal overtaken the substance? London: Digital Science; 2014.

14. Piro FN, Asknes DW, Rørstad K. A macro analysis of productivity differences across fields: challenges in the measurement of scientific publishing. J Am Soc Inform Sci Technol. 2013;64(2):307-20.

15. Trzesniak P. A questão do livre acesso aos artigos publicados em periódicos científicos. Em Aberto. 2012;25(87):77-112.

16. Bourdieu P. O poder simbólico. Rio de Janeiro: Editora Bertand Brasil S.A.; 1989.

17. Council of Canadian Academies (CCA). Informing Research Choices: indicators and judgment. Otawa: Council of Canadian Academies; 2012.

18. Ware M, Mabe M. The STM Report: An overview of scientific and scholarly journal publishing. The Hague: International Association of Scientific, Technical and Medical Publishers; 2015.

19. Research Information Network (RIN). Communicating knowledge: how and why UK researchers publish and disseminate their findings. RIN Report. London: RIN; September 2009.

20. Laudel G, Glässer J. Tensions between evaluation and communication practices. J Hig Educat Pol Manag. 2006;28(3):289-95.

21. Santos RNM, Caballero-Rivero A, Sánchez-Tarragó N. Práticas de publicação e avaliação em Ciências Sociais e Humanidades: contradições e desafios. Rio de Janeiro: P2P&Inovação. 2018;4(1):18-34.

22. Trzesniak P. Qualis in four quarters: history and suggestions for the Administration, Accounting and Tourism area. Rev Contab Finanç. 2016; 27(72):279-90.

23. Luz, MT. Especificidade da contribuição dos saberes e práticas das Ciências Sociais e Humanas para a saúde. São Paulo: Saúde e Sociedade. 2011;20(1):22-31.

24. Carvalho YM, Manoel EJ. Para além dos indicadores de avaliação da produção. Movimento. 2006;12(3):193-225.

25. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). Brasil: Roteiro para classificação de livros. Capes; 2009.

26. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). Brasil: Comunicado N^o 002/2013- Área de Artes – Música. Capes; 2013.

27. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). Qualis. Capes; 2015. Acceso: 16/3/2018. Disponível em:

http://www.capes.gov.br/acessoainformacao/perguntas-frequentes/avaliacao-da-pos-graduacao/7422-qualis

28. Trzesniak P. As dimensões da qualidade dos periódicos científicos e sua presença em um instrumento da área da educação. Rev Bras Educ. 2006;11(32):346-61.

29. Santos RNM, Kobashi NY. Bibliometria, cientometria, informetria: conceitos e aplicações. Brasília: Pesq Bras Ci Inf. 2009;2(1):155-72.

Recibido: 28 de enero de 2019. Aprobado: 02 de marzo de 2019.

* Autor para la correspondencia. Correo electrónico: caballero.alecaba@gmail.com

Conflicto de intereses

Los autores declaran que en este trabajo no existe conflicto de intereses.