Baixe Avaliação de Pós-Graduação no Brasil: Qualis e suas Controvérsias e outras Notas de estudo em PDF para Medicina, somente na Docsity!
Dez coisas que você deveria saber sobre o Qualis
Rita de Cássia Barradas Barata*
Resumo Este artigo trata de dez pontos essenciais para se compreender o Qualis Periódicos e, assim, dirimir as dúvidas frequentemente apresentadas aos coordenadores de área por editores científicos, docentes e alunos de programas de pós-graduação. As questões serão apresentadas de modo a esclarecer aspectos aplicáveis a todas as áreas de avaliação sempre que possível. Alguns aspectos particulares terão por base a experiência da área de Saúde Coletiva.
Palavras-chave : Produção Científica. Avaliação de Programas. Classificação de Periódicos. Ferramentas de Avaliação.
1 PRIMEIRO PONTO: O QUE É O QUALIS PERIÓDICOS?
O sistema de avaliação dos programas de pós-graduação no país foi instituído pela Coordenação de Aperfeiçoamento de Pessoal do Ensino Superior (Capes) em 1977, ocasião em que foram criadas as comissões de assessores por área, para a avaliação e o acompanhamento dos cursos, e foi estabelecido o Conselho Técnico- Científico da Educação Superior (CTC-ES). Nesse primeiro momento, o resultado da avaliação realizada não tinha divulgação pública, sendo informado apenas às instituições. A avaliação era expressa em conceitos: A (muito bom), B (bom), C (regular), D (fraco) e E (insuficiente) (FERREIRA; MOREIRA, 2001; CAPES, 2011). Em 1990, sob a presidência da Profa. Eunice Durham, os conceitos foram substituídos por notas de 1 a 5, e passaram a ser incluídos no processo de avaliação alguns indicadores quantitativos, entre os quais a quantidade de artigos publicados pelos programas (FERREIRA; MOREIRA, 2001; CAPES, 2011). Em 1998, ocorreu mudança substancial no processo, com a padronização da ficha de avaliação, que incluía sete quesitos: a proposta do programa, o corpo docente, as atividades de pesquisa, as atividades de formação, o corpo discente, as teses e dissertações e a produção intelectual. Todas as áreas de avaliação deveriam analisar os mesmos quesitos embora pudessem utilizar, no processo, diferentes tipos de indicadores (BARATA, 2015). Nesse momento, o CTC-ES sentiu a necessidade de qualificar a produção dos programas e não mais apenas contabilizar o número de artigos publicados. Já então, o número de artigos publicados nos programas, em cada triênio de avaliação, era bastante expressivo, tornando impraticável qualquer tentativa de avaliar a qualidade de cada um desses produtos do trabalho científico. Diante dessa impossibilidade, a opção adotada foi a classificação dos veículos de divulgação da produção científica, pressupondo-se que a aceitação de um artigo por periódico indexado e com sistema de peer review garantia, de certo modo, a sua qualidade. Por outro lado, considerou-se que periódicos com circulação internacional e maior impacto na comunidade acadêmica teriam processos de seleção mais competitivos e, portanto, os artigos por eles selecionados teriam qualidade e relevância (LINDSEY, 1989).
A primeira classificação adotada dividia os periódicos em três grupos com três estratos em cada grupo. Os grupos separavam os periódicos segundo a circulação – internacional, nacional ou local – , e, em cada grupo, as revistas científicas eram classificadas nos estratos A, B e C, conforme seu impacto ou relevância para um determinado campo científico. Dada a heterogeneidade de tradições científicas existentes nas diversas áreas de avaliação, cada uma delas teve a liberdade de eleger os critérios segundo os quais procederia à classificação da produção em sua área. Nas grandes áreas de Ciências Exatas, Ciências Biológicas, Ciências Agrárias e Ciências da Saúde, a tendência predominante foi a de construir a classificação considerando as bases de indexação e as medidas de impacto bibliométrico. Nas grandes áreas de Ciências Sociais e Humanas, a tendência foi a de utilizar um conjunto de aspectos formais dos periódicos científicos, normalmente empregados pelas bases indexadoras para a aceitação da indexação, para realizar a classificação. Durante dez anos, essa classificação foi adotada no processo de avaliação, sofrendo diversos ajustes a cada período avaliativo. Após a trienal de 2007, a Diretoria de Avaliação propôs ao CTC-ES a reformulação do Qualis com base em uma avaliação quantitativa que mostrava o uso inadequado da classificação e a perda progressiva do poder discriminatório ao longo dos anos. Muitas áreas acabavam efetivamente utilizando três ou quatro estratos na avaliação, e poucas eram aquelas que usavam os nove estratos previstos (BARATA, 2015). Após praticamente um ano de intensas discussões, o CTC-ES aprovou a nova classificação contendo sete estratos: A1, A2, B1, B2, B3, B4 e B5. Há ainda um estrato C, destinado a publicações que não constituem periódicos científicos ou não atendem aos critérios mínimos estabelecidos em cada área para ser classificado. O Qualis Periódicos, portanto, é uma das ferramentas utilizadas para a avaliação dos programas de pós-graduação no Brasil. Sua função é auxiliar os comitês de avaliação no processo de análise e de qualificação da produção bibliográfica dos docentes e discentes dos programas de pós-graduação credenciados pela Capes. Ao lado do sistema de classificação de capítulos e livros, o Qualis Periódicos é um dos instrumentos fundamentais para a avaliação do quesito produção intelectual, agregando o aspecto quantitativo ao qualitativo.
2 SEGUNDO PONTO: O QUE O QUALIS PERIÓDICOS NÃO É?
Saber o que o Qualis não é parece tão importante quanto saber o que ele é, pois muitos dos usos inadequados e das incompreensões em torno dessa ferramenta resultam justamente da pouca compreensão sobre esse ponto. O Qualis não é uma base de indexação de periódicos – este é o ponto que provavelmente gera maior confusão entre os editores científicos e é fonte de inúmeras consultas aos coordenadores de área. Vários são os editores que solicitam a inclusão, vale dizer a indexação, de seus periódicos na lista do Qualis. Entretanto, tal solicitação não tem sentido visto que o Qualis só existe como ferramenta para a avaliação de programas. Estar ou não na lista do Qualis significa tão somente que algum dos alunos ou professores dos programas credenciados publicaram artigos naqueles periódicos. Do mesmo modo, o Qualis Periódicos não é uma base bibliométrica e não permite o cálculo de nenhuma medida de impacto dos periódicos nele incluídos. Sendo assim, o Qualis Periódicos não deve ser considerado como uma fonte adequada de classificação da qualidade dos periódicos científicos para outros fins que não a avaliação dos programas de pós-
classificação manual, utilizando exatamente os mesmos critérios usados para os demais periódicos. Outra dúvida frequente entre docentes e discentes surge quando da escolha de uma revista científica para a submissão de um artigo, diante da constatação de que esta ainda não se encontra na listagem da área. Evidentemente, por tudo que já ficou dito, tal revista científica passará a figurar na lista desde que, aceito o artigo, seja a publicação informada por meio da plataforma Sucupira.
4 QUARTO PONTO: CLASSIFICAÇÃO EXAUSTIVA
Tendo em vista o processo de geração da lista anteriormente descrito e a finalidade precípua do Qualis Periódicos, cada área de avaliação deverá classificar todos os títulos constantes de sua lista. Nenhum dos títulos listados poderá ficar sem classificação, uma vez que isso significaria a exclusão a priori de determinados produtos informados pelos programas. Para que essa regra básica seja cumprida, foi proposto o estrato C, que pode ser utilizado de diferentes maneiras para garantir a exaustividade da classificação. Muitos programas informam como produção intelectual bibliográfica produtos que não se qualificam como artigos científicos, tais como matérias ou entrevistas em jornais ou revistas destinados ao público leigo, textos elaborados para blogs e outras mídias eletrônicas, boletins, material de propaganda como posters , folders e outros, material didático e artigos técnicos. Nesses casos, de acordo com a definição de cada área de avaliação, essas entradas na listagem do Qualis podem ser classificadas como C, separando-as dos demais artigos científicos produzidos pelo programa. Geralmente esse tipo de material pode ser informado corretamente como produção técnica, ou seja, não deve ser informado como artigos completos em periódicos científicos. Esses produtos podem ser excluídos da classificação por meio de uma opção disponível no aplicativo que permite identificá-los como não sendo artigos científicos. Algumas áreas de avaliação utilizam o estrato C para desconsiderar os artigos científicos publicados em periódicos não indexados ou que não atendam aos critérios mínimos estabelecidos pela comissão de avaliação. Assim, aquela produção classificada no estrato C estaria automaticamente glosada. Há, ainda, algumas poucas áreas que utilizam o estrato C para glosar toda a produção divulgada em periódicos que, por seu escopo, não pertencem à área de conhecimento sob avaliação. Esse é um recurso discutível, tendo em vista o fato de que a ciência atual é cada vez mais interdisciplinar, e os limites disciplinares estreitos muitas vezes não refletem corretamente o que está sendo produzido. Felizmente, poucas são as áreas de avaliação que adotam visão tão exclusivamente disciplinar. Afinal, uma deliberação como essa por parte do coordenador de área ou de sua comissão de avaliação pode ter efeitos deletérios sobre as possibilidades de cooperação interdisciplinar. Além dos problemas já mencionados, a decisão de classificar no estrato C periódicos considerados “fora de área” ou que não apresentem pelo menos determinado fator de impacto gera muito ruído entre a comunidade, pois revistas bem classificadas em alguma das áreas podem estar classificadas como C em outras, sugerindo que a classificação é desprovida de sentido e feita de forma totalmente aleatória. Para evitar esse tipo de situação seria recomendável que todas as áreas de avaliação reservassem o estrato C apenas para publicações que não pudessem ser classificadas como científicas, independentemente da área de conhecimento. Para o caso de haver ocorrido falha no processamento dos dados completos dos programas no momento de geração da listagem, o processamento dos cadernos de
indicadores ou dos relatórios da produção classificará cada produto em um dos estratos do Qualis, separando em um bloco à parte aqueles que ficarem sem classificação. Esses produtos poderão ser classificados manualmente de acordo com a disponibilidade de tempo dos membros das comissões de avaliação. Para evitar que essa produção seja desconsiderada na avaliação, é importante que o preenchimento dos dados relativos aos artigos seja o mais completo e correto possível, com especial atenção para o número correto do ISSN e para o título correto e atualizado da revista científica. Outros dados importantes são o ano, o volume e o fascículo da publicação.
5 QUINTO PONTO: REGRAS COMUNS A TODAS AS ÁREAS DE AVALIAÇÃO
A avaliação dos programas de pós-graduação está sempre tensionada pela necessidade de ter uma base comum para avaliar o conjunto dos programas independentemente das áreas de conhecimento e pelas evidências de que diferentes áreas de conhecimento têm diferentes tradições de produção científica, e suas especificidades precisam ser levadas em conta para que a avaliação seja justa e apropriada. Do ponto de vista estrito de cada programa, não haveria problema em que os critérios avaliativos fossem totalmente diferentes entre as diversas áreas de avaliação, uma vez que em cada uma delas o processo é comparativo e, assim, só importaria garantir que os mesmos critérios fossem aplicados, da mesma maneira, para todos os programas em uma determinada área. No entanto, os programas existem em unidades acadêmicas dentro de faculdades, centros universitários ou universidades onde avaliações muito discrepantes podem gerar dificuldades e problemas. Assim, tanto o CTC-ES quanto o Conselho Superior da CAPES sempre se preocuparam em ter alguns parâmetros que pudessem tornar a avaliação minimamente comparável entre as áreas. Nesse sentido, são utilizados basicamente três mecanismos: as portarias e resoluções da Presidência, do Conselho Superior, da Diretoria de Avaliação ou do Conselho Técnico-Científico da Educação Superior; a padronização da ficha de avaliação e as regras de construção do Qualis Periódicos e da classificação de livros. As portarias, resoluções e outros atos normativos visam estabelecer diretrizes que devem ser seguidas em todo o sistema nacional de pós-graduação (SNPG), conferindo-lhe unidade e organicidade. A padronização da ficha de avaliação visou estabelecer os quesitos e os itens indispensáveis e comuns a todas as áreas no processo de avaliação. Ao longo dos anos foram sendo modificados esses componentes na medida em que a evolução do SNPG foi superando certos problemas e gerando outros. Atualmente, a ficha está composta por cinco quesitos: proposta do programa, corpo docente, corpo discente, produção intelectual e inserção social; e 17 itens comuns distribuídos entre esses quesitos. As áreas de avaliação têm a liberdade de propor itens adicionais e definir os indicadores e critérios que serão utilizados na avaliação de cada item. Desse modo, pretende-se garantir a comparabilidade sem perder a flexibilidade necessária para abarcar toda a diversidade contida nas 48 áreas de avaliação. O instrumento de classificação de capítulos e livros também contém elementos mínimos e outras variáveis de modo que diversas áreas do conhecimento possam utilizá-lo. Nesse caso, há inclusive a opção de não considerar a produção de capítulos e livros na produção científica dos programas, a critério de cada área de avaliação.
Educação Física 772 24,5 47,9 0, Enfermagem 573 24,1 46,8 2, Farmácia 1. 199 22,3 44,5 10, Medicina I 2. 084 24,0 47,9 3, Medicina II 1. 984 23,9 47,5 4, Medicina III 711 22,2 45,3 9, Nutrição 479 21,3 48,2 3, Odontologia 946 25,7 42,3 1, Saúde Coletiva 1. 177 22,0 40,4 5, CIÊNCIAS HUMANAS Antropologia 270 11,5 27,8 5, Ciência Política e Relações Internacionais 391 15,9 25,3 16, Educação 1. 333 9,4 19,5 34, Filosofia 304 14,5 35,2 14, Geografia 488 18,9 32,0 14, História 682 14,5 28,0 17, Psicologia 895 23,6 46,4 2, Sociologia 664 8,4 18,8 16, Teologia 142 11,3 26,1 19, CIÊNCIAS SOCIAIS APLICADAS Administração e Turismo 1. 054 19,6 32,5 2, Arquitetura, Urbanismo e Design 311 21,2 27,7 8, Ciências Sociais Aplicadas I 477 9,9 28,3 19, Direito 657 11,4 22,8 41, Economia 504 11,3 25,0 11, Planejamento Urbano e Regional/Demografia 481 17,9 39,9 2, Serviço Social 197 10,7 20,3 24, LINGUÍSTICA, LETRAS E ARTES Artes /Música 346 11,0 21,7 31, Letras e Linguística 890 13,8 24,4 32, Fonte : elaboração própria.
Em 2014, o número de títulos variou entre 142 (Teologia) e 2.084 (Medicina I). A proporção de periódicos classificados no estrato A1 foi de 0,7%, na área de Teologia, a 13,1%, na área de Engenharia II, enquanto a proporção de periódicos no estrato A2 foi de 4,8%, na área de Ensino, a 15,1%, na área de Psicologia. O valor mediano para a proporção de periódicos no estrato A1 foi de 8,5% e, para o estrato A2, 11,5%. A somatória entre os dois estratos superiores variou de 8,4%, na área de Sociologia, a 26,1%, na área de Engenharias II. A parcela dos três estratos superiores apresentou o menor valor na área de Sociologia, com apenas 18,8%, e o maior na área de Engenharias II, com exatos 50%. Houve também grande variação na proporção de periódicos classificados no estrato C. Algumas áreas não tiveram nenhum título classificado no estrato C, enquanto outras apresentaram valores bastante altos. A área do Direito foi a que mais classificou títulos no estrato C, chegando a 41,4%. Ou seja, mesmo em relação à aplicação das regras gerais, observa-se grande variação entre as áreas, embora possam ser notadas algumas tendências. A grande área das Ciências da Saúde é a que apresenta maior homogeneidade. De modo geral, as Ciências da Vida e as Ciências Exatas apresentam proporções maiores de revistas classificadas nos três primeiros estratos e nos estratos A, enquanto as Humanidades tendem a mostrar menores proporções de periódicos nesses estratos, refletindo uma tradição diferente de publicações. No primeiro grupo de Ciências predominam periódicos editados por editoras comerciais ou associações científicas de grande prestígio acadêmico,
enquanto no segundo grupo ainda predominam publicações vinculadas aos próprios programas acadêmicos.
6 SEXTO PONTO: CRITÉRIOS CLASSIFICATÓRIOS
Conforme assinalado anteriormente, cada área de avaliação tem a liberdade de estabelecer seus próprios critérios classificatórios desde que as regras comuns de construção do Qualis sejam cumpridas. Ainda que os indicadores utilizados pelas diferentes comissões variem, 31 (65%) áreas de avaliação compreendidas nas grandes áreas de Ciências Exatas e da Terra, Ciências Biológicas, Engenharias, Ciências da Saúde, Ciências Agrárias e Multidisciplinar utilizam critérios que combinam aspectos da circulação, avaliada por meio das bases de indexação às quais os periódicos pertencem, e aspectos relativos aos impactos bibliométricos, avaliados por intermédio de um ou mais indicadores obtidos em uma ou mais fontes de informação. As fontes de dados bibliométricos mais utilizadas são JCR ( Journal Current Report ), Scopus e SciELO. Cada uma delas fornece indicadores um pouco diferentes e valores distintos para indicadores equivalentes porque possuem em sua base um número variável de periódicos. A base mais ampla é a Scopus, portanto, os indicadores calculados por ela tendem a ser mais altos do que nas outras duas. A menor é a SciELO, e os fatores de impacto medidos nessa base serão todos menores do que nas outras duas. O JCR possui uma base um pouco menor que a da Scopus e, além disso, adota uma definição pouco clara e polêmica do que considera documentos citáveis, podendo assim subestimar ou superestimar o fator de impacto (BARRETO, 2013). Os indicadores mais usados são o fator de impacto, as citações por documento citável e o índice “h”. Algumas áreas utilizam ainda a vida média ou o fator de “imediatez” para ponderar as medidas de impacto. A combinação de fontes e indicadores é uma forma de balancear as características e fragilidades de cada um deles isoladamente. Quinze (31%) áreas de avaliação incluídas nas grandes áreas de Artes e Letras, Ciências Sociais Aplicadas e Ciências Humanas utilizam um conjunto de critérios formais (tais como periodicidade, regularidade, corpo editorial diversificado, revisão por pares, distribuição, indexação) e um “ranqueamento” estabelecido pelas comissões avaliadoras quanto à relevância de cada revista para o campo. Finalmente, as áreas de Economia e Administração e de Turismo utilizam critérios mistos, combinando aspectos dos dois anteriormente descritos. É facultado aos coordenadores de área e a suas comissões de revisão do Qualis optar por atribuir uma classificação mais elevada para um pequeno número de revistas nacionais que sejam consideradas relevantes. Esse recurso tem ajudado diversas revistas nacionais a receber um número maior de artigos; assim, elas podem selecionar os melhores e, com isso, aumentar o fator de impacto. O mecanismo chamado de “indução” deve estar claramente explicitado no documento de atualização do Qualis e ser aprovado pelo CTC-ES.
7 SÉTIMO PONTO: ATUALIZAÇÃO DA CLASSIFICAÇÃO
A atualização do Qualis Periódicos é feita anualmente, cerca de um a dois meses após a data de chancela dos dados dos programas. A Diretoria de Avaliação da Capes estabelece um período para que o Qualis seja atualizado por todas as áreas de avaliação.
Astronomia - A1 - Biodiversidade A1 A1 - Biotecnologia A1 A1 - Ciências Agrárias A1 A1 A Ciência de Alimentos - - B Ciências Ambientais A1 A1 B Ciências Biológicas I A1 A1 - Ciências Biológicas II A1 - B Ciências Biológicas III A1 - - Engenharias II - A1 - Geociências - A1 B Medicina I - - B Medicina II - A1 B Medicina Veterinária - - B Química - A1 B Zootecnia - - B Fonte : Webqualis Capes. Disponível em: <www.sucupira.capes.gov.br>. Acesso em: out. 2015.
O Quadro 2 mostra a classificação de três periódicos científicos que não são dedicados a uma disciplina ou campo científico em particular. Os três são dedicados a todos os campos científicos. Evidentemente, periódicos com fatores de impacto tão altos quanto os da revista Science ou Nature garantem que qualquer que seja a área de conhecimento, ela será classificada no estrato A1. Já os Anais da Academia Brasileira de Ciências , embora com um fator de impacto bom para uma revista brasileira, dependendo dos pontos de corte utilizados em cada área de avaliação, teve classificações bastante diferentes, variando entre o estrato A1 e o B4.
Quadro 3 – Exemplos de classificações heterogêneas para periódicos brasileiros de escopo multidisciplinar, Qualis 2014
Área de avaliação
Cadernos de Saúde Pública (FI=1,097)
Dados – Revista de Ciências Sociais (FI= 0,327)
Ciência & Saúde Coletiva (FI=0,761)
Direito A1 A1 - Ciência Política - A1 - História - A1 - Planejamento Urbano, Regional e Demografia
A1 - A
Sociologia - A1 - Administração e Turismo A2 A2 - Antropologia A2 - - Ciências Ambientais A2 B1 - Ciências Sociais Aplicadas I A2 - - Enfermagem A2 - B Ensino A2 - A Odontologia A2 - B Psicologia A2 - A Saúde Coletiva A2 - B Serviço Social A2 A2 - Ciências Agrárias B1 B2 - Educação Física B1 - B Engenharias III B1 - - Nutrição B1 - - Economia B2 B2 - Educação B2 - - Engenharias IV B2 - -
Medicina I B2 - B Medicina II B2 - B Medicina Veterinária B2 - - Biodiversidade B3 - - Biotecnologia B3 - - Farmácia B3 - B Medicina III B3 - - Ciências Biológicas I B4 - - Ciências Biológicas II B4 - - Ciências Biológicas III B4 - - Ciência da Computação C - - Fonte : WebQualis Capes. Disponível em: <www.sucupira.capes.gov.br>. Acesso em: out. 2015.
O Cadernos de Saúde Pública , editado pela Escola Nacional de Saúde Pública, da Fiocruz, é o periódico que aparece referido em maior número de áreas de avaliação (30) e também o que apresenta a maior diversidade de classificações, indo de A1 a C, com exceção do estrato B5. Como uma revista que atende a todos os requisitos formais, arbitrada, indexada nas mais importantes bases bibliográficas e com fator de impacto acima de 1 pode ser classificada no estrato C? Ocorre que o documento do Qualis da área de Ciência da Computação informa que utiliza o fator de impacto normalizado e introduz um deflator de dois níveis para periódicos de outras áreas do conhecimento. Supondo que a normalização seja feita com base na média e no desvio-padrão do fator de impacto dos periódicos da área, isso explicaria a posição do Cadernos de Saúde Pública no estrato C. A revista Dados , publicada pelo Instituto de Estudos Sociais e Políticos, da UERJ, é a revista de Ciências Sociais mais bem indexada e com o maior fator de impacto entre as brasileiras nesse campo. Nesse caso, as classificações vão de A1 a B2, refletindo a relevância atribuída ao periódico nas diferentes áreas em que ele é utilizado. Finalmente a revista Ciência & Saúde Coletiva , publicada pela Associação Brasileira de Saúde Coletiva (Abrasco), apresenta classificações nos estratos A2, B ou B3 nas dez diferentes áreas em cujos programas os autores estão inseridos como docentes. A única maneira de solucionar essa contradição entre diferentes classificações para as mesmas revistas seria a adoção de uma lista única, na qual cada periódico fosse classificado apenas pela área ou pelas áreas de conhecimento incluídas em seu escopo de publicação. Revistas dedicadas à ciência em geral, tais como Science , Nature , Anais da Academia Brasileira de Ciências , Annals of the New York Academy of Sciences , Proceedings of the National Academy of Sciences of the United States of America , poderiam ser classificadas pela área interdisciplinar. Periódicos cujo escopo abrangesse mais de uma área de avaliação seriam classificados em comum acordo. Desse modo, o Qualis Periódicos poderia ser uma listagem livre de contradições e, desde que cada área, ao classificar seu conjunto de periódicos, adotasse as regras comuns, a listagem final também cumpriria os mesmos requisitos. Uma vantagem adicional dessa alternativa seria aprimorar o processo de classificação, uma vez que cada área teria uma lista menor de periódicos para analisar, podendo dedicar maior tempo e cuidado à tarefa de avaliação.
9 NONO PONTO: COMENSURABILIDADE ENTRE AS ÁREAS DE
AVALIAÇÃO
bibliométricas; portanto, para a maioria dos veículos não havia nenhuma medida de impacto disponível, sem contar o fato de que parte da publicação nessas áreas se faz preferencialmente por meio de livros e coletâneas. Essa tradição começa a mudar pressionada pelo uso crescente desses indicadores em diversos processos de avaliação do desempenho acadêmico. Hoje é possível encontrar na base SCImago um número considerável de periódicos classificados em Ciências Sociais (5.092), inferior apenas ao número dos periódicos da área médica. Assim, em médio prazo seria possível pensar em um uso crescente desses indicadores abarcando todas as áreas de avaliação. Esse problema requer dois conjuntos de soluções, uma aplicável àquelas áreas de avaliação que utilizam medidas de impacto para a construção do Qualis Periódicos; outra, aplicável àquelas áreas que não utilizam nenhuma medida de impacto por não ser tradição em suas áreas de conhecimento. Para as 31 áreas de avaliação que utilizam medidas de impacto na construção do Qualis, a opção de tornar as classificações comensuráveis, ou seja, capazes de expressar grandezas diferentes, porém com o mesmo significado relativo em cada campo, seria a adoção de percentis preestabelecidos para cada um dos estratos (BORNMANN, 2013). Por exemplo, se todas as áreas adotassem como ponto de corte para o estrato A1 o percentil 95 da distribuição de um determinado indicador ou conjunto de indicadores de impacto, seria imediatamente comparável a produção qualificada nesse estrato para as diferentes áreas do conhecimento, visto que os periódicos aí classificados corresponderiam aos 5% superiores, isto é, aos 5% com maior impacto em cada uma das áreas.
Quadro 4 – Fatores de Impacto correspondentes a percentis selecionados da distribuição dos periódicos das áreas de Ciências Exatas e da Terra, 2012
Percentil Matemática Computação Física Química Geociências P25 0,380 0,430 0,340 0,530 0, P50 0,645 1,010 0,850 1,310 0, P75 1,118 1,920 1,790 2,640 1, P90 1,900 3,158 3,266 4,286 2, P95 2,441 4,032 5,926 5,906 3, Fonte : elaboração própria.
Esses poderiam ser os pontos de corte para os estratos, de tal modo que, em qualquer área de avaliação, os periódicos classificados no estrato B5 fossem aqueles com fator de impacto igual a zero ou sem fator de impacto medido; no estrato B estariam os periódicos com fator de impacto maior do que zero e inferior ou igual ao valor do percentil 25; no estrato B3 ficariam as revistas com impacto entre o percentil 25 e a mediana (P50); no estrato B2, aquelas com impacto entre a mediana e o percentil 75; no estrato B1, os periódicos com impacto entre o percentil 75 e o percentil 90; no estrato A2, as revistas com impacto entre o percentil 90 e o 95, e, finalmente, no estrato A1, aquelas acima do percentil 95. Assim, o Qualis das áreas seria imediatamente comparável, e a produção dos PPGs poderia ser avaliada com base na proporção de artigos em cada estrato, pois eles teriam todos o mesmo sentido. Para as demais áreas que ainda não utilizam medidas de impacto, seria necessário estabelecer critérios de transição e políticas de incentivo aos periódicos nacionais para que busquem a indexação nas bases bibliométricas; e, aos autores, para que comecem a publicar em periódicos já indexados nessas bases.
Somente dessa forma, será possível dar maior visibilidade à produção científica do país e incentivar a publicação de pesquisas de qualidade em todas as áreas do conhecimento.
Quadro 5 – Fatores de impacto correspondentes a percentis selecionados da distribuição dos periódicos das áreas de Ciências Sociais e Humanas, 2012
Percentil Economia Administração Educação Geografia Direito P25 0,193 0,240 0,160 0,090 0, P50 0,515 0,580 0,460 0,315 0, P75 1,130 1,230 0,940 0,733 0, P90 1,980 2,229 1,500 1,236 1, P95 2,833 3,170 2,052 1,787 1, Fonte : elaboração própria.
O Quadro 5 mostra a distribuição dos fatores de impacto para cinco áreas selecionadas das Ciências Sociais e Humanas. O mesmo princípio discutido anteriormente se aplicaria neste caso. Atualmente na base SCImago estão listadas cinco revistas brasileiras de Administração, sete de Economia, três de Direito, seis de Geografia e 18 de Educação. Destas, tomando por base os pontos de corte apresentados na tabela, três seriam classificadas no estrato B5, 25 no estrato B4 e 11 no estrato B3, pois nenhuma delas apresenta fator de impacto acima do valor mediano. Entretanto, uma vez que na atualidade os artigos produzidos na pós- graduação brasileira não se destinam a essas publicações, seria necessário estabelecer alguns critérios comuns que permitissem estipular a equivalência entre as classificações das diferentes áreas. Por exemplo, para ser classificada no estrato A1, a revista deveria estar indexada em pelo menos uma base bibliométrica, ter impacto diferente de zero e ter artigos publicados em outra língua além do português. E assim, sucessivamente, poderiam ser determinados critérios qualitativos para o preenchimento de cada estrato. Se esses esforços, por um lado, restringem a flexibilidade de cada área no estabelecimento de suas próprias regras, por outro, poderiam contribuir para um sistema mais coeso e racional de avaliação.
10 DÉCIMO PONTO: USOS INDEVIDOS DO QUALIS PERIÓDICOS
O Qualis Periódicos, como anteriormente assinalado, é um dos instrumentos utilizados na avaliação dos programas de pós-graduação, tendo sido introduzido fundamentalmente para qualificar a produção bibliográfica sob a forma de artigos dos mencionados programas. Há, no entanto, usos indevidos ou inadequados desse instrumento, seja no processo de avaliação, seja em outros âmbitos da política acadêmica ou científica. Apesar das tentativas da Diretoria de Avaliação de estabelecer regras comuns, nem todas as áreas do conhecimento fazem um uso adequado desse instrumento. A intenção inicial de utilizar os estratos para efetivamente discriminar de forma adequada os distintos tipos de produtos pode ficar seriamente comprometida se no processo de construção os estratos não forem exaustivos e mutuamente exclusivos. Além disso, a proposta original pressupunha que a produção seria avaliada por meio da pontuação obtida pela multiplicação do número de artigos em cada estrato pelo seu peso ou fator de ponderação. Assim, se em uma área for atribuído o peso 10 aos artigos no estrato A1 e o peso 5 aos artigos no estrato B1, haveria equivalência entre
acadêmicas, o problema se torna ainda maior exatamente pela incomensurabilidade das classificações.
11 CONSIDERAÇÕES FINAIS
Como todo instrumento de classificação utilizado em processos avaliativos, o Qualis Periódicos apresenta uma série de vantagens, mas traz também uma série de dificuldades e problemas. Há margem para vários desenvolvimentos dessa ferramenta, tornando-a mais apropriada para a finalidade que motivou sua criação. E, para que esse processo de desenvolvimento e aprimoramento ocorra, é necessário que exista melhor compreensão sobre os diferentes aspectos envolvidos. Em primeiro lugar, é preciso compreender os motivos e os pressupostos por trás do instrumento. Em segundo lugar, é essencial ter clareza sobre os princípios classificatórios adotados. Em seguida, é necessário combinar diferentes fontes de informação e indicadores de impacto, buscando minimizar as limitações inerentes a cada um, e, finalmente, é importante desenvolver um sistema que permita a comparação entre diferentes áreas e elimine as contradições atualmente existentes no sistema.
Ten things you should know about the Qualis
Abstract This article aims to address ten key points to understand the Qualis (classification of journals) and thus answer questions that are often presented to area coordinators by scientific editors, teachers and students of graduate programs. The questions will be presented in order to clarify aspects applicable to all areas of evaluation whenever possible. Some particular aspects will build on the experience of Public Health area.
Keywords : Scientific Production. Graduate Course Evaluation. Journals Classification. Assessment Tools.
Diez cosas que vosostros debeis saber acerca del Qualis
Resumen Este artículo trata de abordar diez puntos clave para entender el Qualis periódicos y así responder a las preguntas que a menudo se presentan a coordinadores de área por editores científicos, profesores y estudiantes de los programas de postgrado. Los tópicos se presentarán a fin de aclarar los aspectos aplicables a todos los ámbitos de la evaluación siempre que sea posible. Algunos aspectos particulares se basarán en la experiencia de la área de Salud Colectiva.
Palabras clave : Producción Científica. Evaluación de Posgrados. Clasificación de Periódicos Científicos. Herramientas de Evaluación.
**Notas *** Doutora em Medicina Preventiva pela Universidade de São Paulo (USP) e professora-adjunta da Faculdade de Ciências Médicas da Santa Casa de São Paulo, São Paulo, SP, Brasil. E-mail: rita.barradasbarata@gmail.com.
Referências
BARATA, R. B. A ABRASCO e a pós-graduação stricto sensu em Saúde Coletiva. In: LIMA, N. T.; SANTANA, J. P.; PAIVA, C. H. A. (Eds.) Saúde Coletiva : a ABRASCO em 35 anos de história. Rio de Janeiro: Fiocruz/Abrasco, 2015
BARRETO, M. L.; ARAGÃO, E.; SOUSA, L. E. P. F.; SANTANA, T. M.; BARATA, R. B. Diferenças entre as medidas do índice h geradas em distintas fontes bibliográficas e engenho de busca. Revista de Saúde Pública , São Paulo, SP, v. 47, n. 2, p. 231-238, 2013.
BORNMANN, L. How to analyze percentile citation impact data meaningfully in bibliometrics: the statistical analysis of distributions, percentil rank classes and top- cited papers. J ournal of the American Society for Information Science and Technology , Carolina do Norte, USA, v. 64, n. 3, p. 587-595, 2013.
COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR – CAPES. CAPES 60 anos. Revista Comemorativa 2011. Disponível em: <https://www.capes.gov.br/images/stories/download/Revista-Capes-60- anos.pdf>. Acesso em: 5 out. 2015.
FERREIRA, M. M.; MOREIRA, R. L. Capes. 50 anos. Depoimento ao CPDOC/FGV. Brasília, 2002. Disponível em: http://www.dominiopublico.gov.br/download/texto/me001600.pdf. Acesso em: 5 out. 2015.
GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics , v. 53, n. 2, p. 171-193, 2002.
LEEUWEN, T. H. et al. Language biases in the coverage of the Science Citation Index and its consequences for international comparison of national research performance. Scientometrics , v. 51, n. 1, p. 335-346, 2001.
LINDSEY, D. Using citations counts as a measure of quality in science measuring what’s measurable rather than what’s valid. Scientometrics , v. 15, n. 3-4, p. 189-203,
RUANO-RAVINA, A.; ALVAREZ-DARDET, C. Evidence-based editing: factors influencing the number of citations in a national journal. Annals of Epidemiology , v. 22, n. 9, p. 649-653, 2012.
