O Sistema de Avaliação da Educação Básica que o Brasil Precisa

Como um sistema de avaliação pode ajudar a construir o Brasil que queremos? É preciso alinhá-lo ao projeto de Educação brasileiro. Mas como nos falta um projeto de país, tudo fica mais difícil. Estamos perdendo as oportunidades de dar o salto necessário para alcançar os objetivos impressos no Artigo terceiro de nossa Constituição:

Art. 3º Constituem objetivos fundamentais da República Federativa do Brasil:

I – construir uma sociedade livre, justa e solidária;

II – garantir o desenvolvimento nacional;

III – erradicar a pobreza e a marginalização e reduzir as desigualdades sociais e regionais;

IV – promover o bem de todos, sem preconceitos de origem, raça, sexo, cor, idade e quaisquer outras formas de discriminação.

Portanto, o desafio de pensar um novo Sistema Nacional de Avaliação da Educação Básica, moderno, que contribua para iluminar e debate e apoiar a enfrentar os desafios da garantia do acesso e do aprendizado de todas as nossas crianças, jovens; de garantir condições para o aprendizado ao longo da vida; de garantir equidade, com excelência em formação e gestão democrática, numa proposta educadora alinhada ao Plano Nacional de Educação e aos ditames Constitucionais, não é tarefa fácil.

A equipe do Inep que opera o atual Saeb não se intimidou diante do desafio e se lançou numa profunda reflexão sobre o assunto, nos anos de 2015 e 2016, e ousou apresentar o resultado dessa reflexão num documento, com o objetivo de contribuir ao debate.

Compartilho aqui o documento, publicado na série PNE em Movimento. Espero que possa auxiliar a pensar nos atuais e futuros desafios da educação brasileira, e no papel que a avaliação tem nesse processo.  Integrei essa equipe e tenho orgulho do esforço realizado.

Não vamos nos iludir: Não é tarefa fácil, e não podemos simplesmente achar que é possível “contornar” as armadilhas e buscar os atalhos “fáceis” de construção de Projetos que promovam as transformações necessárias na educação brasileira sem amplo debate nacional e social. Não podemos nos iludir que projetos top-down terão adesão sincera de milhões de professores e gestores de todo o país apenas com canetadas de Gabinete e soluções compradas ou importadas: precisamos enfrentar o desafio de promover um grande Pacto Nacional, com todos: inclusive e principalmente os que pensam diferente,  em favor da Educação que o Brasil precisa. As balizas desse Pacto estão apresentadas na Constituição.

Mas para isso é preciso colocar as cartas/ideias na mesa: Entrar no debate apenas com crítica não vai ajudar a construir convergências e consensos.

Resumo – O artigo apresenta proposta para organização do Sistema Nacional de Avaliação da Educação Básica (Sinaeb), disposto no Plano Nacional de Educação (PNE). Traz o histórico das avaliações educacionais desenvolvidas pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) desde 1990, seguido de reflexão acerca de diferentes concepções de qualidade educacional, aspecto central para elaboração desta proposta – desenvolvida em 5 diretrizes e 17 dimensões concernentes à avaliação da qualidade da educação. 
Considerando a importância da avaliação do desempenho nos testes em larga escala e a necessidade de se observarem outras dimensões, a proposta inclui novos indicadores de avaliação institucional, em consonância com o disposto no PNE. Em se tratando de sistema de avaliação de caráter nacional e não apenas federal,procura-se contemplar a participação dos entes federados e de importantes atores da sociedade diretamente empenhados em favor do direito à educação de qualidade para todos. Desse modo, preveem-se processos avaliativos mais amplos, participativos e diversificados, voltados à produção de mais subsídios para formulação e melhoria das políticas educacionais, bem como para o desenvolvimento de processos educativos mais inclusivos e equitativos.
Tendo em vista o imperativo de desenvolver o Sistema Nacional de Avaliação da Educação Básica (Sinaeb) conforme disposto no artigo 11 do PNE, a proposta delineada neste artigo considera a necessidade de estabelecer processos avaliativos mais amplos,participativos e diversificados, que forneçam um conjunto maior de subsídios para formulação, acompanhamento e melhoria de políticas mais inclusivas e equitativas, além de contribuições para aprimoramento das demandas sociais por direitos.Trata-se de proposta sintonizada com importantes processos de pactuação em favor do direito à educação, cujo marco mais recente, a Declaração de Incheon, cita a educação como principal fomentador do desenvolvimento e alcance dos Objetivos de Desenvolvimento Sustentável (ODS), definidos por ocasião da Cúpula das Nações Unidas para o Desenvolvimento Sustentável (Rio+20), na cidade do Rio de Janeiro, em 2012. Com efeito, esta proposta busca ampliar a discussão acerca da avaliação, agregando novas dimensões e enfatizando a importância do desenvolvimento de instrumentos capazes de iluminar o debate sobre como enfrentar e superar desafios para “assegurar a educação inclusiva e equitativa de qualidade, e promover oportunidades de aprendizagem ao longo davida para todos” (Unesco, 2015a, p. 1).A proposta aqui apresentada considera também os debates acumulados no âmbito da Conferência Nacional de Educação (Conae) de 2014, explicitados em seu Documento Final e, mais tarde, materializados no PNE, uma vez que incorpora como dimensão do processo de avaliação não só o rendimento escolar como “produto” da prática social, mas todo o processo educativo. Para promover e aprofundar o debate sobre os desafios que o artigo 11 do PNE impõe ao Inep, pesquisadores do Instituto promoveram, no âmbito da Diretoria de Avaliação da Educação Básica (Daeb), a reflexão sobre os desafios da implantação do Sinaeb, levando à criação de grupo de trabalho para organizar o debate e sistematizar a apresentação de propostas.Esse grupo convidou vários pesquisadores para participar de reuniões técnicas ao longo de 2015, realizou entrevistas com especialistas do campo da avaliação – que resultaram em mais de 40 horas gravadas e mais de 400 páginas transcritas – e estimulou a realização de duas audiências públicas no Congresso Nacional: a primeira na Comissão de Educação da Câmara dos Deputados, realizada em 13 de outubro de 2015, e a segunda na Comissão de Educação do Senado, ocorrida em 16 de abril de 2016.

Reflexões sobre o construto e a matriz de referência de autoavaliação da Gestão Escolar

O Plano Nacional de Educação do decênio 2014-2014 coloca centralidade no desafio de melhorar a qualidade do aprendizado de nossas crianças e jovens. A baixa qualidade da gestão educacional precisa ser entendida, enfrentada e superada. Nesse contexto os processos de gestão ganham importância na garantia do direito a educação de qualidade com equidade.

Uma gestão de qualidade, seja na escola, seja nas secretarias de educação, precisa ter foco no propósito, e o propósito é a busca permanente pela garantia do acesso, e do aprendizado na trajetória adequada, dentro dos princípios estabelecidos constitucionalmente. É preciso definir diferentes métricas que permitam à sociedade civil, aos gestores e professores acompanhar e participar ativamente do processo e assim enfrentar o desafio da melhoria a qualidade da gestão nas escolas e redes de ensino. Pela importância da gestão, se observa que a mesma se constitui como eixo de ampliação de indicadores do Sistema Nacional de Avaliação da Educação Básica, e a melhoria da qualidade da gestão está presente em várias de metas e estratégias do Plano Nacional de Educação (PNE) do Brasil, aprovado em 2014 por meio da Lei Federal n. 13.005/2016, para os próximos dez anos, sinalizando de maneira objetiva para a necessidade de se buscar a melhoria da qualidade da gestão escolar.

Acredito que é preciso avançar numa proposta de avaliação da gestão escolar. Para isso é preciso pactuar parâmetros de qualidade sobre a excelência na gestão escolar, e avançar na construção de processo de avaliação da Gestão de nossas escolas.

Essa postagem apresenta uma contribuição ao debate, iniciada na postagem anterior (veja aqui), fruto da reflexão realizada com colegas servidores do Inep sobre esse desafio. 

Se o primeiro passo na criação de uma avaliação da qualidade da gestão de unidades escolares é a definição do que seja uma gestão escolar de qualidade, o próximo passo é a definição do construto e da matriz de referência.

A literatura que tratado assunto apresenta algumas definições de construto. Urbina (2007), por exemplo, define construto como qualquer coisa criada pela mente humana que não seja diretamente observável. Já Silva e Ribeiro-Filho (2006) definem construto como sendo características não observáveis de que o pesquisador se utiliza para descrever comportamentos através de um dado critério ou escala. E Vianna (1987) define construtos como traços, aptidões ou características supostamente existentes e abstraídas de uma variedade de comportamentos que possuam significado psicológico (ou educacional), tais como fluência verbal, motivação, inteligência. Para Vianna, a operacionalização do construto ocorre mediante a utilização de testes ou instrumentos de medida adequadamente validados.

A mensuração de um construto requer que a definição conceitual do atributo avaliado seja traduzida para uma definição operacional, que é o indicador mais concreto para representar e quantificar o construto.  Pasquali (1998), revela que é preciso que as definições operacionais especifiquem e elenquem aquelas categorias de comportamentos, que seriam a representação comportamental do construto. Quanto melhor e mais completa for esta especificação, melhor será a garantia de que o instrumento que resultar para a medida do construto será válido e útil.

O Quadro a seguir apresenta sinteticamente tal conjunto de competências, a partir dos três eixos orientadores, com as seguintes definições.

construto

Esta análise é, às vezes, chamada de análise de conteúdo, mas propriamente deve ser chamada de análise de construto, dado que precisamente procura verificar a adequação da representação comportamental do(s) atributo(s) latente(s). Nessa análise, os juízes devem ser peritos na área do construto, pois sua tarefa consiste em ajuizar se os itens estão se referindo ou não ao traço em questão. Uma tabela de dupla entrada, com os itens arrolados na margem esquerda e os traços no cabeçalho, serve para coletar essa informação. Uma concordância de, pelo menos, 80% entre os juízes pode servir de critério de decisão sobre a pertinência do item ao traço a que teoricamente se refere.

A técnica exige que se dê aos juízes duas tabelas: uma com as definições constitutivas dos construtos/fatores para os quais se criaram os itens e outra tabela de dupla entrada com os fatores e os itens, em que são avaliados os itens que medem os dois fatores de raciocínio verbal (compreensão verbal e fluência verbal). Normalmente, é necessária uma terceira tabela que elenca os itens, uma vez que a tabela de dupla entrada geralmente não comporta a expressão completa do conteúdo dos itens. Com base nessas tabelas, a função dos juízes consiste em colocar um X para o item sob o fator ao qual o juiz julga o item se referir. Um número de 6 juízes já será suficiente para realizar esta tarefa. Itens que não atingirem uma concordância de aplicação aos fatores (cerca de 80%) obviamente apresentam problemas e seria o caso de descartá-los do instrumento-piloto. Isso vale, contudo, se o construto, para o qual está sendo construído o teste, apresentar fatores (particularmente quando forem em maior quantidade) que se supõem ou se sabe que não são correlacionados. Quando se supõem que os fatores sejam correlacionados, acontece que uma mesma tarefa (item) pode se referir, certamente com níveis de saturação diferente; mas de fato se referir simultaneamente a mais de um fator, o que implicaria que os juízes iriam mostrar alguma discordância quanto à aplicação do item a este ou a aquele fator. Neste caso, esta discordância deve ser considerada como concordância. Uma outra solução seria instruir os juízes a marcarem, para cada item, não o fator mas aqueles fatores aos quais o item se refere. Entretanto, com tal dica, abre-se campo para muita divagação por parte dos juízes e, assim, arriscar perder-se a utilidade prática dessa análise. Seria melhor instruir os juízes para colocarem, se possível, cada item sob um fator somente.

Com o trabalho dos juízes, ficam completados os procedimentos teóricos na construção do instrumento de medida, os quais comportaram a explicitação da teoria do(s) construto(s) envolvido(s), bem como a elaboração do instrumento piloto, que constitui a representação comportamental desses mesmos construtos e que se põe como a hipótese a ser empiricamente testada (validação do instrumento), tarefa que será iniciada com os procedimentos experimentais, os quais consistem em coletar informação empírica válida e submetê-la às análises estatísticas pertinentes em Psicometria.

A sistematização realizada delineou os três eixos que nortearam a organização das práticas e a construção do instrumento de auto avaliação, incluindo o conjunto de habilidades esperadas do gestor escolar, na forma da seguinte matriz de referencia:

matriz-gestao-na-escola

O próximo passo, definido o construto, a matriz e um conjunto de itens, é a realização de processo de pretestagem de itens.

REFERÊNCIAS BIBLIOGRÁFICAS

PASQUALI, L; Rev. Psiq. Clin. 25 (5) Edição Especial : 206-213, 1998

SILVA, JÁ; RIBEIRO-FILHO, NP. Avaliação e mensuração da dor. Pesquisa, teoria e prática. Ribeirão Preto: FUNPEC; 2006.

URBINA, S. Fundamentos de testagem psicológica. Porto Alegre: Artmed; 2007.

VIANNA, HM. Validade de constructo em testes educacionais. In: Vianna HM. Testes em educação. São Paulo: Ibrasa; 1987. p. 35-44.

Novo sistema de avaliação da educação básica é tema de audiência pública no Senado

A instituição do Sistema Nacional de Avaliação da Educação Básica (Saeb) foi tema de audiência pública realizada na Comissão de Educação, Cultura e Esporte (CE) do Senado Federal, nesta quarta-feira (13/4/2016). Os debatedores concordaram que o Saeb, previsto na Lei do Plano Nacional de Educação (PNE – Lei 13.005/2014), deve ser aprimorado, de forma a incorporar a avaliação de outras dimensões da qualidade da educação brasileira, englobando questões mais amplas. Aspectos socioeconômicos, de gestão e de infraestrutura, entre outros, devem, segundo os participantes, fazer parte da avaliação para buscar uma educação de qualidade para todos.

De acordo com o PNE, a avaliação deve ser feita a cada dois anos, sob a coordenação da União em colaboração com estados e municípios. O Instituto Nacional de Estudos e Pesquisas Educacionais (Inep) ficou responsável pela elaboração e do cálculo dos indicadores.

Segundo o diretor de Avaliação da Educação Básica do Inep, Alexandre André dos Santos, no ano passado foram realizados vários encontros técnicos com pesquisadores acadêmicos e dos movimentos sociais da educação. Nesses encontros, foram propostos 6 grandes eixos e 18 dimensões de qualidade. Entre eles, o eixo da universalização, por exemplo, que contempla as dimensões do acesso, da permanência e da trajetória dos alunos na escola. Para Alexandre, a sociedade precisa participar da concepção dos instrumentos de avaliação.

— Hoje, o atual Sistema de Avaliação da Educação Básica é decidido muito interna corporis pelo Inep e pelo Ministério da Educação. É preciso construir um espaço de governança para garantir a participação da sociedade desde a concepção dos instrumentos de avaliação. E isso significa consolidar seja um comitê, seja um conselho em que o Inep possa dialogar com a sociedade — afirmou.

De acordo com Catarina de Almeida Santos, do Comitê da Campanha Nacional pelo Direito à Educação do Distrito Federal, a instituição lutou na época da formulação do PNE pela inversão da lógica de financiamento da educação que há hoje no país. Ela explicou que o governo trabalha com uma quantidade de recursos e, a partir dela, executa o que é possível. No entanto, o ideal seria saber qual é a qualidade pretendida e se organizar para garanti-la.

— Na discussão da instituição de um sistema nacional de avaliação, a nossa lógica é inverter o parâmetro de avaliação que nós temos hoje. O parâmetro do sistema de ensino tem que ser a qualidade. Bons resultados nas avaliações têm que ser consequência — esclareceu Catarina.

 

Agência Senado (Reprodução autorizada mediante citação da Agência Senado)