Novo sistema de avaliação da educação básica é tema de audiência pública no Senado

A instituição do Sistema Nacional de Avaliação da Educação Básica (Saeb) foi tema de audiência pública realizada na Comissão de Educação, Cultura e Esporte (CE) do Senado Federal, nesta quarta-feira (13/4/2016). Os debatedores concordaram que o Saeb, previsto na Lei do Plano Nacional de Educação (PNE – Lei 13.005/2014), deve ser aprimorado, de forma a incorporar a avaliação de outras dimensões da qualidade da educação brasileira, englobando questões mais amplas. Aspectos socioeconômicos, de gestão e de infraestrutura, entre outros, devem, segundo os participantes, fazer parte da avaliação para buscar uma educação de qualidade para todos.

De acordo com o PNE, a avaliação deve ser feita a cada dois anos, sob a coordenação da União em colaboração com estados e municípios. O Instituto Nacional de Estudos e Pesquisas Educacionais (Inep) ficou responsável pela elaboração e do cálculo dos indicadores.

Segundo o diretor de Avaliação da Educação Básica do Inep, Alexandre André dos Santos, no ano passado foram realizados vários encontros técnicos com pesquisadores acadêmicos e dos movimentos sociais da educação. Nesses encontros, foram propostos 6 grandes eixos e 18 dimensões de qualidade. Entre eles, o eixo da universalização, por exemplo, que contempla as dimensões do acesso, da permanência e da trajetória dos alunos na escola. Para Alexandre, a sociedade precisa participar da concepção dos instrumentos de avaliação.

— Hoje, o atual Sistema de Avaliação da Educação Básica é decidido muito interna corporis pelo Inep e pelo Ministério da Educação. É preciso construir um espaço de governança para garantir a participação da sociedade desde a concepção dos instrumentos de avaliação. E isso significa consolidar seja um comitê, seja um conselho em que o Inep possa dialogar com a sociedade — afirmou.

De acordo com Catarina de Almeida Santos, do Comitê da Campanha Nacional pelo Direito à Educação do Distrito Federal, a instituição lutou na época da formulação do PNE pela inversão da lógica de financiamento da educação que há hoje no país. Ela explicou que o governo trabalha com uma quantidade de recursos e, a partir dela, executa o que é possível. No entanto, o ideal seria saber qual é a qualidade pretendida e se organizar para garanti-la.

— Na discussão da instituição de um sistema nacional de avaliação, a nossa lógica é inverter o parâmetro de avaliação que nós temos hoje. O parâmetro do sistema de ensino tem que ser a qualidade. Bons resultados nas avaliações têm que ser consequência — esclareceu Catarina.

 

Agência Senado (Reprodução autorizada mediante citação da Agência Senado)

NBR Entrevista – Enem 2015

NBR ENTREVISTA – 27. 05. 15: A cada ano, há uma expectativa no país para a abertura das inscrições do Exame Nacional do Ensino Médio (Enem). O programa convidou o diretor de avaliação da educação básica do INEP, Alexandre André dos Santos, para debater as novidades introduzidas no Enem este ano. Entrevista concedida a Karla Wathier.

Sistematizando práticas inovadoras e de excelência em gestão

Qual é o caminho percorrido por uma organização pública que busca fazer mais com menos? Como transformar crises de organizações publicas em oportunidades? Como inovar em uma organização pública? Como uma organização pública pode responder aos anseios e às expectativas da sociedade? A Diretoria de Avaliação da Educação Básica (Daeb) do Inep percorreu nos últimos anos um longo caminho em busca de respostas para essas e outras questões.

Compreender o caminho trilhado pela Daeb, entender suas dificuldades e sua busca por soluções, foi o que motivou todos da equipe a investir tempo em sistematizar tais práticas de gestão. Esse esforco ajudou a Daeb e pode ajudar outras organizações que passam pelo mesmo processo e buscam se superar.

E foi na busca pela excelência que a DAEB pode se superar. A superação explica a capacidade da DAEB em atender a extensa pauta do Governo e da sociedade brasileira:

– Da a implantação de novas avaliações (Avaliação Nacional de Alfabetização, Implantação de Ciências no SAEB), passando pela consolidação de Exames de relevância nacional (ENEM, Encceja) e pela ampliação da capilaridade internacional de Exames que modernizaram a agenda educacional de nossa politica externa (CelpeBras, Encceja).

– Do aumento da sua capacidade de elaboração de itens para o Banco Nacional de Itens, do compromisso com a inovação (Hakchaton Educacional, Banco de Propostas Inovadoras) à radicalização  de seu compromisso com a excelência e transparência das avaliações sob sua responsabilidade (disponibilizações de microdados do Enem, Prova Brasil, SAEB e Encceja).

– Do processo de implantação do Modelo de Excelência em Gestão Pública, ao fortalecimento das ações de gestão participativa e retomada do diálogo com a sociedade civil organizada.

– Da radicalização do compromisso de abertura da DAEB a todas as linhas de pensamento  ao estabelecimento de uma linha de reflexão crítica sobre seu processo de trabalho.

– Do alinhamento de seu processo de gestão estabelecendo o foco no cidadão à valorização do compromisso com um processo de aprendizagem organizacional, apoiado fortemente em processos de qualificação e capacitação em nível nacional e internacional.

– Da retomada de sua capacidade de reflexão e produção editorial ao avanço na garantia de participação com isonomia das pessoas com deficiência em seus processos avaliativos.

– Do protagonismo assumido em processos avaliativos internacionais (PISA, TERCE) à criação de espaços de reflexão e ação em conjunto com especialistas e representantes da sociedade civil organizada (Comissões de especialistas).

– Do fortalecimento de parcerias com a sociedade civil organizada (CONSED, UNDIME, Fundação Carlos Chagas, Todos pela Educação, Fundação Lemann, Instituto Positivo,entre outras)  à legitimação das ações que foram implantadas por uma ampla rede de atores sociais mobilizada por todo o país.

Todo esse processo consolidou um novo patamar de participação e inclusão na formulação e construção de avaliações educacionais.

 

Enem: Apagando incêndio com #Gazolina

O Inep se fortaleceu muito nos últimos anos. Os incidentes ocorridos em edições passadas envolvendo aplicação, furto de provas e problemas de logística, serviram como base para um processo de reflexão e amadurecimento institucional do Instituto. Uma prova desse amadurecimento é a situação atual de excelência na preparação pedagógica e de logística de uma das maiores avaliações em larga escala do mundo.

Para isso foi preciso muito esforço no fortalecimento da capacidade institucional do Inep, articulação com outras instituições, investimento em planejamento e logística de aplicação. Além disso, é preciso entender que faz parte do processo dialogar com as críticas que surgem no caminho.

#Gazolina

Exemplo do grau de amadurecimento que o Exame atingiu foi o resultado do monitoramento das redes sociais do 1o dia de aplicação do Enem 2013. O termo que gerou mais polêmica no primeiro dia de provas foi o uso da termo #gazolina com grafia com Z. Vários estudantes utilizaram as mídias sociais para protestarem contra o Inep logo após o primeiro dia de prova. Em pouco mais de meia hora, foram 1500 tweets, alcançando mais de 23 mil publicações até a manhã de domingo.

A palavra “gazolina” pode ser encontrada nos acervos de edições antigas de jornais como O Globo, Estadão e Folha de São Paulo, todos digitalizados e disponíveis em links públicos. A grafia com S aparece apenas nos anos 30, prevalecendo durante décadas na linguagem corrente as formas com “s” e “z”.

Links: O Globo, Estadão e Folha.

Uma breve pesquisa mostra que o termo já teve uso bastante corriqueiro no passado. O Inep comemora a polêmica porque ela traz reflexões e aprendizado para a sociedade no conhecimento sobre seu idioma.

Polêmicas Pegagógicas

A polêmica em torno de questões pedagógicas é uma prova dos avanços do Inep, conseguimos resolver os problemas reais da aplicação, e quando isto ocorre, ganha importância para estudantes, escolas, preparatórios e veículos de imprensa discutir o conteúdo da prova. E o Inep, principalmente por acompanhar os debates nas mídias sociais, se alimenta disso e avança também no pedagógico.

Deste modo, apagamos o incêndio usando Gazolina, pois é este debate que precisamos fazer com a sociedade.

 

Relatório de Gestão – 2011 e 2012

Abaixo segue um relatório histórico demonstrativo das ações desenvolvidas no período de março de 2011 à março de 2012 pela então Subunidade de Distribuição e Infraestrutura (UDI), pertencente à Unidade de Operações Logísticas (UOL) do Inep.

No Inep a Unidade de Operações Logísticas – UOL foi criada em 2011 com o objetivo de assumir todo o planejamento, coordenação, orientação e controle das atividades relacionadas à produção gráfica, à distribuição dos materiais e à aplicação das avaliações/exames realizados pelo Inep, e demais procedimentos necessários à implementação das ações operacionais das Avaliações Externas de Larga Escala.

A partir dessa ideia foram criadas 3 subunidades – Aplicação, distribuição e produção gráfica. Nessa estrutura e naquele momento se apresentava como responsabilidade da UDI/UOL:

  • planejar, coordenar, orientar e controlar a execução das atividades relacionadas à distribuição dos materiais necessários a aplicação das avaliações e pré-testagem de itens;
  • planejar e promover a realização de estudos visando à proposta de melhoria da qualidade no processo de coleta e distribuição dos materiais necessários a aplicação das avaliações e pré-testagem de itens;
  • coordenar, supervisionar e acompanhar a definição dos locais de armazenamento de materiais de avaliação e pré-testagem de itens; e demais procedimentos correlatos.

Esse Relatório consolida as atividades desenvolvidas no período de 2011 e 2012 dessa Subunidade.


Relatório de gestão DGP-UOL-2011/2012

Link

INEP LANÇA EDITAL DE PROPOSTAS INOVADORAS EM AVALIAÇÃO DA EDUCAÇÃO BÁSICA

No link acima, está o edital lançado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – INEP,  para credenciamento de pessoas físicas, pessoas jurídicas, instituições públicas e privadas que tenham propostas inovadoras no uso  das ferramentas de avaliação da educação básica, para compor o Banco de Propostas  Inovadoras em Avaliação da Educação Básica do Inep .

Esta Chamada Pública insere-se dentro de um processo mais amplo de disseminação de ferramentas, com base no uso de tecnologias  da informação, que possibilitem qualificar o acesso de estudantes de escolas públicas a processos inovadores que envolvam as avaliações da educação básica do Inep, que contribuam para a solução dos problemas e  desafios da Educação Básica, promovendo avanços em relação aos objetivos e metas do Plano  Nacional de Educação e do Compromisso Todos pela Educação .

Inovação  –  Essa proposta é mais uma ação da Diretoria de Avaliação da Educação Básica – Daeb que incorpora o princípio da inovação na administração pública. Diante de tantos desafios institucionais, a equipe  incorporou o princípio de inovação em sua prática de gestão.

Essa postura de abertura a inovação foi essencial para a melhoria do processo de gestão. Incorporar o princípio da inovação como parte da solução dos novos problemas demandou o desenvolvimento de habilidades pouco usuais no serviço público, como, por exemplo, a abertura ao processo de aprendizagem pelo erro, o exercício da capacidade de escuta e do diálogo, a capacidade de olhar um problema sob várias óticas e entender que cada questão está enquadrada de diferentes maneiras, dependendo da escala, do cenário e do contexto.

Aprendizagem organizacional – Pensar no erro como um caminho para a inovação, além de ser muito importante, trouxe bons resultados para a Daeb, do ponto de vista do aprendizado organizacional. Uma das maiores lições aprendidas foi o diálogo com o conhecimento. Diante de tantos desafios vencidos nos últimos anos, tanto no Enem como no conjunto de avaliações da educação básica que são entregues todo ano pela Daeb, e de todo o trabalho realizado pela Diretoria, é possível entender por que inovar foi tão importante. A promoção da inovação na gestão pública foi uma das estratégias de incentivo à melhoria da qualidade das avaliações, entendidas como serviços prestados aos cidadãos. Consolidam-se espaços  abertos e favoráveis à construção de novas ideias que possam qualificar a entrega de valor aos produtos e serviços, bem como a promoção de processo contínuo e coletivo de reflexão sobre as práticas, para romper as barreiras típicas do serviço público, buscando arranjos institucionais compatíveis com os desafios institucionais da Daeb. 

Segurança das Avaliações Educacionais – problema mundial?

Uma rápida busca no google revela que o problema da segurança das avaliações e exames educacionais é um problema global. Estados Unidos, Inglaterra, Japão, China, e até o pequeno Emirados Arabes Unidos anotam problemas de segurança em seu processos de avaliação e exames de larga escala. Trata-se de uma importante experiência, no momento em que o Brasil avança na implementação e na consolidação de avaliações de larga escala.

  1. O Jornal USA TODAY realizou várias matérias sobre o problema das fraudes em avaliações educacionais em vários estados americanos. Testes de avaliação realizados em 2009 no Estado americano da Geórgia, por exemplo, revelaram que apenas 4% das escolas da Geórgia tinham problemas graves de qualidade de ensino. Apenas um ano antes (2008) foram mais de 15% das escolas públicas com problemas graves.
  2. Essa discrepância gerou dúvidas, e o Atlanta Journal-Constitution foi investigar. Usando registros abertos, o jornal publicou dezenas de histórias em 2008 e 2009 sobre aumentos de pontuação incomum em muitas escolas Geórgia.
  3. Em um caso recente descoberto pelo jornal, um diretor de uma escola de DeKalb County renunciou após admitir que tinha trabalhado para apagar respostas em testes de estudantes. O diretor se declarou culpado de uma acusação de falsificar um documento do Estado e foi banido da escola por dois anos.
  4. O Departamento de Justiça EUA (no ano de 2010) começou a investigar se as escolas de Atlanta poderiam ter cometido fraude, como revelado pelo Journal-Constitution. Um grande júri estava examinando se as escolas Atlanta tinham se qualificado para receber verbas federais adicionais inflando artificialmente resultados de Exames.
  5. O The Dayly Beast apresentou o caso do Texas. Por um tempo pareceu que a  Forest Borrk High School de Houston foi um brilhante exemplo de reforma do ensino. Em 2005, após anos de pontuações baixas, os resultados da escola dispararam: 95 por cento dos alunos do décimo primeiro ano passaram no teste de ciências do Estado. Administradores elogiaram o trabalho árduo dos professores. A escola recebeu uma doação de $ 165.000 dólares. Mas naquele mesmo ano, a Agência de Educação do Texas contratou a empresa Caveon, especializada em segurança de avaliações, para garantir que as avaliações educacionais de larga escala realizadas pelo Estado fossem válidas do ponto de vista da segurança. A Caveon, na sequencia de uma investigação realizada pelo jornal The Dallas Morning News, encontrou uma série de irregularidades nas avaliações realizadas pela escola Forest Brook. No ano seguinte, em 2006, as avaliações foram monitorado por agentes externos da Caveon e as pontuações da Forest Brook caíram vertiginosamente, sendo que apenas 39 por cento dos estudantes passaram em ciências, por exemplo. O The Dayly Beast afirma que esta é uma história chocante, mas comum. Como a lei da reforma da educação federal americana estabeleceu que as  pontuações nas avaliações de larga escala estaduais seriam um critério único pelo qual o sucesso escolar poderia ser aferido, os professores passaram a estar sob forte pressão para mostrar que a evolução do aprendizado das crianças. Infelizmente, para fazer isso, algumas se utilizam de meios ilícitos e fraudes, chegando em muitos casos apelando para a falsificação de resultados que poderiam ajudar a escola de periferia a sobreviver. Em nenhum outro lugar a pressão é mais intensa que no Texas, estado que foi a incubadora para a lei federal. Em 2005, a Caveon encontrou 700 escolas públicas do Texas que apresentaram teste com pontuação suspeita.

  6. A Inglaterra também teve problemas com a segurança das suas avaliações educacionais.  Em 2011, os exames “GCSE´s” e “A-levels”, (exames públicos para estudantes britânicos com 16 e 18 anos), que determinam o acesso à universidades, foram jogados em um clima de incerteza após uma equipe do Jornal  Daily Telegraph filmar seminários de 4 empresas que administram os Exames.
  7. Nesses seminários, professores davam dicas e prováveis questões das provas aos interessados. O Daily Telegraph enviou repórteres disfarçados para 13 seminários organizados por quatro das instituições que administram os exames. As empresas cobravam até US$ 360 dólares dos interessados em participar dos seminários. Um palestrante disse por exemplo, que os alunos precisavam estudar apenas três poemas em vez dos 15 indicados no currículo.
  8. De acordo com a matéria, o secretário da Educação, Michael Gove, disse que os relatos “confirmam que o sistema atual está desacreditado.” Em uma outra declaração,  o Sr. Gove disse que pediu para Glenys Stacey, o executivo-chefe da Ofqual, órgão regulador dos exames, investigar a conduta das empresas. A Ofqual disse que estava avaliando solicitar às empresas que retirassem certas questões ou até mesmo provas inteiras do seu processo de aplicação.
  9. O problema ocorrido na Inglaterra repercutiu em todos os meios de comunicação do país, e revela a importância da segurança no processo de elaboração das questões e das provas das avaliações educacionais.
  10. O desafio no caso específico da Inglaterra está relacionado à extrema competição entre os vários exames realizados no pais, e o temor de que a competição agressiva entre os mesmos tenham levado a um vale tudo entre a instituições aplicadoras. Este vale tudo do mercado levou, em casos extremos, a práticas desabonadoras, em que seria permitido até oferecer ajuda para que os professores das escolas pudessem obter melhores notas nos seus exames, fazendo que com determinada avaliação ou exame torne-se mais popular.
  11. Existem atualmente cinco bancas examinadoras oferecendo GCSEs:1) Assessment and Qualifications Alliance (AQA); 2) Oxford, Cambridge and RSA Examinations (OCR); 3) Edexcel; 4) Welsh Joint Education Committee (WJEC); 5) Council for the Curriculum, Examinations & Assessment (CCEA). Todas as bancas são reguladas pelo Escritório dos Reguladores de Qualificações (Ofqual) – um órgão público não departamental patrocinado pelo Departamento de Educação. Tradicionalmente, havia um número ainda maior de bancas de exame regional, mas mudanças na legislação permitiram que as escolas pudessem usar qualquer banca e uma série de fusões reduziu o número para cinco. O Conselho Conjunto para as Qualificações (JCQ) atua como uma voz única para os organismos de emissão e auxilia as instituições aplicadoras na criação de padrões comuns, regulamentos e orientações.
  12. Já o Huffington Post realizou ampla sequencia de matérias sobre o escritório de segurança da ETS. A ETS é a instituição que organiza o SAT americano.
  13. Enquanto os alunos vão passar a maior parte de quatro horas se preocupando com questões de Matemática e Inglês, a maior preocupação para aqueles que estão no escritório de segurança do Educational Testing Service (ETS), que administra o teste, é a fraude.
  14. Considerando os números, a segurança deve ser uma grande preocupação. Em média, o SAT tem 6 mil centros de realização de testes. O SAT, administrado pela primeira vez em 1926, foi administrado pela ETS desde a sua criação em 1947. Com 24 milhões de testes administrados por ano em 25 mil locais de prova em 192 países, o ETS tem administrado cerca de 1,5 bilhões de testes em toda sua história.
  15. A ETS emprega 35 pessoas em seu Escritório de Integridade de Testes. Esta equipe levou a prevenção ao golpe e a trapaça à categoria de ciência. Importante destacar que o trabalho do Escritório não é provar a existência de fraude, mas sim se certificar de que a pontuação de um participante está dentro dos padrões do Educational Testing Service.  “Se as nossas normas não forem cumpridas, podemos questionar a pontuação“, diz Ray Nicosia, Diretor Executivo do Escritório de Integridade Teste de ETS.
  16. Não é nosso trabalho provar fraude. Estamos apenas preocupados com a pontuação, esse é o nosso processo. Mantém-nos fora do tribunal. Nós não estamos dizendo que o participante individual enganou, estamos dizendo que temos razão para questionar a pontuação. (Ray Nicosia, Diretor Executivo do Escritório de Integridade Teste de ETS).
  17. Se no entanto, um adulto está envolvido com fraude no SAT, passando informações ou fornecendo gabaritos e resposta de testes roubados, então a ETS faz prosseguir uma ação criminal. “A segurança global da prova desde o seu início é muito detalhada. Nós não apenas nos preocupamos com a aplicação na sala de aula“, diz Nicosia. “Minha responsabilidade começa no próprio edifício sede, onde as pessoas estão escrevendo as perguntas do teste“.
  18. O Escritório pesquisa e investiga as centenas de elaboradores de questão antes de contratá-los para o SAT. Eles investigam ainda todos os que supervisionam a aplicação dos exames. Participam do planejamento da segurança de impressão, na segurança do transporte, no envio do material aos centros de testes de uma maneira segura e de forma rastreável.
  19. Nos centros de testes há sempre um supervisor, alguém acostumado a lidar com material confidencial. Seu trabalho é assegurar que todo o material esteja em local seguro desde o momento da entrega. Também é responsável pela contratação de pessoal, assim como a verificação se o pessoal é treinado e sabe o que fazer no dia de aplicação. Apesar de toda essa logística, Nicosia diz, que é a cola,  “o olho errante”, e não a tecnologia (celulares, câmeras de vídeo, etc) – que continua a ser o maior desafio de segurança da ETS.
  20. E assim, as salas são configuradas para que todas as mesas estejam numa única direção, espaçadas a uma distância específica para dificultar o “olho errante”. Os ID´s (cartões de identificação) são verificados, amigos e conhecidos separados e fiscais andam pelos corredores. Um inspetor que vê um estudante com um telefone celular pode descartar o aluno imediatamente. “Nós demos essa autoridade. Nós gastamos um monte de tempo e dinheiro na tentativa de impedir que alguém receba uma vantagem injusta”, diz Nicosia.
  21. E por isso é importante e fundamental a checagem e análise estatística realizada após a prova, em que são utilizados vários tipos de alerta/gatilhos. O gatilho mais típico é uma diferença grande entre um escore de pontuação do primeiro SAT e uma pontuação do segundo. O pessoal do escritório de segurança é treinado em análise grafológica, e nos casos em que há um grande salto de pontuação a caligrafia do participante é analisada. A análise vai confirmar se o participante é um impostor, ou alguém contratado para fazer o teste, ou um irmão ou um amigo. Se escrita está correta, o escritório faz um análise comparativa com aqueles que se sentam nas proximidades, verificando similaridades nas respostas corretas.
  22. Se a única coisa que se tem é o salto na nota, mas não há uma diferença de escrita, ou as respostas não estão combinando com qualquer outra pessoa próxima, então o caso é arquivado e a nota é liberada. Muitas vezes, uma investigação sobre uma pontuação vem de fora da ETS. Um colégio pode solicitar uma análise se um aluno com um média baixa na escola recebe uma pontuação muito alta no SAT. “Esse é um gatilho para a escola, mas não para ETS, que não vê históricos escolares“, explica Nicosia. A ETS pode também investigar as notas dos alunos, se houver um salto grande pontuação em uma cidade ou mesmo em uma escola. Há também uma linha direta, lançada por Nicosia uma dúzia de anos atrás. Qualquer pessoa com informação sobre fraude pode denunciar por fax, fone ou e-mail.  A ETS investiga esses casos, embora nenhuma pontuação seja invalidada sem uma investigação completa. De acordo com Nicosia, que tem supervisionado a segurança do SAT por 20 anos, 99 por cento dos estudantes que fazem o teste seguem as regras. Em outras palavras, apenas um por cento dos que tentam o SAT tentam buscar meios de fraude. Esse número é muito diferente do que uma pesquisa sobre tentativas de fraudes e colas no ensino médio e nas faculdades americana revela, que mostra que entre 80 e 90 por cento dos estudantes colam nas provas, trabalhos e projetos dada por suas escolas.
    Dada a discrepância, ficamos com a mais óbvia das perguntas: por que existe tal discrepância? Será que é somente porque Nicosia e sua equipe têm feito um bom trabalho e ficou tão difícil colar? Ou porque as regras e conseqüências previstas nos editais do ETS são tão bem definidos que os alunos compreendem o risco não vale a pena o resultado? Ou ainda por que faltam peças neste quebra-cabeças?

A revista The Economist tratou da facilidade da cola e da fraude no mundo moderno das avaliações educacionais.
Com a tecnologia moderna, câmeras em miniatura, smart phones e internet, roubar respostas de avaliações e compartilhá-las nunca foi tão fácil. Na verdade, o problema ficou tão grave que, em 2011, o governo japonês pediu que universidades do país proibissem celulares nos espaços se usam para realizar seus exames de ingresso. E Não são apenas os alunos que apelam. Professores, cujos salários dependem em parte de notas em avaliações, também estão apelando para fraudes e colas. Por outro lado, a própria  tecnologia permite que fraudes possam ser detectadas com mais facilidade do que antes. Assim, uma verdadeira corrida armamentista está se desenvolvendo entre organzadores de exames e fraudadores.

  1. O NY Times tratou também de caso relativo a segurança do SAT quando cobriu um caso de prisão de participantes que tentaram fraudar o SAT, que gerou uma audiência pública realizada pelo senado estadual de NY para tratar da segurança do SAT. Incomodado com a prisão de sete adolescentes de Long Island acusados de fraude no SAT, o College Board contratou um ex-diretor do FBI para rever seus procedimentos de segurança, e que vai analisar mais pontos de fragilidade do teste e reforçar a formação de supervisores dos seus centros de teste.
  2. Gaston Caperton, presidente do College Board e ex-governador do Estado de Virginia Ocicental, disse que, além de trazer a empresa do ex-chefe do FBI, Louis J. Freeh como consultor da ETS, o College Board também estava considerando incorporar salvaguardas adicionais para as próximas aplicações, incluindo reforçar os requisitos de identificação para os estudantes que o SAT e tirando fotografias digitais para garantir que eles são quem eles dizem que são. Ele anunciou as medidas de segurança durante uma audiência no Senado estadual em Farmingdale em outubro de 2011. Os parlamentares queriam respostas sobre denuncias e sobre o que os parlamentares viam como lapsos gritantes em termos de segurança para o exame.
  3. Os procedimentos que o E.T.S. usa são bastante inadequados em termos de segurança disse Bernard Kaplan, diretor da escola Great Neck Norte, que testemunhou na audiência. “Além disso, a resposta da ETS quando a trapaça ocorre é totalmente inadequada. Muito simplesmente, a E.T.S. ficou muito fácil de enganar“. Enquanto novas medidas de segurança representam uma mudança de tom para o College Board, os funcionários da ETS insistiram que seu sistema de segurança era adequado.
  4. Atualmente, se um participante do SAT é suspeito de fraude, suas pontuações são canceladas e ele tem permissão para refazer o teste. Kurt M. Landgraf, presidente e executivo-chefe da ETS, disse na audiência que sua empresa gasta US$ 25 milhões de dólares por ano somente em segurança, o que representa cerca de 10 por cento do seu orçamento global para os programas do College Board. Ele disse que cerca de 3.000 resultados de testes – de mais de dois milhões de exames realizados – são cancelados todos os anos, a maioria após avaliação de irregularidades ou por causa de grandes saltos de notas de um aluno em testes anteriores.
  5. Raymond Nicosia, diretor de segurança da ETS, disse que as imitações (uma pessoa fazer a prova por outra) eram uma pequena fração desses casos, talvez 150 casos por ano.
  6. Nos Emirados Arabes Unidos, o uso de um fone de ouvido Bluetooth do tamanho de uma lentilha está sendo usado por estudantes para trapacear durante os exames. De acordo com uma reportagem no jornal Al Khaleej, existe um grande número de queixas de professores, que afirmam: “O fone de ouvido é muito pequeno. Eles o usam para fazer cola nos exames.” Funcionários da Secretaria de educação que investigaram o assunto, disseram que esses dispositivos são altamente sofisticados e não são baratos. Um dos estudantes, que comprou tal dispositivo, disse que pagou mil dinares por ele. Ele acrescentou: “Ele tem várias especificações para habilitar o aluno a trapacear no exame, sem medo de ser descoberto, incluindo som de alta definição.
    Funcionários da educação temem que a única maneira de detectar os estudantes com estes dispositivos é  através de um detector de metais.
  7. Na China, quem está sob prova é o Gao Kao, sistema vestibular saudado como mecanismo eficaz para garantir a igualdade de oportunidades educativas os jovens chineses. O China Daily revelou um escândalo que expôs muitas falhas, bem a vulnerabilidade do mesmo ao abuso de poder e corrupção.  A China Central Television (CCTV) informou que três funcionários da Universidade de Pequim de Aeronáutica e Astronáutica (Beihang) haviam extorquido pelo menos 550 mil yuan (cerca de 70 mil dolares) de sete estudantes na Região Sul da China (Guangxi Zhuang).
  8. Em outra matéria o China Daily apresenta algumas estratégias de segurança do Gao Kao realizado em 2009. Câmeras de vídeo seriam instaladas em quase 60 mil centros de testes em todo o país para evitar que os alunos colassem no exame vestibular nacional. O Ministério da Educação teria um centro com o objetivo de acompanhar os vídeos e manter todas as filmagens para futuras investigações em caso de quaisquer alegações de cola, disse Zhang Weizhou, assistente do diretor do centro.
  9. Cerca de 10,2 milhões de alunos participaram do exame em 2009, que é visto na China como uma oportunidade única na vida para entrar na universidade e melhorar de vida.
  10. Todos os centros de testes operam 24 horas por dia. Os centros podem proceder a uma inspeção on-line de qualquer área de teste ou de bastidores, a qualquer momento, disse o responsável.
  11. A vigilância de vídeo não vai dar qualquer tipo de pressão“, disse LiFangzheng, 17, um estudante colegial em Pequim.”Essas medidas podem ajudar a garantir a equidade do exame e me sinto mais confiante com meu desempenho.”
  12. Enquanto isso, pessoas envolvidas com a elaboração do exame foram enclausuradas desde o final de abril e foram orientadas a não ter contato com o mundo exterior até que o exame fosse realizado. “Quanto menos as pessoas saberem sobre elas, mais seguro“, disse um comunicado no site do ministério.
  13. Enquanto isso, os Departamentos de Segurança Pública, Polícia Armada e o Departamento Estadual de Proteção de Documentos Confidenciais, Inspeção Disciplinar e de Telecomunicações foram alistados para evitar fraudes com equipamentos de alta tecnologia.”Para garantir a justiça para milhões de examinandos, este exame deve ser perfeitamente seguro“, disse o diretor do centro Dai Jiagan. A China retomou o vestibular em 1978 após a Revolução Cultural. Mas o exame tem sido castigado pelas fraudes por muitosanos, incluindo a exposição precoce de conteúdo do teste, passando por cola através de equipamentos de comunicação e estudantes usando identificação falsa. Nos últimos anos, empresas colocaram anúncios online oferecendo respostas através de um conjunto de equipamentos de comunicação sem fio durante o exame. Para bloquear a transmissão desses sinais, os organizadores do teste implantam rádio-monitoramento em carros fora dos centros de exame. Naquele período, foram desmantelados dois grupos acusados ​​de venda de equipamentos de comunicação sem fio para os alunos. Sete pessoas foram presas, de acordo com Jilin Daily. Em Guangdong, todas as salas de exame foram equipadas com um sistema de monitoramento eletrônico e todos os alunos foram monitorados on-line durante o exame, dispositivo que também seria acessível remotamente. Os chamados “e-policial” fariam o monitoramento de qualquer estudante que tentasse usar rádio ou redes de telecomunicações.
  14. Os que tentam fraudar e são descobertos enfrentam uma punição severa, segundo o ministério. Os candidatos que enganam através de equipamentos de alta tecnologia ou usam uma falsa identificação não são elegíveis para se inscrever em universidades ou participar de exame do ano subsequente. Estudantes universitários que trapacearem são expulsos da curso. Qualquer professor envolvido em fraude é removido de seu posto e outros cúmplices são punidos de acordo com a lei, disse o comunicado do ministério.

Adote um gramático!

No texto  – Sempre o ENEM – uma operação de guerra, publicado na Coluna virtual do Cláudio Humberto, o membro da Academia Brasileira de Letras Arnaldo Niskier mistura alhos com bugalhos e acaba fazendo (voluntária ou involuntariamente?!?) o triste papel de defensor da velha, antiga e pouco útil escola da decoreba.

Sem me aprofundar no debate proposto pelo acadêmico, por demais raso, da qualidade dos itens da prova do ENEM, ressalto que aparentemente a prova é toda  escrita na norma padrão de nossa língua portuguesa e apenas aqueles que não conhecem nossa língua tiveram dificuldades.

Por outro lado, o acadêmico parece esquecer que não se estuda gramática apenas por estudar. A intenção de estudar gramática nunca pode ter um fim em si mesma. Estudamos a gramática para que possamos nos comunicar com o mundo, compreender suas manifestações, seja lendo, ouvindo, conversando ou escrevendo.

Se o acadêmico está saudoso da presença de itens de conjugação verbal, crase, colocação pronominal descontextualizados e inúteis do ponto de vista comunicacional, é porque aparentemente freqüenta um castelinho acadêmico que ainda não se abriu para o mundo moderno.

Mas o pior, para quem acompanha o debate sobre a educação brasileira certo rigor, é o que parece estar por trás da interpretação do membro da Academia Brasileira de Letras: a defesa corporativa de uma categoria que está em extinção – os que acreditam que educar para a vida é decorar regras, fórmulas e conceitos, sem maior reflexão.

Me parece que o acadêmico só não é totalmente favorável ao fim do ENEM por que se beneficia, como dono de escola que é, de um subproduto não esperado do ENEM: a regulação do mercado da educação, através da criação do maldito ranqueamento entre escolas.

Gostaria de reproduzir um trecho em especial do texto do acadêmico:

O que está acontecendo, meio na surdina, é que os linguistas tomaram de assalto a elaboração das questões e desprezaram, como é do seu estilo, a importância da Gramática para o bom conhecimento do nosso idioma. Não dá para justificar essa preferência, a menos que o Inep deseje entrar para a história como o órgão público que acabou com a Gramática, nas nossas escolas. De onde terá vindo essa esdrúxula orientação?

Tire o ódio de seu coração, nobre acadêmico!

O INEP não quer acabar com a gramática, quer acabar com a inutilidade que está presente na decoreba como estratégia pedagógica, e já fartamente demonstrada em pesquisas que tratam do assunto.

No mundo de hoje, não há mais espaço para estratégias que estão focadas no passado, patrimonialistas inclusive (como aquelas velhas táticas que datam da época do Império, de buscar a aproximação do poder com homenagens e rega-bofes) e que olham o país com os olhos no passado, no espelho retrovisor.

O desafio do Brasil é superar essas práticas do passado, com os dois pés enterrados no presente e olhando para o futuro.

P.S. Imaginei como seria interessante o acadêmico mobilizando uma ampla campanha, com palanque na Cinelândia inclusive, discurso e choro: “Adote um gramático!”.

Tentando decifrar a TRI (Teoria de Resposta ao Item)

A Teoria da Resposta ao Item (TRI) baseia-se em um conjunto de modelos estatísticos que relacionam um ou mais traços latentes (não observados) de um indivíduo com a probabilidade deste dar uma certa resposta a um item.

O traço latente é a habilidade/proficiência que se quer mensurar. Basicamente, se diz que quanto maior a proficiência do examinado, maior a probabilidade de ele responder corretamente ao item.

Com um número razoável de respostas, “estimamos” os parâmetros de cada item: dificuldade (b), discriminação (a) e acerto casual (c), através de um processo estatístico .

A estimativa da habilidade do examinado é o valor da escala mais coerente com o conjunto de resposta dele, também através de um processo estatístico.

Assim, tomando como pressuposto que uma prova foi construída utilizando a TRI, ela vai apresentar itens que representam diferentes níveis de dificuldade. Calcular a proficiência de cada um dos respondentes vai levar em consideração qual item ele respondeu corretamente. No exemplo abaixo, em que 3 respondentes acertaram o mesmo número de itens, a TRI, quando estimada com três parâmetros (a, b e c), indicará diferentes níveis de proficiência para cada um deles.

De acordo com a TRI,  é possível inferir que o respondente 1 terá maior “nota”, já que acertou os itens em ordem de dificuldade crescente até a faixa de 400 da escala apresentada. A seguir virá o candidato 2, uma vez que demonstrou consistência no acerto de respostas até a faixa de 300.

Já o respondente 3, que acertou apenas o item na faixa de dificuldade 100, e teve os demais acertos em faixas aleatórias de dificuldade ao longo da prova, terá a menor proficiência dos três respondentes.

Assim, de maneira muito simplificada, a TRI é uma construção estatisticamente consistente, que permite a comparabilidade entre séries e anos, e que possibilita a construção de uma interpretação pedagógica da escala (isto é, o que representa do ponto de vista pedagógico, estar em cada um dos níveis de proficiência da escala).