Reflexões sobre o construto e a matriz de referência de autoavaliação da Gestão Escolar

O Plano Nacional de Educação do decênio 2014-2014 coloca centralidade no desafio de melhorar a qualidade do aprendizado de nossas crianças e jovens. A baixa qualidade da gestão educacional precisa ser entendida, enfrentada e superada. Nesse contexto os processos de gestão ganham importância na garantia do direito a educação de qualidade com equidade.

Uma gestão de qualidade, seja na escola, seja nas secretarias de educação, precisa ter foco no propósito, e o propósito é a busca permanente pela garantia do acesso, e do aprendizado na trajetória adequada, dentro dos princípios estabelecidos constitucionalmente. É preciso definir diferentes métricas que permitam à sociedade civil, aos gestores e professores acompanhar e participar ativamente do processo e assim enfrentar o desafio da melhoria a qualidade da gestão nas escolas e redes de ensino. Pela importância da gestão, se observa que a mesma se constitui como eixo de ampliação de indicadores do Sistema Nacional de Avaliação da Educação Básica, e a melhoria da qualidade da gestão está presente em várias de metas e estratégias do Plano Nacional de Educação (PNE) do Brasil, aprovado em 2014 por meio da Lei Federal n. 13.005/2016, para os próximos dez anos, sinalizando de maneira objetiva para a necessidade de se buscar a melhoria da qualidade da gestão escolar.

Acredito que é preciso avançar numa proposta de avaliação da gestão escolar. Para isso é preciso pactuar parâmetros de qualidade sobre a excelência na gestão escolar, e avançar na construção de processo de avaliação da Gestão de nossas escolas.

Essa postagem apresenta uma contribuição ao debate, iniciada na postagem anterior (veja aqui), fruto da reflexão realizada com colegas servidores do Inep sobre esse desafio. 

Se o primeiro passo na criação de uma avaliação da qualidade da gestão de unidades escolares é a definição do que seja uma gestão escolar de qualidade, o próximo passo é a definição do construto e da matriz de referência.

A literatura que tratado assunto apresenta algumas definições de construto. Urbina (2007), por exemplo, define construto como qualquer coisa criada pela mente humana que não seja diretamente observável. Já Silva e Ribeiro-Filho (2006) definem construto como sendo características não observáveis de que o pesquisador se utiliza para descrever comportamentos através de um dado critério ou escala. E Vianna (1987) define construtos como traços, aptidões ou características supostamente existentes e abstraídas de uma variedade de comportamentos que possuam significado psicológico (ou educacional), tais como fluência verbal, motivação, inteligência. Para Vianna, a operacionalização do construto ocorre mediante a utilização de testes ou instrumentos de medida adequadamente validados.

A mensuração de um construto requer que a definição conceitual do atributo avaliado seja traduzida para uma definição operacional, que é o indicador mais concreto para representar e quantificar o construto.  Pasquali (1998), revela que é preciso que as definições operacionais especifiquem e elenquem aquelas categorias de comportamentos, que seriam a representação comportamental do construto. Quanto melhor e mais completa for esta especificação, melhor será a garantia de que o instrumento que resultar para a medida do construto será válido e útil.

O Quadro a seguir apresenta sinteticamente tal conjunto de competências, a partir dos três eixos orientadores, com as seguintes definições.

construto

Esta análise é, às vezes, chamada de análise de conteúdo, mas propriamente deve ser chamada de análise de construto, dado que precisamente procura verificar a adequação da representação comportamental do(s) atributo(s) latente(s). Nessa análise, os juízes devem ser peritos na área do construto, pois sua tarefa consiste em ajuizar se os itens estão se referindo ou não ao traço em questão. Uma tabela de dupla entrada, com os itens arrolados na margem esquerda e os traços no cabeçalho, serve para coletar essa informação. Uma concordância de, pelo menos, 80% entre os juízes pode servir de critério de decisão sobre a pertinência do item ao traço a que teoricamente se refere.

A técnica exige que se dê aos juízes duas tabelas: uma com as definições constitutivas dos construtos/fatores para os quais se criaram os itens e outra tabela de dupla entrada com os fatores e os itens, em que são avaliados os itens que medem os dois fatores de raciocínio verbal (compreensão verbal e fluência verbal). Normalmente, é necessária uma terceira tabela que elenca os itens, uma vez que a tabela de dupla entrada geralmente não comporta a expressão completa do conteúdo dos itens. Com base nessas tabelas, a função dos juízes consiste em colocar um X para o item sob o fator ao qual o juiz julga o item se referir. Um número de 6 juízes já será suficiente para realizar esta tarefa. Itens que não atingirem uma concordância de aplicação aos fatores (cerca de 80%) obviamente apresentam problemas e seria o caso de descartá-los do instrumento-piloto. Isso vale, contudo, se o construto, para o qual está sendo construído o teste, apresentar fatores (particularmente quando forem em maior quantidade) que se supõem ou se sabe que não são correlacionados. Quando se supõem que os fatores sejam correlacionados, acontece que uma mesma tarefa (item) pode se referir, certamente com níveis de saturação diferente; mas de fato se referir simultaneamente a mais de um fator, o que implicaria que os juízes iriam mostrar alguma discordância quanto à aplicação do item a este ou a aquele fator. Neste caso, esta discordância deve ser considerada como concordância. Uma outra solução seria instruir os juízes a marcarem, para cada item, não o fator mas aqueles fatores aos quais o item se refere. Entretanto, com tal dica, abre-se campo para muita divagação por parte dos juízes e, assim, arriscar perder-se a utilidade prática dessa análise. Seria melhor instruir os juízes para colocarem, se possível, cada item sob um fator somente.

Com o trabalho dos juízes, ficam completados os procedimentos teóricos na construção do instrumento de medida, os quais comportaram a explicitação da teoria do(s) construto(s) envolvido(s), bem como a elaboração do instrumento piloto, que constitui a representação comportamental desses mesmos construtos e que se põe como a hipótese a ser empiricamente testada (validação do instrumento), tarefa que será iniciada com os procedimentos experimentais, os quais consistem em coletar informação empírica válida e submetê-la às análises estatísticas pertinentes em Psicometria.

A sistematização realizada delineou os três eixos que nortearam a organização das práticas e a construção do instrumento de auto avaliação, incluindo o conjunto de habilidades esperadas do gestor escolar, na forma da seguinte matriz de referencia:

matriz-gestao-na-escola

O próximo passo, definido o construto, a matriz e um conjunto de itens, é a realização de processo de pretestagem de itens.

REFERÊNCIAS BIBLIOGRÁFICAS

PASQUALI, L; Rev. Psiq. Clin. 25 (5) Edição Especial : 206-213, 1998

SILVA, JÁ; RIBEIRO-FILHO, NP. Avaliação e mensuração da dor. Pesquisa, teoria e prática. Ribeirão Preto: FUNPEC; 2006.

URBINA, S. Fundamentos de testagem psicológica. Porto Alegre: Artmed; 2007.

VIANNA, HM. Validade de constructo em testes educacionais. In: Vianna HM. Testes em educação. São Paulo: Ibrasa; 1987. p. 35-44.

Segurança das Avaliações Educacionais – problema mundial?

Uma rápida busca no google revela que o problema da segurança das avaliações e exames educacionais é um problema global. Estados Unidos, Inglaterra, Japão, China, e até o pequeno Emirados Arabes Unidos anotam problemas de segurança em seu processos de avaliação e exames de larga escala. Trata-se de uma importante experiência, no momento em que o Brasil avança na implementação e na consolidação de avaliações de larga escala.

  1. O Jornal USA TODAY realizou várias matérias sobre o problema das fraudes em avaliações educacionais em vários estados americanos. Testes de avaliação realizados em 2009 no Estado americano da Geórgia, por exemplo, revelaram que apenas 4% das escolas da Geórgia tinham problemas graves de qualidade de ensino. Apenas um ano antes (2008) foram mais de 15% das escolas públicas com problemas graves.
  2. Essa discrepância gerou dúvidas, e o Atlanta Journal-Constitution foi investigar. Usando registros abertos, o jornal publicou dezenas de histórias em 2008 e 2009 sobre aumentos de pontuação incomum em muitas escolas Geórgia.
  3. Em um caso recente descoberto pelo jornal, um diretor de uma escola de DeKalb County renunciou após admitir que tinha trabalhado para apagar respostas em testes de estudantes. O diretor se declarou culpado de uma acusação de falsificar um documento do Estado e foi banido da escola por dois anos.
  4. O Departamento de Justiça EUA (no ano de 2010) começou a investigar se as escolas de Atlanta poderiam ter cometido fraude, como revelado pelo Journal-Constitution. Um grande júri estava examinando se as escolas Atlanta tinham se qualificado para receber verbas federais adicionais inflando artificialmente resultados de Exames.
  5. O The Dayly Beast apresentou o caso do Texas. Por um tempo pareceu que a  Forest Borrk High School de Houston foi um brilhante exemplo de reforma do ensino. Em 2005, após anos de pontuações baixas, os resultados da escola dispararam: 95 por cento dos alunos do décimo primeiro ano passaram no teste de ciências do Estado. Administradores elogiaram o trabalho árduo dos professores. A escola recebeu uma doação de $ 165.000 dólares. Mas naquele mesmo ano, a Agência de Educação do Texas contratou a empresa Caveon, especializada em segurança de avaliações, para garantir que as avaliações educacionais de larga escala realizadas pelo Estado fossem válidas do ponto de vista da segurança. A Caveon, na sequencia de uma investigação realizada pelo jornal The Dallas Morning News, encontrou uma série de irregularidades nas avaliações realizadas pela escola Forest Brook. No ano seguinte, em 2006, as avaliações foram monitorado por agentes externos da Caveon e as pontuações da Forest Brook caíram vertiginosamente, sendo que apenas 39 por cento dos estudantes passaram em ciências, por exemplo. O The Dayly Beast afirma que esta é uma história chocante, mas comum. Como a lei da reforma da educação federal americana estabeleceu que as  pontuações nas avaliações de larga escala estaduais seriam um critério único pelo qual o sucesso escolar poderia ser aferido, os professores passaram a estar sob forte pressão para mostrar que a evolução do aprendizado das crianças. Infelizmente, para fazer isso, algumas se utilizam de meios ilícitos e fraudes, chegando em muitos casos apelando para a falsificação de resultados que poderiam ajudar a escola de periferia a sobreviver. Em nenhum outro lugar a pressão é mais intensa que no Texas, estado que foi a incubadora para a lei federal. Em 2005, a Caveon encontrou 700 escolas públicas do Texas que apresentaram teste com pontuação suspeita.

  6. A Inglaterra também teve problemas com a segurança das suas avaliações educacionais.  Em 2011, os exames “GCSE´s” e “A-levels”, (exames públicos para estudantes britânicos com 16 e 18 anos), que determinam o acesso à universidades, foram jogados em um clima de incerteza após uma equipe do Jornal  Daily Telegraph filmar seminários de 4 empresas que administram os Exames.
  7. Nesses seminários, professores davam dicas e prováveis questões das provas aos interessados. O Daily Telegraph enviou repórteres disfarçados para 13 seminários organizados por quatro das instituições que administram os exames. As empresas cobravam até US$ 360 dólares dos interessados em participar dos seminários. Um palestrante disse por exemplo, que os alunos precisavam estudar apenas três poemas em vez dos 15 indicados no currículo.
  8. De acordo com a matéria, o secretário da Educação, Michael Gove, disse que os relatos “confirmam que o sistema atual está desacreditado.” Em uma outra declaração,  o Sr. Gove disse que pediu para Glenys Stacey, o executivo-chefe da Ofqual, órgão regulador dos exames, investigar a conduta das empresas. A Ofqual disse que estava avaliando solicitar às empresas que retirassem certas questões ou até mesmo provas inteiras do seu processo de aplicação.
  9. O problema ocorrido na Inglaterra repercutiu em todos os meios de comunicação do país, e revela a importância da segurança no processo de elaboração das questões e das provas das avaliações educacionais.
  10. O desafio no caso específico da Inglaterra está relacionado à extrema competição entre os vários exames realizados no pais, e o temor de que a competição agressiva entre os mesmos tenham levado a um vale tudo entre a instituições aplicadoras. Este vale tudo do mercado levou, em casos extremos, a práticas desabonadoras, em que seria permitido até oferecer ajuda para que os professores das escolas pudessem obter melhores notas nos seus exames, fazendo que com determinada avaliação ou exame torne-se mais popular.
  11. Existem atualmente cinco bancas examinadoras oferecendo GCSEs:1) Assessment and Qualifications Alliance (AQA); 2) Oxford, Cambridge and RSA Examinations (OCR); 3) Edexcel; 4) Welsh Joint Education Committee (WJEC); 5) Council for the Curriculum, Examinations & Assessment (CCEA). Todas as bancas são reguladas pelo Escritório dos Reguladores de Qualificações (Ofqual) – um órgão público não departamental patrocinado pelo Departamento de Educação. Tradicionalmente, havia um número ainda maior de bancas de exame regional, mas mudanças na legislação permitiram que as escolas pudessem usar qualquer banca e uma série de fusões reduziu o número para cinco. O Conselho Conjunto para as Qualificações (JCQ) atua como uma voz única para os organismos de emissão e auxilia as instituições aplicadoras na criação de padrões comuns, regulamentos e orientações.
  12. Já o Huffington Post realizou ampla sequencia de matérias sobre o escritório de segurança da ETS. A ETS é a instituição que organiza o SAT americano.
  13. Enquanto os alunos vão passar a maior parte de quatro horas se preocupando com questões de Matemática e Inglês, a maior preocupação para aqueles que estão no escritório de segurança do Educational Testing Service (ETS), que administra o teste, é a fraude.
  14. Considerando os números, a segurança deve ser uma grande preocupação. Em média, o SAT tem 6 mil centros de realização de testes. O SAT, administrado pela primeira vez em 1926, foi administrado pela ETS desde a sua criação em 1947. Com 24 milhões de testes administrados por ano em 25 mil locais de prova em 192 países, o ETS tem administrado cerca de 1,5 bilhões de testes em toda sua história.
  15. A ETS emprega 35 pessoas em seu Escritório de Integridade de Testes. Esta equipe levou a prevenção ao golpe e a trapaça à categoria de ciência. Importante destacar que o trabalho do Escritório não é provar a existência de fraude, mas sim se certificar de que a pontuação de um participante está dentro dos padrões do Educational Testing Service.  “Se as nossas normas não forem cumpridas, podemos questionar a pontuação“, diz Ray Nicosia, Diretor Executivo do Escritório de Integridade Teste de ETS.
  16. Não é nosso trabalho provar fraude. Estamos apenas preocupados com a pontuação, esse é o nosso processo. Mantém-nos fora do tribunal. Nós não estamos dizendo que o participante individual enganou, estamos dizendo que temos razão para questionar a pontuação. (Ray Nicosia, Diretor Executivo do Escritório de Integridade Teste de ETS).
  17. Se no entanto, um adulto está envolvido com fraude no SAT, passando informações ou fornecendo gabaritos e resposta de testes roubados, então a ETS faz prosseguir uma ação criminal. “A segurança global da prova desde o seu início é muito detalhada. Nós não apenas nos preocupamos com a aplicação na sala de aula“, diz Nicosia. “Minha responsabilidade começa no próprio edifício sede, onde as pessoas estão escrevendo as perguntas do teste“.
  18. O Escritório pesquisa e investiga as centenas de elaboradores de questão antes de contratá-los para o SAT. Eles investigam ainda todos os que supervisionam a aplicação dos exames. Participam do planejamento da segurança de impressão, na segurança do transporte, no envio do material aos centros de testes de uma maneira segura e de forma rastreável.
  19. Nos centros de testes há sempre um supervisor, alguém acostumado a lidar com material confidencial. Seu trabalho é assegurar que todo o material esteja em local seguro desde o momento da entrega. Também é responsável pela contratação de pessoal, assim como a verificação se o pessoal é treinado e sabe o que fazer no dia de aplicação. Apesar de toda essa logística, Nicosia diz, que é a cola,  “o olho errante”, e não a tecnologia (celulares, câmeras de vídeo, etc) – que continua a ser o maior desafio de segurança da ETS.
  20. E assim, as salas são configuradas para que todas as mesas estejam numa única direção, espaçadas a uma distância específica para dificultar o “olho errante”. Os ID´s (cartões de identificação) são verificados, amigos e conhecidos separados e fiscais andam pelos corredores. Um inspetor que vê um estudante com um telefone celular pode descartar o aluno imediatamente. “Nós demos essa autoridade. Nós gastamos um monte de tempo e dinheiro na tentativa de impedir que alguém receba uma vantagem injusta”, diz Nicosia.
  21. E por isso é importante e fundamental a checagem e análise estatística realizada após a prova, em que são utilizados vários tipos de alerta/gatilhos. O gatilho mais típico é uma diferença grande entre um escore de pontuação do primeiro SAT e uma pontuação do segundo. O pessoal do escritório de segurança é treinado em análise grafológica, e nos casos em que há um grande salto de pontuação a caligrafia do participante é analisada. A análise vai confirmar se o participante é um impostor, ou alguém contratado para fazer o teste, ou um irmão ou um amigo. Se escrita está correta, o escritório faz um análise comparativa com aqueles que se sentam nas proximidades, verificando similaridades nas respostas corretas.
  22. Se a única coisa que se tem é o salto na nota, mas não há uma diferença de escrita, ou as respostas não estão combinando com qualquer outra pessoa próxima, então o caso é arquivado e a nota é liberada. Muitas vezes, uma investigação sobre uma pontuação vem de fora da ETS. Um colégio pode solicitar uma análise se um aluno com um média baixa na escola recebe uma pontuação muito alta no SAT. “Esse é um gatilho para a escola, mas não para ETS, que não vê históricos escolares“, explica Nicosia. A ETS pode também investigar as notas dos alunos, se houver um salto grande pontuação em uma cidade ou mesmo em uma escola. Há também uma linha direta, lançada por Nicosia uma dúzia de anos atrás. Qualquer pessoa com informação sobre fraude pode denunciar por fax, fone ou e-mail.  A ETS investiga esses casos, embora nenhuma pontuação seja invalidada sem uma investigação completa. De acordo com Nicosia, que tem supervisionado a segurança do SAT por 20 anos, 99 por cento dos estudantes que fazem o teste seguem as regras. Em outras palavras, apenas um por cento dos que tentam o SAT tentam buscar meios de fraude. Esse número é muito diferente do que uma pesquisa sobre tentativas de fraudes e colas no ensino médio e nas faculdades americana revela, que mostra que entre 80 e 90 por cento dos estudantes colam nas provas, trabalhos e projetos dada por suas escolas.
    Dada a discrepância, ficamos com a mais óbvia das perguntas: por que existe tal discrepância? Será que é somente porque Nicosia e sua equipe têm feito um bom trabalho e ficou tão difícil colar? Ou porque as regras e conseqüências previstas nos editais do ETS são tão bem definidos que os alunos compreendem o risco não vale a pena o resultado? Ou ainda por que faltam peças neste quebra-cabeças?

A revista The Economist tratou da facilidade da cola e da fraude no mundo moderno das avaliações educacionais.
Com a tecnologia moderna, câmeras em miniatura, smart phones e internet, roubar respostas de avaliações e compartilhá-las nunca foi tão fácil. Na verdade, o problema ficou tão grave que, em 2011, o governo japonês pediu que universidades do país proibissem celulares nos espaços se usam para realizar seus exames de ingresso. E Não são apenas os alunos que apelam. Professores, cujos salários dependem em parte de notas em avaliações, também estão apelando para fraudes e colas. Por outro lado, a própria  tecnologia permite que fraudes possam ser detectadas com mais facilidade do que antes. Assim, uma verdadeira corrida armamentista está se desenvolvendo entre organzadores de exames e fraudadores.

  1. O NY Times tratou também de caso relativo a segurança do SAT quando cobriu um caso de prisão de participantes que tentaram fraudar o SAT, que gerou uma audiência pública realizada pelo senado estadual de NY para tratar da segurança do SAT. Incomodado com a prisão de sete adolescentes de Long Island acusados de fraude no SAT, o College Board contratou um ex-diretor do FBI para rever seus procedimentos de segurança, e que vai analisar mais pontos de fragilidade do teste e reforçar a formação de supervisores dos seus centros de teste.
  2. Gaston Caperton, presidente do College Board e ex-governador do Estado de Virginia Ocicental, disse que, além de trazer a empresa do ex-chefe do FBI, Louis J. Freeh como consultor da ETS, o College Board também estava considerando incorporar salvaguardas adicionais para as próximas aplicações, incluindo reforçar os requisitos de identificação para os estudantes que o SAT e tirando fotografias digitais para garantir que eles são quem eles dizem que são. Ele anunciou as medidas de segurança durante uma audiência no Senado estadual em Farmingdale em outubro de 2011. Os parlamentares queriam respostas sobre denuncias e sobre o que os parlamentares viam como lapsos gritantes em termos de segurança para o exame.
  3. Os procedimentos que o E.T.S. usa são bastante inadequados em termos de segurança disse Bernard Kaplan, diretor da escola Great Neck Norte, que testemunhou na audiência. “Além disso, a resposta da ETS quando a trapaça ocorre é totalmente inadequada. Muito simplesmente, a E.T.S. ficou muito fácil de enganar“. Enquanto novas medidas de segurança representam uma mudança de tom para o College Board, os funcionários da ETS insistiram que seu sistema de segurança era adequado.
  4. Atualmente, se um participante do SAT é suspeito de fraude, suas pontuações são canceladas e ele tem permissão para refazer o teste. Kurt M. Landgraf, presidente e executivo-chefe da ETS, disse na audiência que sua empresa gasta US$ 25 milhões de dólares por ano somente em segurança, o que representa cerca de 10 por cento do seu orçamento global para os programas do College Board. Ele disse que cerca de 3.000 resultados de testes – de mais de dois milhões de exames realizados – são cancelados todos os anos, a maioria após avaliação de irregularidades ou por causa de grandes saltos de notas de um aluno em testes anteriores.
  5. Raymond Nicosia, diretor de segurança da ETS, disse que as imitações (uma pessoa fazer a prova por outra) eram uma pequena fração desses casos, talvez 150 casos por ano.
  6. Nos Emirados Arabes Unidos, o uso de um fone de ouvido Bluetooth do tamanho de uma lentilha está sendo usado por estudantes para trapacear durante os exames. De acordo com uma reportagem no jornal Al Khaleej, existe um grande número de queixas de professores, que afirmam: “O fone de ouvido é muito pequeno. Eles o usam para fazer cola nos exames.” Funcionários da Secretaria de educação que investigaram o assunto, disseram que esses dispositivos são altamente sofisticados e não são baratos. Um dos estudantes, que comprou tal dispositivo, disse que pagou mil dinares por ele. Ele acrescentou: “Ele tem várias especificações para habilitar o aluno a trapacear no exame, sem medo de ser descoberto, incluindo som de alta definição.
    Funcionários da educação temem que a única maneira de detectar os estudantes com estes dispositivos é  através de um detector de metais.
  7. Na China, quem está sob prova é o Gao Kao, sistema vestibular saudado como mecanismo eficaz para garantir a igualdade de oportunidades educativas os jovens chineses. O China Daily revelou um escândalo que expôs muitas falhas, bem a vulnerabilidade do mesmo ao abuso de poder e corrupção.  A China Central Television (CCTV) informou que três funcionários da Universidade de Pequim de Aeronáutica e Astronáutica (Beihang) haviam extorquido pelo menos 550 mil yuan (cerca de 70 mil dolares) de sete estudantes na Região Sul da China (Guangxi Zhuang).
  8. Em outra matéria o China Daily apresenta algumas estratégias de segurança do Gao Kao realizado em 2009. Câmeras de vídeo seriam instaladas em quase 60 mil centros de testes em todo o país para evitar que os alunos colassem no exame vestibular nacional. O Ministério da Educação teria um centro com o objetivo de acompanhar os vídeos e manter todas as filmagens para futuras investigações em caso de quaisquer alegações de cola, disse Zhang Weizhou, assistente do diretor do centro.
  9. Cerca de 10,2 milhões de alunos participaram do exame em 2009, que é visto na China como uma oportunidade única na vida para entrar na universidade e melhorar de vida.
  10. Todos os centros de testes operam 24 horas por dia. Os centros podem proceder a uma inspeção on-line de qualquer área de teste ou de bastidores, a qualquer momento, disse o responsável.
  11. A vigilância de vídeo não vai dar qualquer tipo de pressão“, disse LiFangzheng, 17, um estudante colegial em Pequim.”Essas medidas podem ajudar a garantir a equidade do exame e me sinto mais confiante com meu desempenho.”
  12. Enquanto isso, pessoas envolvidas com a elaboração do exame foram enclausuradas desde o final de abril e foram orientadas a não ter contato com o mundo exterior até que o exame fosse realizado. “Quanto menos as pessoas saberem sobre elas, mais seguro“, disse um comunicado no site do ministério.
  13. Enquanto isso, os Departamentos de Segurança Pública, Polícia Armada e o Departamento Estadual de Proteção de Documentos Confidenciais, Inspeção Disciplinar e de Telecomunicações foram alistados para evitar fraudes com equipamentos de alta tecnologia.”Para garantir a justiça para milhões de examinandos, este exame deve ser perfeitamente seguro“, disse o diretor do centro Dai Jiagan. A China retomou o vestibular em 1978 após a Revolução Cultural. Mas o exame tem sido castigado pelas fraudes por muitosanos, incluindo a exposição precoce de conteúdo do teste, passando por cola através de equipamentos de comunicação e estudantes usando identificação falsa. Nos últimos anos, empresas colocaram anúncios online oferecendo respostas através de um conjunto de equipamentos de comunicação sem fio durante o exame. Para bloquear a transmissão desses sinais, os organizadores do teste implantam rádio-monitoramento em carros fora dos centros de exame. Naquele período, foram desmantelados dois grupos acusados ​​de venda de equipamentos de comunicação sem fio para os alunos. Sete pessoas foram presas, de acordo com Jilin Daily. Em Guangdong, todas as salas de exame foram equipadas com um sistema de monitoramento eletrônico e todos os alunos foram monitorados on-line durante o exame, dispositivo que também seria acessível remotamente. Os chamados “e-policial” fariam o monitoramento de qualquer estudante que tentasse usar rádio ou redes de telecomunicações.
  14. Os que tentam fraudar e são descobertos enfrentam uma punição severa, segundo o ministério. Os candidatos que enganam através de equipamentos de alta tecnologia ou usam uma falsa identificação não são elegíveis para se inscrever em universidades ou participar de exame do ano subsequente. Estudantes universitários que trapacearem são expulsos da curso. Qualquer professor envolvido em fraude é removido de seu posto e outros cúmplices são punidos de acordo com a lei, disse o comunicado do ministério.

2 anos de Blog – Um Blog sobre TRI, Geografia e Saúde

Em 26 de janeiro de 2010 publiquei a primeira postagem. Agora já se vão quase dois anos, e para comemorar, resolvi apresentar algumas estatísticas sobre o blog.

Uma das dúvidas que eu tinha era sobre o que escrever no blog. Deveria tratar de quais assuntos e temáticas? Então escrevi sobre tudo aquilo que deu vontade. Vendo as estatísticas, estou observando que os que vem até aqui, vem basicamente por três motivos: TRI (Teoria de Resposta ao Item), geografia e saúde pública. Pelo menos é o que indicam as estatísticas de acesso ao blog.

Assim, passados dois anos e mais de 6 mil acessos ao blog, vejo que o campeão absoluto de acessos é a postagem que tenta desmistificar a Teoria de Resposta ao Item – “Tentando decifrar a TRI (Teoria de Resposta ao Item)”. A postagem sobre a TRI é a mais acessada disparada do blog, com 22,6% do total de acessos.   A utilização da TRI no ENEM e a sua complexidade no cenário nacional  com certeza foi o fator chave para o sucesso da postagem, que está na primeira página do google quando se busca o assunto.

Os temas ligados a geografia e a saúde pública também tem destaque.   isso fica evidente quando se observam os temas que são os mais acessados logo a seguir. Em segundo lugar vem a postagem “Lugar e Território em Saúde Pública“, com 4,1% de acessos. O top five se completa com as postagens “Urbanização em hub – Aerotropolis é o futuro?“, com 3,1%, “Breves Notas sobre o Público, a Massa e a Multidão” e “Astana, Cazaquistão: uma capital nas estepes” com 2,6%. Detalhe importante é que todas as temáticas estão bem posicionadas na primeira página do Google.

A seguir aparecem as seguintes postagens: “Possibilidades de pesquisa do Censo Escolar” e “Geopolítica Latinoamericana: Brasil Imperialista?” com 2,5%; “Depois dos BRIC’s, surgem os PIGS!”, com 2,1%; “Indústria tabagista quer manter aditivos com potencial cancerígeno” e “Visita ao Ministro Gilberto Carvalho” com 1,7%.

Assim, são dois anos de blog que gostaria de compartilhar com os que gostam de geografia, de saúde e estatística (TRI)!

Tentando decifrar a TRI (Teoria de Resposta ao Item)

A Teoria da Resposta ao Item (TRI) baseia-se em um conjunto de modelos estatísticos que relacionam um ou mais traços latentes (não observados) de um indivíduo com a probabilidade deste dar uma certa resposta a um item.

O traço latente é a habilidade/proficiência que se quer mensurar. Basicamente, se diz que quanto maior a proficiência do examinado, maior a probabilidade de ele responder corretamente ao item.

Com um número razoável de respostas, “estimamos” os parâmetros de cada item: dificuldade (b), discriminação (a) e acerto casual (c), através de um processo estatístico .

A estimativa da habilidade do examinado é o valor da escala mais coerente com o conjunto de resposta dele, também através de um processo estatístico.

Assim, tomando como pressuposto que uma prova foi construída utilizando a TRI, ela vai apresentar itens que representam diferentes níveis de dificuldade. Calcular a proficiência de cada um dos respondentes vai levar em consideração qual item ele respondeu corretamente. No exemplo abaixo, em que 3 respondentes acertaram o mesmo número de itens, a TRI, quando estimada com três parâmetros (a, b e c), indicará diferentes níveis de proficiência para cada um deles.

De acordo com a TRI,  é possível inferir que o respondente 1 terá maior “nota”, já que acertou os itens em ordem de dificuldade crescente até a faixa de 400 da escala apresentada. A seguir virá o candidato 2, uma vez que demonstrou consistência no acerto de respostas até a faixa de 300.

Já o respondente 3, que acertou apenas o item na faixa de dificuldade 100, e teve os demais acertos em faixas aleatórias de dificuldade ao longo da prova, terá a menor proficiência dos três respondentes.

Assim, de maneira muito simplificada, a TRI é uma construção estatisticamente consistente, que permite a comparabilidade entre séries e anos, e que possibilita a construção de uma interpretação pedagógica da escala (isto é, o que representa do ponto de vista pedagógico, estar em cada um dos níveis de proficiência da escala).