A Teoria da Resposta ao Item (TRI) e o ENEM

  • MEC vai esclarecer sobre TRI à Justiça Federal do Ceará

    Informado pela imprensa sobre o teor da decisão da juíza Carla de Almeida Miranda Maia, da 7ª Vara Federal do Ceará, que determinou a suspensão das provas do Exame Nacional do Ensino Médio (Enem) de 2010, o Ministério da Educação esclarece que a preocupação da magistrada referente à igualdade de condições dos concorrentes está assegurada pela utilização da Teoria de Resposta ao Item (TRI).

    Desde o Enem do ano passado, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) aplica a TRI, que permite a comparabilidade no tempo. Em 2009, por exemplo, foram aplicadas duas provas distintas em momentos distintos, em virtude de inundações em duas cidades do Espírito Santo e as provas nos presídios.

    A consultoria jurídica do MEC/Inep, neste momento, ultima ações de esclarecimento à Justiça Federal do Ceará.

    Com a TRI, o conjunto de modelos matemáticos usados no Enem permite que os exames tenham o mesmo grau de dificuldade. Testadas antes da prova, as questões ganham um peso que varia de acordo com o desempenho dos estudantes nos pré-testes — quanto mais alunos acertam uma determinada pergunta, menor o peso que ela terá na prova porque o grau de dificuldade é supostamente menor.

    A aplicação da teoria da resposta ao item é frequente nas avaliações em testes de múltipla escolha aplicados em diversos países. No Brasil, a TRI é usada desde 1995 nas provas do Sistema Nacional de Avaliação da Educação Básica (Saeb), que mede o desempenho de estudantes do ensino fundamental e médio. Em 2009, foi usada pelo Enem com o objetivo de garantir a comparação das notas do exame daquele ano com os seguintes.

    Assessoria de Comunicação Social do MEC.

     

  • Metodologia usada para correção define notas máxima e mínima

    A cada edição do Exame Nacional do Ensino Médio (Enem), os valores dos índices mínimo e máximo de desempenho por disciplina se alteram e são divulgados pelo Instituto Nacional de Estudos e Pesquisas (Inep). Esses índices são definidos a partir da menor e da maior nota, obtidas pela totalidade dos participantes do exame.

    Uma das características da teoria de resposta ao item (TRI), metodologia aplicada pelo Inep na correção do Enem e outras avaliações, é não existir um zero absoluto, ainda que os candidatos tenham entregue a prova completamente em branco. Por esta razão, no caso especifico do Enem, o Inep divulga as maiores e menores notas obtidas pela totalidade dos participantes.

    Por exemplo, no Enem 2011, as notas mínimas divulgadas (252,9 para ciências humanas, 265 para ciências da natureza, 321,6 para matemática e 301,2 para linguagens) referem-se a uma prova especial elaborada para alunos com deficiência visual. A menor nota para alunos convencionais é um pouco diferente. Esta diferença se explica porque algumas questões que exigem acuidade visual podem ser substituídas por outras com uma calibragem distinta.

    Desta forma, para alunos convencionais que entregaram a prova em branco, as menores notas são: 304,2 (inglês) ou 301,2 (espanhol) em linguagens; 321,6 em matemática, 252,9 em ciências humanas e 269,0 em ciências da natureza.

    A professora Mônica Nunes, de Campinas (SP), que se inscreveu no Enem 2011 e não transcreveu respostas para os cartões, obteve exatamente a nota mínima para um candidato convencional que se limitou a assinar as provas.

    Assessoria de Comunicação Social do MEC.

     

  • ONU diz que teoria de resposta garante isonomia das provas

    A Coordenação da Organização das Nações Unidas (ONU) no Brasil divulgou nota nesta quinta-feira, 11, em que afirma que a Teoria de Resposta ao Item (TRI) garante a isonomia das provas do Exame Nacional do Ensino Médio (Enem), mesmo se aplicadas em períodos diferentes. A TRI se baseia em modelos matemáticos que permitem a elaboração de provas com o mesmo grau de dificuldade.

    Na nota, a ONU ressalta que “o uso dessa metodologia apresenta amplo respaldo na literatura científica internacional (…) e tem sido utilizada em um conjunto importante de avaliações conduzidas por organismos internacionais”. Entre as vantagens metodológicas da TRI, segundo a organização, está a possibilidade de elaboração de provas diferentes para o mesmo exame, que podem ser aplicadas em qualquer período do ano, com o mesmo grau de dificuldade, permitindo a comparabilidade no tempo.

    A ONU também destaca, no documento, que a TRI “prioriza o uso de habilidades reflexivas e analíticas em detrimento da memorização de conteúdos, o que representa um avanço importante em relação a outros modelos de avaliação”.

    Estudantes– O ministro da Educação, Fernando Haddad, recebeu na tarde desta quinta-feira os representantes da União Nacional dos Estudantes (UNE) e da União Brasileira dos Estudantes Secundaristas (Ubes), que levaram ao seu conhecimento as principais reclamações dos jovens brasileiros em relação ao Enem.

    Augusto Chagas, presidente da UNE, afirmou que a posição da entidade é a de que o Enem 2010 não seja anulado, mas que os candidatos que se sentiram prejudicados tenham direito de fazer uma nova prova. “Queremos que o MEC apresente um balanço do prejuízo e que determine critérios para definir quem terá direito a fazer o exame novamente”, disse.

    O presidente da Ubes, Yann Evanovick, acredita que o Enem é um bom instrumento de avaliação, mas que os erros têm de ser reparados. “As entidades estudantis vão se reunir para discutir possíveis propostas de mudanças para o exame do ano que vem”.

    Assessoria de Comunicação Social do MEC.

    Médias do Enem são calculadas de acordo com a metodologia da TRI (Foto: João Bittar)

     

  • Perguntas e respostas explicam notas do exame em cada área

     

Existe uma nota global do Enem? – Não, o Instituto Nacional de Estudos e Pesquisas Educacionais (Inep) não calcula uma média global de desempenho, apenas apresenta as médias separadamente.

A prova do Exame Nacional do Ensino Médio (Enem) tem cinco notas: uma para cada área de conhecimento avaliada – ciências da natureza, ciências humanas, linguagens e matemática –, mais a média da redação. Para o cálculo das médias em cada uma das quatro áreas foi utilizada metodologia da Teoria de Resposta ao Item (TRI), que busca medir o conhecimento a partir do comportamento observado em testes. No caso da redação, os critérios são os mesmos do Enem tradicional.

Para distribuição das vagas no Sistema de Seleção Unificada, do Ministério da Educação, as instituições vão utilizar o conjunto de notas do Enem segundo critérios específicos de agregação e peso.

Como é calculada a nota do Enem em TRI? – Diferentemente de uma prova comum, a nota do Enem em cada área não representa simplesmente a proporção de questões que o estudante acertou na prova. Em cada uma das quatro áreas avaliadas, a média obtida depende, além do número de questões respondidas corretamente, também da dificuldade das questões que se erra e se acerta, e da consistência das respostas. Por isso, pessoas que acertam o mesmo número absoluto de itens podem obter médias de desempenho distintas.

O que representa a nota? – Na escala construída para o Enem, dentro de cada uma das áreas avaliadas, a nota 500 representa a média obtida pelos concluintes do ensino médio que realizaram a prova (excluídos os egressos e treineiros). Portanto, quanto mais distante de 500 for a nota do estudante, para cima, maior o desempenho obtido em relação à média dos participantes. Mesmo raciocínio vale para desempenho menor que 500, que aponta desempenho pior em relação ao obtido pela média.

Escala– Os limites da escala, dentro de cada área, variam conforme o nível de dificuldade das questões da prova e o comportamento dos estudantes em cada questão. Portanto, o mínimo e máximo para cada área avaliada não são pré-fixados.

Na prova de ciências da natureza e suas tecnologias, a análise TRI apontou que a menor média de proficiência observada foi 263,3. Esse número representa o início da escala para essa área, ou seja, o nível mais baixo de proficiência possível de mensuração pelas questões da prova. A maior proficiência foi 903,2.

Para ciências humanas e suas tecnologias, as notas variam entre 300,0 e 887,0. Para a área de linguagens, códigos e suas tecnologias, as médias ficam entre 224,3 e 835,6. No caso de matemática e suas tecnologias, as notas vão de 345,9 a 985,1.

Assessoria de Imprensa do Inep. Confira as médias de proficiência do Enem, calculadas segundo a TRI.

  • Teoria de resposta ao item avalia habilidade e minimiza o “chute” de candidatos

    A teoria da resposta ao item (TRI), metodologia de avaliação usada pelo Ministério da Educação no Exame Nacional do Ensino Médio (Enem), não contabiliza apenas o número total de acertos no teste. De acordo com o método, o item é a unidade básica de análise. O desempenho em um teste pode ser explicado pela habilidade do avaliado e pelas características das questões (itens).

    A TRI qualifica o item de acordo com três parâmetros:

    • Poder de discriminação, que é a capacidade de um item distinguir os estudantes que têm a proficiência requisitada daqueles quem não a têm;

    • Grau de dificuldade;

    • Possibilidade de acerto ao acaso (chute).

    Essas características permitem estimar a habilidade de um candidato avaliado e de garantir que essas habilidades, medidas a partir de um conjunto de itens, sejam comparadas com outro conjunto na mesma escala, ainda que eles não sejam os mesmos e que haja quantidades diferentes de itens usados para o cálculo.

    Com a TRI, não é possível comparar o número de acertos em uma área do conhecimento com o de outra. Pela teoria, o número de questões por nível de dificuldade em cada prova e as demais características dessas questões afetam o resultado. Dessa forma, acertar 40 itens em uma área não significa, necessariamente, ter uma proficiência maior do que em outra, cujo número de acertos tenha sido 35. Além disso, por serem áreas do conhecimento distintas, não é possível fazer uma relação direta entre as escalas de proficiência.

    A TRI pressupõe que um candidato com um certo nível de proficiência tende a acertar os itens de nível de dificuldade menor que o de sua proficiência e errar aqueles com nível de dificuldade maior. Ou seja, o padrão de resposta do participante é considerado no cálculo do desempenho.

    Entre as vantagens metodológicas da TRI está a possibilidade de elaboração de provas diferentes para o mesmo exame. Essas provas podem ser aplicadas em qualquer período do ano com grau de dificuldade semelhante e permitem a comparabilidade no tempo.

    Outra característica da TRI é não ter um limite inferior ou superior padrão entre as áreas de conhecimento. Isso significa que as proficiências dos participantes não variam entre zero e mil. Os valores máximos e mínimos de cada prova dependerão das características dos itens selecionados. No Enem, somente a prova de redação tem esses valores preestabelecidos, uma vez que a correção não é feita com base na TRI.

    Confira a tabela com as proficiências mínimas e máximas obtidas pelos participantes em cada área do conhecimento no Enem de 2011.

    Assessoria de Comunicação Social do MEC.

     

  • Teoria de resposta ao item garante isonomia das provas

    A teoria de resposta ao item (TRI) garante a isonomia das provas do Exame Nacional do Ensino Médio (Enem), mesmo se aplicadas em períodos diferentes. A TRI baseia-se em modelos matemáticos que permitem a elaboração de provas diferentes com o mesmo grau de dificuldade. O modelo é baseado em três parâmetros gerais — grau de dificuldade da questão, nível de discriminação (o quanto o item consegue diferenciar o quanto o candidato sabe ou não) e a probabilidade de acerto ao acaso (chute).

    Testadas antes da prova, as questões ganham um peso que varia de acordo com o desempenho dos estudantes nos pré-testes — quanto mais alunos acertam uma determinada pergunta, menor o peso que ela terá na prova. Isso porque o grau de dificuldade é supostamente menor. No próximo ano, de acordo com o Instituto Nacional de Estudos e Pesquisas Educacionais (Inep), órgão do Ministério da Educação responsável pelo Enem, o candidato terá acesso a uma escala, pela qual saberá em quais áreas obteve melhor desempenho, assim como ocorre no Sistema Nacional de Avaliação da Educação Básica (Saeb), também do MEC, que mede o desempenho de estudantes do ensino fundamental e médio.

    A aplicação da teoria da resposta ao item é frequente nas avaliações em testes de múltipla escolha aplicados em diversos países. No Brasil, a TRI é usada desde 1995 nas provas do Saeb. Em 2009, foi usada no Enem para garantir a comparação das notas do exame daquele ano com os seguintes.

    Reconhecimento— Em nota divulgada no ano passado, a Coordenação da Organização das Nações Unidas (ONU) no Brasil ressalta: “O uso dessa metodologia apresenta amplo respaldo na literatura científica internacional (…) e tem sido utilizada em um conjunto importante de avaliações conduzidas por organismos internacionais”.

    Entre as vantagens metodológicas da TRI, segundo a organização, está a possibilidade de elaboração de provas diferentes para o mesmo exame. Essas provas podem ser aplicadas em qualquer período do ano, com o mesmo grau de dificuldade, e permitem a comparabilidade no tempo.

    A nota da ONU também destaca: “A TRI prioriza o uso de habilidades reflexivas e analíticas em detrimento da memorização de conteúdos, o que representa um avanço importante em relação a outros modelos de avaliação”.

    Assessoria de Comunicação Social do MEC.

  • Teoria de resposta ao item permite prova em outra data

    Em 2009, os municípios de Brejetuba e Ibatiba, no Espírito Santo, foram atingidos por enchentes, que alagaram escolas e impediram a aplicação do Exame Nacional do Ensino Médio (Enem). Para evitar que os estudantes capixabas fossem prejudicados, a provas foram realizadas fora do calendário nacional, em 5 e 6 de janeiro deste ano, data reservada pelo Instituto Nacional de Estudos e Pesquisas Educacionais (Inep) para o exame nos presídios de todo o país.

    A mudança de data para esse grupo de estudantes só foi possível porque o Inep adota, na elaboração das provas, a teoria de resposta ao item (TRI). Com a TRI, o conjunto de modelos matemáticos usados no Enem permite que os exames tenham o mesmo grau de dificuldade. Testadas antes da prova, as questões ganham um peso que varia de acordo com o desempenho dos estudantes nos pré-testes — quanto mais alunos acertam uma determinada pergunta, menor o peso que ela terá na prova porque o grau de dificuldade é supostamente menor.

    A aplicação da teoria da resposta ao item é frequente nas avaliações em testes de múltipla escolha aplicados em diversos países. No Brasil, a TRI é usada desde 1995 nas provas do Sistema Nacional de Avaliação da Educação Básica (Saeb), que mede o desempenho de estudantes do ensino fundamental e médio. Em 2009, foi usada pelo Enem com o objetivo de garantir a comparação das notas do exame daquele ano com os seguintes.

    Assessoria de Comunicação Social do MEC.

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *