No Cerne do ENEM, o Teorema de Bayes

Cerca de $5$ milhões de brasileiros fizeram a prova do Exame Nacional do Ensino Médio (ENEM) em outubro. O organizador da prova, Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), mostrou o gabarito poucos dias depois. Suponha que um dos estudantes, hipoteticamente chamado de Isaac Newton, tenha resolvido as questões de matemática que ele sabia, e que, antes de entregar a prova, tenha chutado as respostas que não sabia. Afinal, entre cinco alternativas $(a, b, c, d$ ou $e)$, a chance de acertar uma delas no chute é de $1/5$, ou seja, $20\%$. Com o gabarito oficial em mãos, Isaac Newton descobre que acertou uma das questões no chute. Em janeiro de $2012$, quando usar seu CPF para saber a nota individual, aprenderá uma lição: é difícil enganar computadores. Para azar dele, os computadores a serviço do INEP vão soltar um relatório dizendo, mais ou menos, assim: "É muito alta a chance de que nosso amigo Isaac Newton tenha acertado essa questão no chute. Nós, computadores, recomendamos desconsiderar essa questão na nota final do Isaac Newton".

Para organizar o ENEM, técnicos do INEP usam um método estatístico conhecido como TRI (Teoria da Resposta ao Item). É um método usado por médicos, militares, propagandistas, administradores de empresas, esportistas. Quando uma empresa usa o TRI para organizar qualquer tipo de questionário, ela ganha uma pergunta importante: qual é a probabilidade de que uma pessoa tenha acertado a questão $x$ por seu próprio mérito ou por acaso? Se a probabilidade for alta, a empresa atribui o mérito da resposta ao respondente; se a probabilidade for baixa, ela ignora a questão, pois é mais provável que o respondente tenha chutado.

Ao usar o TRI, o governo ganha várias vantagens: ele consegue informação mais precisa de quem sabe exatamente o quê, consegue comparar escolas da zona rural de Manaus com escolas do centro de São Paulo. A TRI, contudo, é menos ótima para quem faz o teste: o estudante, seu professor, seus pais. Se Isaac Newton quisesse saber como a TRI funciona, e por que sua nota é aquela divulgada pelo governo, teria que de estudar estatística avançada. Especialistas no assunto dizem que o Ministério da Educação (MEC) deve continuar usando a TRI nas avaliações oficiais, pois, pressupondo que o MEC esteja fazendo tudo com boa vontade, isso é bom para o Brasil. Mas, a cada rodada do ENEM, falta divulgar informações de um jeito que o estudante, seu professor e seus pais possam compreender e usar.

O Mais Provável

Raquel Cunha Valle, estatística da Fundação Carlos Chagas, diz que podemos usar uma fita métrica para medir a altura de uma pessoa em centímetros, ou usar uma balança para medir seu peso em quilogramas, mas como medimos o que uma pessoa sabe ou ignora? "A resposta da teoria da resposta ao item", diz Raquel, "é criar uma unidade de medida para o conhecimento".

Uma tabela muito simples, mostrada abaixo, pode ajudar leitores como Isaac Newton a entender o que lhes aconteceu. No caso de uma prova como a do ENEM, $"C"$ significa "acertou" e $"E"$ significa "errou".

Neste nosso exemplo, Gauss acertou as cinco questões, provavelmente sabe $100\%$ do que deveria saber. Euler, acertou quatro questões e errou uma, provavelmente sabe $80\%$ do que deveria saber. Arquimedes acertou três questões e errou duas, provavelmente sabe $60\%$ do que deveria saber. E assim por diante. A ênfase na palavra provavelmente serve para destacar a natureza estatística da TRI. Da mesma forma, a questão $1$, que somente uma pessoa acertou, é difícil demais para $80\%$ dos candidatos. A questão $2$, que só duas pessoas responderam corretamente é difícil demais para $60\%$ dos candidatos. E assim por diante.

Agora, imagine o Isaac Newton como sendo a sexta pessoa da tabela acima:

Note que ele também acertou duas questões e errou três, e que, portanto, sua média é igual à média de Einstein. Isaac Newton parece saber $40\%$ do que deveria saber. Mas sua prova tem lógica? Até que ponto uma pessoa consegue acertar uma questão difícil (questão $1$) e errar três questões mais fáceis? Não é mais provável que Isaac Newton tenha chutado a resposta da questão $1$?

Ao realizar um teste comum, o MEC só consegue descobrir duas coisas: quantas questões a pessoa acertou e quantas errou. Mas, ao realizar um teste com todas as ferramentas estatísticas da TRI, o MEC consegue saber, com maior grau de precisão, o que uma pessoa sabe ou ignora.

Tufi Machado Soares, professor da Universidade Federal de Juiz de Fora (MG) e coordenador de pesquisas do Centro de Políticas Públicas e Avaliação da Educação, explica as principais alavancas de ajuste num modelo estatístico feito com base na TRI: dá para ajustar o grau mínimo de conhecimento para responder a uma questão com $50\%$ de chance, dá para ajustar até que ponto a questão vai discriminar entre quem sabe e quem ignora, e dá para saber a probabilidade de que alguém acerte a questão por acaso (chutando). Essas três alavancas têm nomes técnicos complicados (traço latente do $j-\text{ésimo}$ indivíduo) e simbolizados por letras gregas e latinas $(\theta _j)$.

Para explicar a mágica da TRI, especialistas como Raquel e Tufi Machado sempre mostram uma curva famosa: curva característica do item:

Na imagem acima, $\theta$ representa o que a pessoa sabe, e se $\theta = 0$ significa que a pessoa tem conhecimentos suficientes para acertar uma questão com probabilidade de $50\%$ - ela tem conhecimentos suficientes para, nesta questão, decidir a resposta no cara e coroa. Se ela fizer isso, os computadores do INEP não conseguirão dedurá-la, pois ela acertou outras questões com o mesmo grau de dificuldade. Mas se $\theta = –5$, significa que a pessoa tem conhecimentos suficientes para acertar a questão com probabilidade de $2\%$. Em outras palavras, significa que, caso ela acerte a questão, é bem provável que tenha chutado, e os computadores do INEP vão dedurá-la.

Exame por Computador

Especialistas independentes e técnicos do INEP não se cansam de mencionar as vantagens do TRI. Se a prova for bem desenhada, o avaliador pode cancelar uma questão errada sem prejudicar ninguém, pois as probabilidades são calculadas para as questões válidas. Se uma questão estiver escrita de modo a confundir pessoas com conhecimentos avançados, isto ficará claro, pois os computadores vão mostrar um grande número de pessoas com conhecimentos avançados errando a mesma questão, o que é pouco provável. Se uma pessoa se submeter a duas provas diferentes, mas feitas segundo a TRI, é provável que sua nota seja quase a mesma nas duas provas. O MEC pode comparar pessoas de regiões diferentes em anos diferentes. Se alguém obtiver os gabaritos da prova e vendê-los por um bom dinheiro, os computadores do INEP serão capazes de detectar a discrepância estatística.

A TRI só existe porque existem computadores. Sem eles, seria impossível calcular à mão todas as variáveis do modelo estatístico. Na fórmula principal da TRI, cada pessoa é descrita por meio de sete variáveis e quatro constantes. No ENEM, com $5$ milhões de pessoas, são $35$ milhões de variáveis e $20$ milhões de constantes para calcular e comparar umas com as outras. Quando o INEP tiver um banco de dados de itens de tamanho adequado, os estudantes poderão realizar as provas por meio do computador: o estudante acerta uma questão e o computador puxa do banco de dados uma questão um pouco mais difícil; o estudante erra uma questão e o computador puxa uma questão um pouco mais fácil. Com esse método, o MEC conseguirá medir com precisão maior ainda o que o estudante sabe.

Bula Indecifrável

Críticos do ENEM vivem dizendo que o governo esconde os critérios pelos quais forma a nota de cada aluno. Afinal, os critérios são públicos ou são segredo de Estado? Tufi Machado diz que não há segredo algum: se a pessoa for ótima de estatística, se ela tiver conhecimentos profundos sobre a TRI, e se ela for persistente feito um mosquito da dengue, então ela conseguirá ter acesso aos critérios técnicos e talvez até aos dados brutos. "Os critérios até que são bem conhecidos pelos especialistas no assunto", fiz Tufi. Contudo, se a pessoa for um estudante, ou seu professor, ou um de seus pais, aí sim ela está numa enrascada. Até agora, o governo brasileiro não demonstrou interesse em divulgar critérios técnicos e dados brutos com frequência e clareza.

Explicar a TRI é difícil mesmo. Um exemplo: se o estudante tira a nota média do ENEM, ele tira $500$, pois o INEP atribui valor $500$ à nota média. Contudo, numa escala de $0$ a $10$, a nota média de uma ano pode ser $6$ e de outro ano pode ser $5,5$. Nos dois casos, o aluno que tirar a nota média vai tirar $500$. Se ele tirar mais de $500$, significa apenas que tirou mais que a nota média. Se tirar menos que $500$, significa que tirou menos que a nota média. "A TRI é como se fosse um tipo de mágica", diz Raquel Valle, "mas poucos têm acesso ao truque".

Especialistas em modelagem matemática sabem que, quanto mais fielmente o modelo matemático representa a realidade, mais complicado ele é, pois a realidade é bem complicada. A TRI é complicada simplesmente porque ela retrata a realidade de modo melhor. Porém, isso não é desculpa para explicar a TRI com linguagem supertécnica. É possível pensar na TRI como uma bula. Se você escrever a bula com linguagem médica muito técnica, o paciente não vai entender nem mesmo para que serve o remédio.

O Teorema de Bayes

Os criadores da teoria da resposta ao item usaram como ferramenta principal o teorema de Bayes, criado pelo matemático inglês Thomas Bayes $(1702 – 1761)$. O teorema trata de uma questão importante, cotidiana até, mas difícil de entender: qual é a probabilidade de que o evento $A$ tenha ocorrido, visto que o evento $B$ acabou de ocorrer? O símbolo para isso é $Pr(A \mid B)$.

Teorema: Os eventos $A_1, A_2, A_3, \cdots , A_k$ são eventos mutuamente exclusivos, cuja união é todo o espaço amostral de um experimento. O evento $B$ é um evento com probabilidade diferente de zero $(Pr(B) \neq 0)$. Sendo assim:

$$\begin{equation*} Pr(A_i \mid B)=\frac{Pr(B \mid A_i)\cdot Pr(A_i)}{\sum _{x=1}^{k} Pr(B \mid A_x)\cdot Pr(A_x)} \end{equation*}$$

Um exemplo para tornar a fórmula acima mais clara: $A_1$ representa o evento de jogar uma moeda com duas "caras" três vezes seguidas, e $A_2$ representa o evento de jogar uma moeda comum três vezes seguidas. Suponha que você escolhe uma das duas moedas ao acaso e, portanto, $Pr(A_1) = 1/2$ e $Pr(A_2) = 1/2$. Seja $B$ o evento de obter três caras seguidas (ou seja, você escolheu uma moeda ao acaso, jogou essa moeda ao ar três vezes e conseguiu três caras seguidas); portanto, $Pr(B \mid A_1) = 1$ e $Pr(B \mid A_2) = 1/8$. Qual é a probabilidade de que você tenha escolhido a moeda com duas caras $(A_1)$ visto que saíram três caras seguidas? Aplicando a fórmula:

$$\begin{matrix} Pr(A_1 \mid B)=\frac{Pr(B \mid A_1)\cdot Pr(A_1)}{Pr(B \mid A_1)\cdot (A_1)+Pr(B \mid A_2) \cdot Pr(A_2)}\\ Pr(A_1 \mid B)=\frac{1\cdot \frac{1}{2}}{1\cdot \frac{1}{2} +\frac{1}{8}\cdot \frac{1}{2}}=\frac{8}{9}=88,9\% \end{matrix}$$

O teorema de Bayes dá a resposta: se você escolheu uma das moedas ao acaso, e obteve três caras seguidas, então a probabilidade de que tenha escolhido a moeda com duas caras é de $88,9\%$.

Na notação acima, temos que $Pr(A)$ é a probabilidade a priori (antes do experimento) e $Pr(A_i \mid B)$ é a probabilidade a posteriori (depois do evento).

Alguns exemplos do teorema de Bayes na vida diária:

$1)$ Se um homem bate na própria mulher, qual é a probabilidade de que venha a matá-la? É baixa, visto que a maioria desses homens não mata a mulher. Se uma mulher é encontrada morta a facadas, qual é a probabilidade de que tenha sido assassinada pelo próprio marido, dado que o marido batia nela? É altíssima.

$2)$ Escolha uma pessoa a esmo. Qual a chance de que ela tenha problemas psiquiátricos? É baixa. Qual a chance de que ela acredite que seu chefe lê seus pensamentos? É baixa. Mas se essa pessoa escolhida a esmo acredita que seu chefe lê seus pensamentos, qual é a chance de que tenha problemas psiquiátricos? É altíssima.

$3)$ Segundo dados do INEP, só $11\%$ dos brasileiros terminam o ensino médio sabendo a matemática que deveriam saber. Dada tal informação, o que é mais provável: que o MEC esconda os dados a respeito do método usado no ENEM para, escondendo, melhorar artificialmente os números da educação no Brasil, ou que ninguém no MEC tenha se animado a criar um programa nacional de explicações simples e claras sobre o ENEM?

Referências:

$[1]$ Revista Cálculo nº $10$, ed. Segmento, $2011$

---

Veja mais: 

Introdução à Ferramenta TRI
Análise Estatística e a TRI

---