A nota da IA é confiável? Medimos e mostramos o resultado.
Corrigimos 85 redações do ENEM de bases públicas e comparamos a nota da IA com a nota dada por pessoas. Os resultados abaixo mostram onde a correção acerta e onde ainda erra.
- 75% das notas por competência ficaram a até um nível (40 pontos) da nota humana (240 notas de competência comparadas, em 48 redações de uma base pública (Essay-BR))
- 154 pontos de diferença média para a nota humana na nota TOTAL, em 48 redações de todas as faixas
- 7 de 8 redações nota 1000 da Cartilha do Inep ficaram com 880 ou mais aqui
- 105 pontos é a diferença média entre dois avaliadores humanos na mesma redação
- 147 pontos foi a distância média entre a maior e a menor nota ao corrigir a mesma redação várias vezes
O que cada número significa
- 75% a até um nível, por competência
- Para cada uma das 48 redações do Essay-BR, comparamos as 5 notas de competência da IA com as 5 notas humanas da mesma competência: 240 comparações. No ENEM cada competência sobe de 40 em 40 pontos (um nível). Em 75% das comparações a diferença foi de até 40 pontos, e em 37% a nota foi igual. Não é a nota total: uma redação pode ter várias competências a um nível e, somadas, ficar longe no total.
- 154 pontos de diferença média na nota total
- Média da distância entre a nota total da IA e a humana (0 a 1000), nas mesmas 48 redações. A IA tende a dar mais: em média, 116 pontos acima. 48% ficaram a até 80 pontos e 58% a até 120.
- Correlação de 0,68 na nota total
- Mede se a IA e as pessoas sobem e descem juntas (1 = sempre juntas, 0 = sem relação). Mostra a ordem das redações, não a distância entre as notas.
- Concordância por competência (QWK médio de 0,44)
- O kappa ponderado compara os níveis de cada competência descontando o que concordaria por acaso (0 = acaso, 1 = perfeita). Valores perto de 0,4 indicam concordância moderada.
- 7 de 8 redações nota 1000 com 880 ou mais
- São as únicas notas oficiais do teste (Cartilha do Inep). Testam só o topo da escala: média da IA de 935, entre 840 e 1000.
- 105 pontos entre dois avaliadores humanos
- No AES-ENEM (29 redações), dois avaliadores corrigiram os mesmos textos. A diferença entre eles serve de régua para a da IA (95 pontos para a média dos dois).
- 147 pontos entre correções da mesma redação
- Distância média entre a maior e a menor nota ao corrigir o mesmo texto várias vezes, sem mudar nada. Diferenças menores que isso entre duas versões podem ser só variação.
O que fizemos
Em 04/11/2026, corrigimos redações do ENEM com o mesmo código e o mesmo modelo de IA usados no site (claude-sonnet-5). Comparamos a nota de cada competência e a nota total com a nota humana de cada base.
Nenhuma redação foi escolhida a dedo: as das bases acadêmicas foram sorteadas, e as do Inep entraram quase todas. Duas ficaram de fora porque o PDF não permitiu extrair o texto com segurança.
Redações nota 1000 do Inep
São as únicas notas oficiais do teste: textos que tiraram 1000 no ENEM 2024 e foram publicados na Cartilha do Participante. A IA deu, em média, 935 pontos, entre 840 e 1000.
Redações de todas as faixas
Em 48 redações do corpus Essay-BR, a diferença média foi de 154 pontos, e 58% ficaram a até 120 pontos da nota humana. A correlação com a nota humana foi de 0,68.
Nas redações fracas, a IA ainda é generosa: na faixa mais baixa, a média humana foi 277 e a da IA, 553. Se o seu texto é bem avaliado aqui, peça também a opinião de um professor.
A IA comparada com dois humanos
Pessoas também discordam. No corpus AES-ENEM, da USP, dois avaliadores corrigiram as mesmas 29 redações, e a diferença média entre eles foi de 105 pontos. A diferença da IA para a média dos dois foi de 95 pontos.
A mesma redação, corrigida várias vezes
Corrigimos 3 redações 8 vezes cada uma, sem mudar nada. A distância média entre a maior e a menor nota foi de 147 pontos. Por isso, uma diferença pequena entre duas versões do seu texto pode ser só variação da correção: olhe a tendência ao longo de várias redações.
Limites deste teste
- A amostra é pequena (85 redações). Os números servem de referência, não de garantia.
- O teste cobre só o ENEM. FUVEST, UNICAMP, UERJ e Cebraspe ainda não têm validação equivalente.
- As notas do Essay-BR e do AES-ENEM vêm de corretores de sites educacionais e de avaliadores de pesquisa, não do Inep. Critérios e rigor podem ser diferentes dos da prova.
- As redações nota 1000 só testam o topo da escala. Não existe base pública com notas oficiais do Inep em todas as faixas.
- A IA pode já ter visto algumas dessas redações durante o treinamento dela.
- Os textos usados no teste não foram publicados aqui: só os números.
Fontes
- Inep, A redação no Enem 2025: Cartilha do Participante: 8 redações nota 1000 do ENEM 2024, com comentários da banca.
- Essay-BR estendido (Marinho, Anchiêta e Moura, JIDM 2022): Corpus público de redações com nota por competência, licença MIT.
- AES-ENEM (Silveira, Barbosa e Mauá, PROPOR 2024): Corpus público da USP com a nota de dois avaliadores por redação.
Perguntas frequentes
Posso confiar na nota da IA?
Como referência para estudar, sim. Como previsão da prova, não. A diferença média para a nota humana foi de 154 pontos no teste, e dois humanos também divergem, em 105 pontos em média.
Por que publicar os erros?
Porque quem estuda precisa saber quanto pode confiar na ferramenta. Uma nota sem margem de erro passa uma certeza que nenhuma correção tem.
O teste vai ser repetido?
Sim, sempre que a régua de correção ou o modelo de IA mudarem. O script do teste faz parte do projeto, e a data da última medição aparece nesta página.