A nota da IA é confiável? Medimos e mostramos o resultado.

Corrigimos 85 redações do ENEM de bases públicas e comparamos a nota da IA com a nota dada por pessoas. Os resultados abaixo mostram onde a correção acerta e onde ainda erra.

  • 75% das notas por competência ficaram a até um nível (40 pontos) da nota humana (240 notas de competência comparadas, em 48 redações de uma base pública (Essay-BR))
  • 154 pontos de diferença média para a nota humana na nota TOTAL, em 48 redações de todas as faixas
  • 7 de 8 redações nota 1000 da Cartilha do Inep ficaram com 880 ou mais aqui
  • 105 pontos é a diferença média entre dois avaliadores humanos na mesma redação
  • 147 pontos foi a distância média entre a maior e a menor nota ao corrigir a mesma redação várias vezes

O que cada número significa

75% a até um nível, por competência
Para cada uma das 48 redações do Essay-BR, comparamos as 5 notas de competência da IA com as 5 notas humanas da mesma competência: 240 comparações. No ENEM cada competência sobe de 40 em 40 pontos (um nível). Em 75% das comparações a diferença foi de até 40 pontos, e em 37% a nota foi igual. Não é a nota total: uma redação pode ter várias competências a um nível e, somadas, ficar longe no total.
154 pontos de diferença média na nota total
Média da distância entre a nota total da IA e a humana (0 a 1000), nas mesmas 48 redações. A IA tende a dar mais: em média, 116 pontos acima. 48% ficaram a até 80 pontos e 58% a até 120.
Correlação de 0,68 na nota total
Mede se a IA e as pessoas sobem e descem juntas (1 = sempre juntas, 0 = sem relação). Mostra a ordem das redações, não a distância entre as notas.
Concordância por competência (QWK médio de 0,44)
O kappa ponderado compara os níveis de cada competência descontando o que concordaria por acaso (0 = acaso, 1 = perfeita). Valores perto de 0,4 indicam concordância moderada.
7 de 8 redações nota 1000 com 880 ou mais
São as únicas notas oficiais do teste (Cartilha do Inep). Testam só o topo da escala: média da IA de 935, entre 840 e 1000.
105 pontos entre dois avaliadores humanos
No AES-ENEM (29 redações), dois avaliadores corrigiram os mesmos textos. A diferença entre eles serve de régua para a da IA (95 pontos para a média dos dois).
147 pontos entre correções da mesma redação
Distância média entre a maior e a menor nota ao corrigir o mesmo texto várias vezes, sem mudar nada. Diferenças menores que isso entre duas versões podem ser só variação.

O que fizemos

Em 04/11/2026, corrigimos redações do ENEM com o mesmo código e o mesmo modelo de IA usados no site (claude-sonnet-5). Comparamos a nota de cada competência e a nota total com a nota humana de cada base.

Nenhuma redação foi escolhida a dedo: as das bases acadêmicas foram sorteadas, e as do Inep entraram quase todas. Duas ficaram de fora porque o PDF não permitiu extrair o texto com segurança.

Redações nota 1000 do Inep

São as únicas notas oficiais do teste: textos que tiraram 1000 no ENEM 2024 e foram publicados na Cartilha do Participante. A IA deu, em média, 935 pontos, entre 840 e 1000.

Redações de todas as faixas

Em 48 redações do corpus Essay-BR, a diferença média foi de 154 pontos, e 58% ficaram a até 120 pontos da nota humana. A correlação com a nota humana foi de 0,68.

Nas redações fracas, a IA ainda é generosa: na faixa mais baixa, a média humana foi 277 e a da IA, 553. Se o seu texto é bem avaliado aqui, peça também a opinião de um professor.

A IA comparada com dois humanos

Pessoas também discordam. No corpus AES-ENEM, da USP, dois avaliadores corrigiram as mesmas 29 redações, e a diferença média entre eles foi de 105 pontos. A diferença da IA para a média dos dois foi de 95 pontos.

A mesma redação, corrigida várias vezes

Corrigimos 3 redações 8 vezes cada uma, sem mudar nada. A distância média entre a maior e a menor nota foi de 147 pontos. Por isso, uma diferença pequena entre duas versões do seu texto pode ser só variação da correção: olhe a tendência ao longo de várias redações.

Limites deste teste

  • A amostra é pequena (85 redações). Os números servem de referência, não de garantia.
  • O teste cobre só o ENEM. FUVEST, UNICAMP, UERJ e Cebraspe ainda não têm validação equivalente.
  • As notas do Essay-BR e do AES-ENEM vêm de corretores de sites educacionais e de avaliadores de pesquisa, não do Inep. Critérios e rigor podem ser diferentes dos da prova.
  • As redações nota 1000 só testam o topo da escala. Não existe base pública com notas oficiais do Inep em todas as faixas.
  • A IA pode já ter visto algumas dessas redações durante o treinamento dela.
  • Os textos usados no teste não foram publicados aqui: só os números.

Fontes

Perguntas frequentes

Posso confiar na nota da IA?

Como referência para estudar, sim. Como previsão da prova, não. A diferença média para a nota humana foi de 154 pontos no teste, e dois humanos também divergem, em 105 pontos em média.

Por que publicar os erros?

Porque quem estuda precisa saber quanto pode confiar na ferramenta. Uma nota sem margem de erro passa uma certeza que nenhuma correção tem.

O teste vai ser repetido?

Sim, sempre que a régua de correção ou o modelo de IA mudarem. O script do teste faz parte do projeto, e a data da última medição aparece nesta página.