# Pontuação geométrica melhora a precisão das respostas de modelos de linguagem

> Um novo método identifica uma direção nos estados ocultos do modelo que classifica respostas até 52 pontos melhor do que a pontuação baseada em probabilidades padrão.

Oossa · 2026-10-06 · https://oossa.com/pt/geometric-scoring-boosts-answer-correctness-in-language-models

Pesquisadores descobriram que grandes modelos de linguagem armazenam uma pista geométrica sobre a correção de uma resposta. Ao observar a mudança média nos estados ocultos entre respostas erradas e certas, é possível criar um vetor de pontuação que classifica as opções sem nenhum ajuste fino. Testada em cinco modelos, de 1 billion a 8 billion de parâmetros, a técnica supera em até 32 pontos a abordagem usual de log-probabilidade zero-shot no ARC‑Challenge e no MMLU, e em até 52 pontos no TruthfulQA.

## Como o método funciona

Os autores usam cinquenta exemplos rotulados, processam-nos pelo modelo para coletar representações ocultas aproximadamente na metade da rede e calculam o vetor médio que aponta dos estados associados a respostas incorretas para os associados a respostas corretas. Na inferência, cada resposta candidata exige apenas uma passagem pelo modelo e um único produto escalar com esse vetor. Nenhum texto de resposta é gerado, e os parâmetros do modelo não são alterados.

## O que isso significa para a confiabilidade dos modelos

Quando usada para detectar alucinações, a direção geométrica alcança uma AUROC de 0.693, contra 0.578 com a pontuação padrão baseada em probabilidades. O estudo também mostra que os sinais de correção ligados ao raciocínio factual, ao conhecimento de domínios específicos e à veracidade ocupam subespaços quase ortogonais. Isso significa que os modelos mantêm sinais separados para diferentes tipos de correção. Essa descoberta pode explicar por que muitas vezes os modelos sabem internamente qual é a resposta certa, mas não conseguem apresentá-la.

## Os fatos

- O método melhora a pontuação zero-shot em até +32.0 pontos percentuais no ARC‑Challenge e no MMLU.
- No TruthfulQA, o ganho varia de +38.1 a +51.8 pontos percentuais.
- Foram testados cinco modelos, de 1 B a 8 B de parâmetros, de três famílias: Llama, Qwen e Gemma.
- Bastam cinquenta exemplos rotulados; não são feitas atualizações dos parâmetros.
- Como detector de alucinações, o método alcança AUROC de 0.693, contra 0.578 com a pontuação por log-probabilidade.

## Por que importa

Para quem usa chatbots no dia a dia, a técnica pode levar a respostas mais confiáveis, especialmente a perguntas factuais. Também sugere uma forma de sinalizar possíveis alucinações sem exigir muito poder computacional. No entanto, o método ainda depende do acesso aos estados ocultos do modelo, que a maioria das APIs públicas não disponibiliza.

## Fontes e referências

1. [Correctness Is a Direction: Geometric Answer Selection in Language Models](https://arxiv.org/abs/2610.04512) – arXiv, 2026-10-06

Última atualização: 2026-10-06