O que é benchmark?
Conjunto padronizado de perguntas com respostas certas usado para comparar sistemas de IA entre si, como uma prova igual para todos os candidatos.
Também chamado de: benchmarks.
Uma analogia
A prova de fogo da Família: todo recruta passa pelos mesmos testes, e o Don compara as notas antes de entregar um território.
Esta verbete ainda não tem exemplo prático revisado, e por isso não está publicado nos buscadores. A definição e a analogia acima vêm do glossário do curso.
Onde isso aparece no curso
- Avaliação de LLMs (ia-moderna)
- AI Safety (critica)
- Reasoning models (deep-learning)