Évaluation Atualizado 2026-04

Benchmark de IA

AI Benchmark
Definição

Um benchmark de IA é um teste padronizado que mede e compara o desempenho dos modelos de inteligência artificial em tarefas específicas.

Veja também no glossário

L
LLM (Large Language Model)
An LLM is an AI model trained on billions of texts, capable of understanding and generating human language.
F
Foundation Model
A foundation model is a large AI model pre-trained on massive data, adaptable to multiple tasks.
A
AI Hallucination
An AI hallucination is a response generated by an AI model that appears plausible but is factually incorrect or fabricated.
A
AI Reasoning
AI reasoning refers to a model's ability to break down a problem into logical steps to reach a conclusion, rather than answering instinctively.

Ferramentas que usam benchmark de ia

C
ChatGPT
O assistente de IA conversacional mais usado do mundo
4.6/5
C
Claude
A IA que entende a nuance, da Anthropic
4.7/5
G
Gemini
O assistente de IA do Google com contexto de 1M de tokens
4.5/5
D
DeepSeek
O modelo chinês open source que rivaliza com o GPT-4
4.7/5

Perguntas frequentes

Quais são os benchmarks de IA mais conhecidos?
MMLU (conhecimento geral), HumanEval (código), MATH (matemática), HellaSwag (raciocínio) e o Arena ELO da LMSYS (ranking por votos humanos).
Os benchmarks são confiáveis?
Parcialmente. Os modelos podem ser otimizados para se sair bem nos benchmarks sem serem melhores na prática. O ranking Arena ELO é considerado o mais representativo.