ベンチマーク（AIの性能を比べる試験）
英語 Benchmark (AI performance test)
ベンチマークは、複数のAIモデルに同じ問題を解かせ、点数で比べる共通の試験です。発表資料の数字は、どの試験をどんな条件で受けたかと一緒に見てはじめて意味を持ちます。
ベンチマークは、複数のAIモデルに同じ問題を解かせ、正解した割合を点数にして比べる共通の試験です。MMLUは数学・歴史・法律など57科目の問題で知識を測り、SWE-benchはGitHubに実際に投稿された2,294件の不具合報告を直させてコーディングの力を測ります。同じ問題用紙を使う全国模試のように、別の会社のモデルも一列に並べて比べられます。新しいモデルの発表に「SWE-bench Verified 77.2%」のように書かれた数字が、この点数です。
気をつけたい点 点数は試験の条件で変わります。AnthropicはClaude Sonnet 4.5の発表で、同じ試験を標準の設定では77.2%、計算を多く使う設定では82.0%と分けて書いています。試験に強いことと、自分の店の仕事をこなせることは別の話です。ツールを選ぶときは発表の数字は参考にとどめ、自分の業務の書類を実際に入れて結果を比べる方が確かです。
出典: Measuring Massive Multitask Language Understanding · SWE-bench: Can Language Models Resolve Real-World GitHub Issues? · Introducing Claude Sonnet 4.5 · Introducing Llama 3.1: Our most capable models to date · Humanity's Last Exam · ARC Prize - What is ARC-AGI?（確認 2026-10-26）