AIの性能ベンチマーク｜知識と推論を測る8つ（MMLU・GPQA・HLE）

新しいモデルの発表のたびに、「MMLU 92%」「GPQA Diamond 94%」「HLE 38%」のような数字が並ぶ。名前だけ並べられても困る、というのが本音やないか。

この回は、知識と推論を測る8つの試験（MMLU、MMLU-Pro、GPQA、GPQA Diamond、HLE、AIME、TruthfulQA、AA-Omniscience）を、①どんな問題を解かせるか ②人間に例えると ③点数が高いと何ができるか ④誰には関係が薄いか、の4点で全部開けていく。

シリーズ第1回（数字そのものの読み方）を読んでいなくても、この回だけで話は通じる。読み終わったあとに戻ってきてもらえれば、より深く読めるようになる。

この回の読み方（4行の型）

この回では、8つの試験全部を同じ型で説明します。①どんな問題を解かせるか（具体的に）②人間に例えると③点数が高いと、実際に何ができるということか④誰にとっては関係が薄いか。

例えば前回扱ったSWE-benchなら、こうなる。①実際のGitHubのバグ報告を渡して、コードを直させる。②新人エンジニアに「このバグ、直しといて」と頼むのに近い。③点数が高いほど、実際の開発現場に近いタスクを一人でやり切れる。④コードを書かない仕事の人には、点数そのものは直接関係が薄い。ただし「AIに仕事を任せて、最後までちゃんとやり切るか」を測る発想は、他の仕事にも応用できる。

型が揃っとると、8つを横に並べて比べられる。名前だけ丸暗記するより、この4行を埋めるほうが、結局早く身につくで。

MMLU｜57科目の4択、15,908問

①MMLU（Measuring Massive Multitask Language Understanding）は、57科目・15,908問（test 14,079問／validation 1,540問）の4択問題です。初等数学、米国史、法律、医学、物理、コンピュータ科学など幅広い分野を扱い、上位カテゴリはHumanities・Social Sciences・STEM・Otherに分かれます。2020年9月にDan Hendrycksらが発表し（arXiv）、ICLR 2021に採択されました。

②人間に例えると、幅広い一般教養を問うクイズ番組みたいなもんや。1つの専門を深く掘るんやなく、57科目を広く浅く問う。

③点数が高いモデルは、幅広い分野の基礎知識を教科書レベルで押さえているということになる。非専門家の平均は34.5%、専門家水準は約89.8%(資格試験の95パーセンタイル相当)という基準がある。

④「もう最先端モデルの比較には使えへん」。HLE論文（2025年1月）はLLMが90%超を達成していると明記していて、Artificial Analysisの現行評価一覧からも外れている。ただ、AIツールを初めて触る人が「このAI、どのくらい物知りか」をざっくり掴む入口としては、いまでも使える。

MMLUがベンチマークの世界で長く基準になってきたのには理由がある。57科目という範囲の広さと、15,908問という問題数の多さで、単発の知識偏りが出にくい設計になっているからや。発表から数年が経ち、いまは飽和して比較には使えなくなったが、「幅広い分野を4択で問う」という設計そのものは、後続の指標にも受け継がれている。

MMLU-Pro｜選択肢を10個にした版

①MMLU-Proは、12,032問・14分野（Math 1,351問／Physics 1,299問／Chemistry 1,132問／Law 1,101問／Engineering 969問ほか）を扱う10択問題です。当てずっぽうで当たる期待値が25%から10%に下がる設計になっています。暗記だけで解ける自明な問題を除去し、推論寄りの問題を増やしています。2024年6月にTIGER-Labが発表し、NeurIPS 2024に採択されました。

②人間に例えると、4択の一般常識クイズから選択肢を10個に増やして、勘で当たる確率を下げた試験になる。

③同一モデルでMMLU比16〜33%のスコア低下が確認されていて、CoT（考えさせる）評価とdirect評価では約20ポイントの差が出ます。点数が高いモデルは、知識を暗記しているだけやなく、選択肢を絞り込みながら考える力があるということになる。

④上位は約89〜90%(Gemini 3 Pro Preview 89.8%、Claude Opus 4.5 89.5%)で飽和が近い。それでも、長文の記事を書くような「幅広い分野の話を、間違えずに書く」仕事には、いまも効いてくる指標や。

MMLUとMMLU-Proを両方見比べると、面白いことが分かる。同じモデルでも、選択肢を4つから10個に増やしただけでスコアが16〜33%も落ちる。これは、正解を丸暗記していただけの部分が、選択肢の絞り込みが要る形式に変わった途端に剥がれ落ちたということや。「知っている」と「考えられる」は、別の力ということがこの落差から見える。

GPQA｜検索し放題でも34%

①GPQA（A Graduate-Level Google-Proof Q&A Benchmark）は、Extended 546問／main 448問／Diamond 198問で構成される4択・テキストのみの問題です。生物学・物理学・化学の3領域を扱い、博士課程在籍・修了者61名がUpwork経由で作問し、2名の専門家検証と3名の非専門家検証を経ています。2023年11月にニューヨーク大学・Cohere・Anthropicが発表し、COLM 2024に採択されました。

②人間に例えると、専門分野の博士号取得者向けの口頭試問や。しかも「検索していいよ」と言われても解けないように、わざわざ作られとる試験になる。

③実測値がこれになる。

誰が解いたか	正答率
その分野の博士専門家	65%（明白なミスを除くと74%）
ウェブ検索し放題の高スキル非専門家	34%

この31ポイントの差が「Google-proof」の中身や。検索で拾える情報の再構成と、専門的な推論の差が、そのまま数字になっとる。点数が高いモデルは、検索結果の寄せ集めやなく、専門的な推論をしているということになる。

④日常の仕事に生物学・物理学・化学の専門判断が要らない人には、点数そのものは関係が薄い。ただ「AIがどれだけ専門的な推論を安定してできるか」の目安として、覚えておく価値はある。

GPQA Diamondは、その中の198問

GPQA Diamondは、専門家2/2が正解し、かつ非専門家の1/3以下しか正解しなかった問題だけを抽出した198問です。難易度が最も高い部分集合になっています。

現状は、ほぼ飽和状態です。上位はGrok 4.6 (high) 94.9%、Gemini 3.7 Flash (high) 94.5%、GPT-5.6 Sol (max) 94.1%で、専門家の正答率65%を大きく上回っています。ただし198問しかないため、1問正解が変わるだけで約0.5ポイント動きます。1〜2ポイント差を「勝った」と読んだらあかんで。

このDiamondという名前、伊達についてるわけやない。母集団のmain 448問やExtended 546問から、いちばん厳しい条件（専門家2/2正解・非専門家1/3以下正解）だけを選び抜いた、いわば原石の中の原石という位置づけになる。だからこそ、この198問で94%台という数字には重みがある。同時に、母数が小さいという弱点も、そのまま持ち越しているということや。

HLE｜約1,000名の専門家が作った2,500問

①HLE（Humanity’s Last Exam）は、公開セット2,500問と非公開のホールドアウトセットで構成されています。100を超える科目を扱い、形式は多肢選択24%、完全一致の短答76%、うち約14%が画像を要するマルチモーダル問題です。採点は正答率とRMSキャリブレーション誤差を併記します。Center for AI Safety（CAIS）とScale AIが、50カ国500以上の機関の約1,000名の専門家に作問を依頼し、2024年9月に募集を開始（賞金総額50万ドル）、論文は2025年1月に公開されました。

②人間に例えると、世界中の専門家1,000人が「これは専門外の人には絶対解けない」と持ち寄った問題を集めたクイズになる。

③この試験の最大の特徴は、キャリブレーション誤差を併記することにあります。正解できたかどうかだけやなく、「分からんことを分からんと言えているか」まで、点数として可視化される。論文時点では、全フロンティアモデルの誤差が80%を超えていた。

④直接、日常の仕事には関係が薄い。ただ「AIがどれだけ自信過剰に答えているか」を測る発想そのものは、AIの回答をそのまま信じていいかどうかの判断材料として、誰にとっても役に立つ。

同じHLEでも、数字が倍近く違う

公式サイトのlastexam.ai（2,500問、画像込み）ではGemini 3 Proが38.3%、Artificial Analysis（テキストのみ2,158問）ではClaude Fable 5が55.5%を記録しています。

同じ「HLE」という名前でも、対象になっている問題セットが違います。これは、シリーズ第1回で書いた「バージョンを確認しろ」が、そのまま効いてくる実例や。HLEの数字を見かけたら、公式の2,500問か、Artificial Analysisのテキストのみ2,158問か、必ず確認する癖をつけといたほうがええ。

数字だけやなく、母集団の性質も違う。公式版は画像を要する問題を約14%含んでいるのに対し、Artificial Analysis版はテキストのみの2,158問に絞っている。問題の中身が違う以上、この2つの数字は、そもそも直接比べる数字やない。

AIME｜もともとAI用のテストやない

①AIME（American Invitational Mathematics Examination）は、MAA（アメリカ数学協会）が主催する試験で、もともとAI用のテストではなく、人間向けの数学コンテストです。1回15問で構成され、AI評価ではIとIIを合算した30問が通例になっています。0〜999の整数を答える短答形式で、多肢選択ではありません。人間の制限時間は3時間、出場資格はAMC 10で上位2.5%、AMC 12で上位5%以上です。

②人間に例えると、高校生の数学オリンピック予選に近い試験を、そのままAIにも解かせているということになる。

③点数が高いモデルは、多段階の計算を、途中で1つも間違えずに最後までやり切る力があるということになる。年号がつくのは、その年の新作問題を使えばデータ汚染を避けられるからや。

④ほとんどの人の仕事には直結せえへん。ただし、多段階の計算を最後まで間違えずにやり切る力の目安にはなる。いまは完全に飽和していて、上位モデルは満点を取っている。

TruthfulQA｜大きいモデルほど下がった

①TruthfulQAは、817問（うち437問が敵対的フィルタ済）・38カテゴリ（健康・法律・金融・政治など）を扱う試験です。生成タスク（1〜2文の自由記述）と多肢選択タスクの両方があり、採点は正答率ではなく「真実性（truthfulness）」を主指標、情報量（informativeness）を副指標にしています。2021年9月にオックスフォード大学とOpenAIが発表し、ACL 2022に採択されました。

②人間に例えると、「よくある勘違い」を集めたクイズや。人がよく信じ込んでいる誤情報を、そのまま答えてしまわないかを試す試験になる。

③この試験の最重要の発見は、モデルが大きいほどスコアが下がる（inverse scaling）ことでした。通常のスケーリング則とは逆の結果です。大きなモデルほど、学習データの中にある人間の誤信念をよく捉えてしまうために起きる現象で、当時の水準は人間94%に対し、当時の最良モデルは58%でした。

④いまの比較には使われていない。役割はAA-Omniscienceへ移った。「古いから無意味」という話やない。シリーズ第1回で書いた「テストには寿命がある」の、生きた実例として読んどいてほしい。

inverse scalingという発見は、公開された当時、多くの開発者に驚きを持って受け止められた。モデルを大きくすれば性能は上がる、というのがそれまでの共通認識やったからや。TruthfulQAが示したのは、「賢さ」と「誤情報に流されないこと」は、必ずしも同じ方向に伸びる能力やないという事実になる。この発見自体は、いまも色あせていない。

AA-Omniscience｜知らんことを知らんと言えるか

①AA-Omniscienceは、6,000問・6ドメイン×42トピック（Business／Humanities & Social Sciences／Health／Law／Software Engineering／Science, Engineering & Mathematics）で構成される、短答式の事実質問です。「説明なしで答えのみ」を要求する形式になっています。2025年11月17日にArtificial Analysisが発表しました。

採点式はこうなる。

Omniscience Index = 100 × (正解 − 不正解) / (正解 + 部分正解 + 不正解 + 棄権)
範囲は −100 〜 +100

設計思想はシンプルや。不正解にはペナルティ、棄権にはペナルティなし。併記指標としてハルシネーション率（不正解 ÷ (部分正解＋不正解＋棄権)）も出す。これは「正解できなかった問いのうち、それでも答えてしまった割合」を意味する。

②人間に例えると、分からない問題に「分かりません」と答えれば減点なし、適当に答えて外したら減点される試験や。

③点数が高いモデルは、知らんことを知らんと言える。事実の正確さと、知ったかぶりをしない誠実さの、両方が高いということになる。公開時の衝撃は大きく、評価した全モデルのうち3モデルしか0を超えなかった。大半のモデルは、正解より不正解のほうが多い状態やった。現在はClaude Fable 5が43、Claude Opus 5 (Max Effort)が37で、満点100に対してまったく飽和していない。

④コードを書く仕事だけをしている人には、直接は関係が薄い。ただ、AIに何かを尋ねて、その答えをそのまま使う人全員に関係する指標や。リサーチをAIに任せる読者にとって、これ以上に効く指標はない。

リサーチをAIに任せる人は、ここを見る

3つの仕事のうち②のリサーチと、いちばん相性が悪いのが「知ったかぶり」になる。分からないことを分からないと言わず、それらしい答えを返されるのが、リサーチでいちばん困る状況や。

AIにリサーチを任せている人は、そのAIツールのAA-Omniscienceのスコアと、ハルシネーション率を一緒に見にいくとええ。スコアだけが高くても、ハルシネーション率も高ければ、「知らないことをそれっぽく答えてしまう」タイプのAIということになる。

逆に、スコアがそこまで高くなくても、ハルシネーション率が低いモデルもある。そういうモデルは、「分からないことは分からないと素直に言う」タイプや。リサーチに使うなら、こっちのほうが実は扱いやすい。知らないと言われれば、その部分だけ自分で調べ直せばいいだけやからな。

3行表の1列目を埋める

第1回で書き出した3つの仕事に、この回で出てきた指標を当てはめてみる。①長文の記事を書く仕事はMMLU-Proに効いた。②リサーチする仕事はAA-Omniscienceに効いた。③作ったプログラムを直す仕事は、この回の指標はほぼ効かへん。ここは第3回で埋まる。

確認項目	AI大将の場合	あなたの場合
仕事① 長文の記事を書く	幅広い分野の知識が要る → MMLU-Pro	______
仕事② リサーチする	知ったかぶりをされたら困る → AA-Omniscience	______
仕事③ 作ったプログラムを直す	この回の指標はほぼ効かへん → 第3回へ	______

判定の目安はこうなる。幅広い分野の話を書く仕事はMMLU-Proを見る。事実の正確さが要る仕事はAA-Omniscienceを見て、ハルシネーション率も一緒に確認する。科学・技術の専門的な判断が要る仕事はGPQA Diamondを見るが、198問であることを踏まえておく。数字の計算が最後まで合ってほしい仕事はAIME系を見る。

自分の仕事が、この4つのどれにもぴったり当てはまらへんこともある。その場合は、いちばん近いものを2つ選んで両方見ておけばええ。完璧な1対1対応を探すより、大まかな見当をつけて動き出すほうが早い。

この8つを見るときの落とし穴

• 飽和した指標で判断する：MMLUやAIME 2025のような飽和した指標の高得点は、いまのモデル同士の差を映していない
• 198問の1〜2ポイント差を語る：GPQA Diamondは198問しかない。1問正解が変わるだけで約0.5ポイント動く
• HLEの数字を出所なしで引く：公式lastexam.ai（2,500問）か、Artificial Analysis（テキストのみ2,158問）か。対象セットが違えば、数字は倍近く違う
• 「専門家を超えた」を条件なしで書く：GPQA Diamondの94%は事実やが、198問の選択式で、という条件つきや この4つのどれかをやると、正しい数字を持っていても、間違った結論に着地してしまう。

よくある質問

Q. MMLUで90%を超えているなら、もう十分賢いということですか。 A. MMLUは57科目の基礎知識を4択で問う試験で、現在の上位モデルはすでに90%超に達し、飽和しています。この数字だけでは、いまのモデル同士の差は測れません。推論力を見たいならMMLU-ProやGPQA、事実の正確さを見たいならAA-Omniscienceのように、目的に合った指標を別に確認する必要があります。

Q. GPQA Diamondで94%というのは、博士より賢いということですか。 A. 数字の上では、上位モデルの94%台は専門家の正答率65%を上回っています。ただし、これは198問という限られた選択式の問題での結果です。実務全般での専門的な判断力を、この一つの数字だけで博士と比較するのは早計です。

Q. HLEの数字が、記事によって違うのはなぜですか。 A. 公式サイトのlastexam.ai（画像込み2,500問）と、Artificial Analysis（テキストのみ2,158問）とで、対象になっている問題セットが違うためです。数字を見るときは、どちらの集計かを確認してください。

Q. AIが知ったかぶりをするかどうかは、どの数字を見ればいいですか。 A. AA-Omniscienceのハルシネーション率が、そのために作られた指標です。正解できなかった問いのうち、それでも答えてしまった割合を示していて、数字が低いほど「分からないことを分からないと言える」モデルということになります。

Q. TruthfulQAはもう見なくていいのですか。 A. 現行の性能比較では、役割がAA-Omniscienceへ移っています。ただし「モデルが大きいほどスコアが下がる」という発見は、いまも語る価値のある知見です。ベンチマークに寿命があることを示す実例として、覚えておく意味はあります。

Q. エンジニアではないのですが、この8つのどれを見ればいいですか。 A. 幅広い分野の文章を書かせたいならMMLU-Pro、事実確認やリサーチを任せたいならAA-Omniscience（とハルシネーション率）、専門的な判断を求めたいならGPQA Diamondを、それぞれ目的に応じて見るのが実用的です。8つ全部を毎回チェックする必要はありません。

次回は、仕事をやり切る力

この回で扱った8つは、どれも「知っているか」「正しく推論できるか」を測る試験やった。次回は、視点が変わる。

第3回では、コードを書き、業務のツールを操作し、最後まで仕事をやり切る力を測る指標を扱う。賢さと、仕事が終わることは、別の能力や。この回の8つで高得点でも、次回の指標では低い、ということが普通に起こる。それがなぜかを、次回で開けていく。

この2回を通して見えてきたことが1つある。「賢い」という言葉ひとつでは、AIの能力は言い表せへん。知識があるか、推論できるか、正直に「分からん」と言えるか、そして仕事をやり切れるか。それぞれ別の物差しがあって、はじめて全体像が見えてくる。