AIの性能ベンチマーク｜大量の資料と画像を読む力を測る9つ（AA-LCR・GDP.pdf・LMArena）

契約書、公募要領、決算資料、領収書、スクショ。毎日AIに投げとるもんが、そのままこの回の試験になっとる。

この回は、コードの話はゼロや。長い資料、専門的なPDF、スキャンした書類、グラフ、画像を読む力を測る9つの試験（LongBench、AA-LCR、GDP.pdf、DocVQA、ChartQA、MMMU、MMMU-Pro、OCRBench、LMArena）を、同じ4行の型で開けていく。

いちばん最初に片づけたいのが、「コンテキストウィンドウが大きい＝資料を正確に読める」という思い込みや。この2つは、実は別の話になる。

「100万トークン対応」は、読解力の話やない

「コンテキストウィンドウ100万トークン対応」というモデルの発表を見て、「じゃあ100万トークンぶんの資料を正確に読めるんやな」と思ったことはないやろか。

その2つは、実は別の話になります。コンテキストウィンドウは、モデルが一度に受け取れる情報量の上限を示す数字です。「入るかどうか」の話であって、「入った情報を、正確に統合して使えるかどうか」は、まったく別の能力になります。

この差を実測しているのがAA-LCR（Artificial Analysis Long Context Reasoning）です。Artificial Analysisが2025年8月5日に発表しました。問題数はわずか100問。30の文書セット・合計234文書を使い、1セットの分量は平均約99,325トークンです。「100万トークン対応」を謳うモデルの、10分の1程度しかありません。それでも、この10分の1・100問という規模で、モデル同士にはっきりと差がつきます。

測っているのは、単純な検索やない。複数の文書、複数の箇所にまたがる情報を、統合して答える多段推論の力になる。「入る」と「使える」は別物や、ということが、この設計そのもので証明されとる。

長い資料をAIに読ませる仕事をしている人は、まずここを頭に入れておいてほしい。トークン数の大きさだけを見て選ぶのは、まだ早い。

LongBench｜長い文章を6種類の課題で

①LongBenchは、清華大学THUDMが2023年8月に発表した試験です（ACL 2024）。6タスクカテゴリ・21データセット・4,750件（英語14／中国語5／コード2）で構成され、多くのタスクの平均長は5k〜15kトークンです。タスクは単一文書QA、複数文書QA、要約、Few-shot学習、合成タスク（文書検索・段落カウント）、コード補完に分かれます。採点はタスクごとに異なり、F1（QA系）、Rouge-L（要約系）、正答率(分類・検索系)、編集類似度(コード系)を使い分けます。

②人間に例えると、いろんな種類の長文読解問題集を1冊にまとめて、まとめて解かせる試験になる。

③点数が高いモデルは、長めの文章から必要な情報を抜き出し、要約したり検索したりする基礎的な処理を、幅広くこなせるということになる。

④2024年12月に発表されたLongBench v2は、まったく別物です。503問の多肢選択式で、文脈長は8,000語から200万語まで及びます。人間（15分の制限時間つき）の正答率53.7%に対し、当時のo1-previewは57.7%でした。「LongBench」という名前だけで数字を語ると、v1とv2のどちらの話か分からんくなる。ここも、名前の後ろを見る癖が要る。

AA-LCR｜234文書を突き合わせて答える

①AA-LCRは、Artificial Analysisが2025年8月5日に発表した試験です（2026年8月19日時点で確認）。100問を、30の文書セット・合計234文書から人手で作成しています。1セットの分量は平均約99,325トークン（cl100k_baseで計測）で、企業レポート、業界レポート、政府協議資料、学術論文、法務文書、マーケ資料、調査レポートの7カテゴリを扱います。

②人間に例えると、複数の分厚い報告書を机に並べて、あちこちのページを見比べながら1つの問いに答えるのに近い試験になる。

③採点は、自由記述に対する別のLLMによるpass/fail判定です。公式解答と等価かどうかを見ます。点数が高いモデルは、単純な一箇所検索やなく、複数の文書・複数の箇所にまたがる情報を統合して、多段階の推論ができるということになる。判定モデルはIntelligence Index v4.1.1でGPT-5.6 Luna (medium)に統一されています（それ以前はQwen3 235B A22B 2507）。

④直接コードを書かない人にこそ関係が深い試験や。複数の資料を突き合わせて答えを出す、というリサーチの仕事そのものを測っとる。

数字だけの試験が続いたけど、次は実際のPDFを使った試験になる。ここが、この回でいちばん実務に近い山場や。

GDP.pdf｜プロが実際に投げる質問

①GDP.pdfは、Surge AIが2026年7月に発表した試験です（CVPR 2026ワークショップKnowledgeMR、2026年8月19日時点で確認）。100件の「プロンプト＋PDF」ペアを、金融・医療・法務・エンジニアリング・建設・製造・保険・不動産・人事・STEM研究の10の専門領域から集めています。

中身は実務現場の本物のPDFです。福利厚生の説明書、賃貸契約書、部品データシート、診療ガイドライン、施工図面、家電の配線図、建築図面、ロケットエンジンの技術資料まで含まれます。

②人間に例えると、その道のプロが、実際の業務で使う書類を渡されて、実際に聞かれる質問に答えさせられる試験になる。表や図の読み取り、複数箇所の相互参照、契約文言の解釈、根拠の提示までが求められます。

③採点は、1タスクあたり最大30個の細かい判定基準（ルーブリック）で行われます。「必須の事実を書けているか」「引用が正しいか」「ハルシネーションしていないか」を、1つずつpass/failで見ます。指標はルーブリック満点率（全基準を満たしたタスクの割合）と、平均基準pass率の2つです。

論文時点の17モデルの成績は30.7%から2.0%に分布しています。公式リーダーボードの首位でも、満点率は25%、平均基準pass率は76.76%でした。個々の基準は7割以上満たせても、1タスクの中の30個すべてを満たすのは、4件に1件という水準になる。

④専門的なPDFの読解を、いまAIに丸投げできる段階ではありません。首位でも満点率25%という数字が、それを正直に示しています。ただし、契約書や仕様書をAIに読ませる場面がある人にとっては、この試験の存在そのものが、確認を残すべき理由になる。

DocVQA｜スキャンした書類を読む5万問

①DocVQAは、IIIT HyderabadとCVCバルセロナ自治大学が2020年7月に発表した試験です（WACV 2021）。質問50,000件・文書画像12,767枚で構成され、表、フォーム、レイアウト付き文書、手書き、写真、図表など9種の質問タイプを含む、スキャンされた業務文書の画像に答えさせます。

②人間に例えると、紙で受け取った書類をスキャンして、その画像だけを見ながら質問に答えるのに近い試験になる。

③採点の主指標はANLS（平均正規化レーベンシュタイン類似度）です。文字列同士の近さで測る指標で、OCRの読み取り誤差程度の表記ゆれを厳しく減点しないための設計になっています。人間の性能は94.36%でした。

④点数が高いモデルは、紙の書類を画像として取り込んでも、そこそこ正確に内容を扱えるということになる。レシートや紙の申込書をスマホで撮って読ませる、という使い方をする人には、そのまま関係してくる。

ChartQA｜グラフから数字を拾う

①ChartQAは、ヨーク大学ほかが2022年3月に発表した試験です（Findings of ACL 2022）。グラフ画像20,882枚・質問32,719問で構成され、出典はStatista、Pew Research Center、Our World in Data、OECDです。棒グラフが最多で、次いで折れ線・円グラフが続きます。

②人間に例えると、決算資料や統計資料に載っているグラフを見せられて、「いちばん大きい年と小さい年の差は？」のような計算を含む質問に答えさせられる試験になる。色や凡例といった視覚的特徴を指す質問も含まれます。

③採点はRelaxed Accuracyという方式で、数値回答は正解から5%以内の誤差を正解とみなします。数値以外は完全一致です。この5%という許容幅は、グラフからデータを自動抽出したときに生じる誤差を許すために設けられています。

④この設計そのものが、大事な教訓になる。試験を作った側自身が、「グラフの読み取りには誤差が出る」と認めとるということや。AIにグラフから数字を拾わせて、そのまま資料に転記する人は、この5%を思い出してほしい。数字の正確さが重要な仕事では、最後は自分で確かめる工程を残しておいたほうがええ。

MMMU｜大学の講義レベルを、図つきで

①MMMUは、オハイオ州立大学・ウォータールー大学ほか計21名が2023年11月に発表した試験です（CVPR 2024 Oral）。11,550問(dev 150／validation 900／test 10,500)で、Art & Design、Business、Science、Health & Medicine、Humanities & Social Science、Tech & Engineeringの6分野・30科目・183サブフィールドを扱い、チャート、図、地図、表、楽譜、化学構造式など30種の画像タイプを含みます。

②人間に例えると、大学の講義で使う教科書やスライドの図を見ながら、専門科目の試験を解くのに近い試験になる。

③点数が高いモデルは、専門的な図表や構造式まで含めて、大学レベルの内容を画像とテキストの両方から理解できるということになる。

MMMU-Pro｜問題文ごと画像にした

MMMU-Proは、MMMUに3つの改修を加えたバージョンです。合計3,460問(標準1,730問＋視覚のみ1,730問)で構成されます。改修は、テキストのみで解ける問題の除去、選択肢を4択から10択(A〜J)へ拡張、そして問題文そのものを画像に埋め込むVision-only設定です。背景・フォント・文字サイズを変えたディスプレイを、実際に撮影して作られています。

この改修の効果は大きく、MMMUと比べて16.8〜26.9ポイントの低下が確認されています。採点は総合スコアとして、標準10択とVision-onlyの平均を使います。

④画像認識の性能を語るとき、MMMUとMMMU-Proの数字を同じ表に並べたらあかん。10択への拡張とVision-only設定という、2つの条件が変わっとるからや。特にVision-only設定は、スクリーンショットをそのままAIに投げる読者に直結する。「文字として読み込める資料」と「画像として撮影した資料」では、扱いやすさが変わるということを、この改修結果が裏づけとる。

OCRBench｜レシートと帳票と手書き数式

①OCRBenchは、華中科技大学ほかが2023年5月に発表し、2024年8月に改訂された試験です（Science China Information Sciences）。1,000問を、29の既存データセットから抽出しています。内訳は文字認識300問、風景中の文字のVQA 200問、文書VQA 200問、重要情報抽出200問(レシート・帳票)、手書き数式認識100問です。

②人間に例えると、レシートや帳票、看板の文字、手書きのメモまで、いろんな見た目の文字を読み取らせる試験になる。

③採点は、正解の文字列がモデルの出力に含まれているかで判定します。答えが4文字未満の問題は、偶然の一致で正解扱いになるのを防ぐため、全部除外されています。

④点数が高いモデルは、印刷された文字だけやなく、レシートや帳票、手書きの文字まで、幅広い見た目の文字を正確に読み取れるということになる。経費精算のレシートや、紙の帳票をAIに読ませたい人には、そのまま関係してくる試験や。

LMArena｜これは試験やなく、人気投票や

①LMArena（現Arena）は、2023年4月にChatbot ArenaとしてUC Berkeley LMSYS Orgが公開し、2024年9月にLMArena、2026年1月にArenaへ名称変更しました。累計投票数は、2026年6月時点で全プラットフォーム合計8,200万票を超えています。

②人間に例えると、匿名の2人が同じ質問に答えて、どちらの答えが良いか、読者に投票してもらう企画に近い。

③ここが、これまでの8つと決定的に違うところになる。**LMArenaには、固定の問題セットが存在しません。**ユーザーが好きなプロンプトを投げ、匿名の2モデルの回答を見比べて、Model A・Model B・引き分け・どちらも悪い、のどれかに投票します。投票後にモデル名が開示される仕組みです。アリーナの種類はText、Agent、WebDev、Text-to-Image、Image Edit、Text-to-Video、Vision、Document、Searchなど多岐にわたります。

正答率という概念が、そもそも成立しません。計算はBradley-Terryモデル(ロジスティック回帰による最尤推定)で行われ、回帰係数に400を掛けて1000を足す変換がかけられています。チェスのEloと同じレンジに収めるための、人為的な処理です。だから数字そのものに絶対的な意味はなく、他のモデルとの差にしか意味がない。

④「LMArenaで1位」という発表を見かけたら、それは正確さの試験で1位になったんやなく、人間の好みの投票で優勢やったという意味になる。ただ、これは価値が低いという話やない。読みやすさや、答えの好ましさは、実務でも大事な情報や。

差を勝率に直す。同着も見抜く

差は、勝率に変換できます。

Aの勝率 = 1 / (1 + 10^((R_B − R_A) / 400))

100点差でおよそ勝率64%、200点差でおよそ勝率76%です。そして、票数の少ない新しいモデルは、信頼区間が広く出ます。Arena公式自身が、順位は信頼区間つきで読むものだと設計しています。信頼区間が重なっている相手とは、実質同着ということになる。1位と2位の差に一喜一憂する前に、信頼区間まで見る癖をつけといたほうがええ。

WebDev Arenaは、動かして触ってから投票する

2025年3月に公開されたWebDev Arenaでは、「簡単なチェスゲームを作って」のような指示に対し、匿名の2モデルがWebアプリを生成します。ユーザーは、実際にそのアプリを動かして触ってから投票します。実行環境はNext.jsベースのReact、TypeScript、Tailwind CSSにRechartsを組み合わせ、E2BのFirecrackerマイクロVM上で隔離実行されています。「見た目の好み」やなく「実際に動くもの」を触った上での投票、という点が、通常のArenaとの違いになる。

3行表の3列目を埋める。②の行が完成する

第1回・第2回・第3回で書き出してきた3つの仕事に、この回の指標を当てはめる。①長文の記事を書く仕事と③作ったプログラムを直す仕事には、この回の指標はほぼ効かへん。②リサーチする仕事には、複数の資料を突き合わせるならAA-LCR、専門的なPDFを読むならGDP.pdfが効いた。

確認項目	AI大将の場合	あなたの場合
仕事① 長文の記事を書く	この回の指標はほぼ効かへん（第2回・第3回で埋まった）	______
仕事② リサーチする	複数資料の突き合わせ→AA-LCR／専門PDF→GDP.pdf／＋第2回のAA-Omniscience	______
仕事③ 作ったプログラムを直す	この回の指標はほぼ効かへん	______

これで、②リサーチする仕事の行が完成する。第2回のAA-Omniscience（知らんことを知らんと言えるか）と、この回のAA-LCR・GDP.pdf（複数資料を正確に読めるか）を合わせて、1つのリサーチという仕事には「読む力」と「知ったかぶりせん力」の2つが要ることが分かる。片方だけ高くても、もう片方が低ければ、リサーチの成果物はそのままでは信用しきれへん。両方の数字を、セットで確認する習慣をつけといたほうがええ。

判定の目安はこうなる。複数の資料をまたいで調べてほしいならAA-LCRを見る。契約書・仕様書・公募要領のような専門PDFを読ませたいならGDP.pdfを見るが、首位でも満点率25%やから確認は残す。スキャンした紙の書類やレシートならDocVQA・OCRBenchを見る。グラフから数字を拾わせるならChartQAを見るが、5%の誤差が許されている前提を忘れんこと。スクリーンショットを投げることが多いならMMMU-ProのVision-onlyを見る。文章の読みやすさや好ましさが知りたいならLMArenaを見るが、信頼区間つきで読む。

資料を読ませるときの落とし穴

• 対応トークン数だけで選ぶ：入る量と、正確に使える量は別。AA-LCRのような多段推論の試験も合わせて確認する
• グラフの数字を確かめずに使う：ChartQAは5%以内の誤差を正解にしている。数字の正確さが要る資料では、自分で確認する
• Arenaの1位を正確さと取り違える：Arenaは固定の問題がない人気投票。信頼区間が重なる相手とは実質同着
• MMMUとMMMU-Proの数字を並べる：条件（選択肢数、Vision-only）が違うため、単純比較できない この4つのどれかをやると、正しい数字を持っていても、間違った結論に着地してしまう。

よくある質問

Q. コンテキストウィンドウが100万トークンあれば、100万トークンの資料を正確に読めますか。 A. 入る量と、正確に統合して使える量は別の話です。AA-LCRは約10万トークンの文書セットを100問しか出さない設計ですが、それでもモデル同士にはっきり差がつきます。対応トークン数だけでなく、こうした読解系の試験の数字も確認してください。

Q. AIにPDFの契約書を読ませて、確認は任せられますか。 A. GDP.pdfの公式リーダーボード首位でも、1タスクの30個の判定基準すべてを満たせた割合は満点率25%にとどまります。専門的な文書の読解は、まだ人の確認を残す段階です。

Q. グラフから数字を読み取らせるとき、どこまで信じていいですか。 A. ChartQAという試験自体が、数値回答について正解から5%以内の誤差を正解とみなす設計になっています。試験を作った側が誤差を織り込んでいるということなので、数字の正確さが重要な用途では、最後に自分で確かめる工程を残してください。

Q. LMArenaで1位のモデルが、いちばん正確ということですか。 A. 違います。LMArenaには固定の問題セットがなく、正答率という概念が成立しません。ユーザーの好みを匿名投票で集計したものなので、読みやすさや答えの好ましさの指標として読んでください。

Q. スクリーンショットを投げることが多いのですが、何を見ればいいですか。 A. MMMU-ProのVision-only設定が近い状況です。問題文そのものを画像に埋め込んで撮影した設定で、通常のMMMUから16.8〜26.9ポイントスコアが下がることが確認されています。画像として読ませる場合は、テキストで渡す場合より精度が落ちる前提で使ってください。

Q. AA-LCRやGDP.pdfは新しい指標ですが、信頼できますか。 A. どちらも2025年から2026年にかけて発表された比較的新しい指標で、2026年8月19日時点で確認できる情報です。作成者(Artificial AnalysisとSurge AI)や採点方法は公開されており、一次情報として参照できます。今後さらに版が更新される可能性はあるため、数字を見るときは発表時期も確認してください。

次回で、全部つながる

この回では、資料や画像を読む力を9つの試験で見てきた。第1回で数字の読み方、第2回で知識と推論、第3回でやり切る力、第4回で読む力を扱った。

第5回では、この4回で見てきた個々の指標を、どう組み合わせて1つの結論に落とし込むか、そして値段との兼ね合いまで含めて扱う。シリーズの締めくくりになる。

ここまで4回分、3行表を埋めてきた人は、もう自分の仕事に効く指標がだいたい見えているはずや。次回は、その見え方を仕上げにかかる回になる。