生成AI(LLM)お悩み別AI関連ニュース GeminiClaudeChatGPTAIを体系的に学びたい

Gemini 3.7 Flash登場。3週間で次って早すぎん?|年内はAPI価格が半額です

Gemini 3.7 Flashが8月13日に発表されました。Claude Opus 5・GPT-5.6・Grok 4.6と全ベンチマークで比較し、スコアのパーセントが何を意味するのかまで解説します。日本でもベータで使えます。API価格は年内半額で、2027年1月から倍です。

AI大将が、Gemini・Claude・GPTのスコアを並べた比較表を指しながら、パーセントが何の割合かを説明している図

「Gemini 3.7 Flashが出たらしいけど、自分は使えるんやろか」「性能が上がったて言われても、その数字が何を意味するんか分からん」。そう感じた人は多いはずや。数字の意味と、並べる相手を変えたら、話が全然ちがってくる。

結論:業務をやり切る力では1位。ただし3倍やない

Googleは2026年8月13日、Gemini 3.7 Flashを発表しました。実際の業務環境でタスクをやり切る力を測るAutomationBenchで、Gemini 3.7 Flashは30.44%で1位を取っています。ここまでは事実や。

せやけど、Googleが自社の発表資料で並べた比較表には、Claude Opus 5が入ってへん。

モデルスコア
Gemini 3.7 Flash30.4%
GPT-5.6 Terra23.6%
Claude Sonnet 510.7%

この表だけ見ると「Claudeの3倍」に見える。せやけど、AutomationBenchを作っているZapierの公式リーダーボードでは、2位から4位までをClaude Opus 5が占めとる。実際の2位との差は3.5ポイントや。1位であることは事実。3倍という表現は、比較の相手を選んだ結果や。

この記事は、Gemini 3.7 Flashの数字を、比較の相手ごと、パーセントの意味ごと、丁寧に分解していく。ベンチマークの名前を並べただけの速報とは違って、その数字が実際に何を測っとるんかまで踏み込む。読み終わったころには、次に新しいモデルが出たときも、発表資料をそのまま鵜呑みにせず自分で読み解けるようになるはずや。

この記事で分かること

  • Gemini 3.7 Flashが何をどれだけ達成したか、正確な比較データ
  • ベンチマークの名前とパーセントが、実際は何を測っているか
  • Claude・GPT・Grokと並べたとき、どこで勝ってどこで負けているか
  • 発表された数字を、自分の仕事で確かめる方法

3.6の3週間後に3.7。3.5 Proはまだ出てへん

Gemini 3.7 Flashは、前のモデルであるGemini 3.6 Flashから、わずか3週間後の登場でした。Googleはこのモデルを「最も知的なワーキングホースモデル」と位置づけ、コーディングとエージェント向けの性能を前面に出しています。

番号の並びにも注目してほしい。**Gemini 3.5 Proより先に、3.7 Flashが出た。**Proの番号がまだ3.5のうちに、Flashだけ3.7まで進んどる。モデル名の数字を見て「新しい方が上位モデル」と単純に判断できる時代やなくなってきとる。

これはGoogleに限った話やない。他社も似たようなペースでモデルを出し続けとって、名前の数字だけを追いかけても、どれが今いちばん優れているかは分からへん。だからこそ、次の章で紹介するベンチマークの中身を、自分の目で確認する意味がある。

Gemini 3.6 Flashから3週間後にGemini 3.7 Flashが登場し、Gemini 3.5 Proがまだ出ていないことを示す年表

で、自分は使えるんか

無料プランでは使えません。Geminiアプリの新しいエージェント機能「Spark」からGemini 3.7 Flashを使う場合、AI ProまたはUltraのサブスクリプションが必要です。ほかに、Google AI Studio、Antigravity、Android Studio、Gemini Enterpriseからも利用できます。

提供地域は160以上の国で、除外されているのはEEA、ナイジェリア、スイス、英国の4つだけです。**日本ではベータとして提供されとる。**わしも実際に自分のアカウントでSparkを開いて、Gemini 3.7 Flashが選べることを確認した。性能の比較まではこの記事ではやらへんけど、少なくとも「日本からは触れへん」という心配はいらん。

海外のメディアの記事は、提供対象国のリストを訳して並べるだけで終わっとることが多い。せやけど、リストに載っとるからといって、実際に自分のアカウントから触れるかどうかは別の話や。実際に開いて確認するところまでやって、初めて「使える」と言い切れる。

ChatGPTやGemini本体でSkillsが使える範囲を示す一覧図。無料プランでは使えないことと、日本でSparkがベータ提供されていることを示している

そのベンチマーク、何を測ってるんか

Gemini 3.7 Flashの発表には、聞き慣れないベンチマーク名がいくつも出てきます。名前だけ並べても、何がすごいのか伝わらへん。まず、5つのベンチマークが実際に何を測っているかを、日常語に置き換える。

ベンチマーク何を測るか規模
AutomationBench実際のCRM・受信箱・カレンダーがある環境で、業務を最後までやり切る力600以上のタスク、47の実ツール、Finance・HR・Marketing・Operations・Sales・Supportの6分野
DeepSWE v1.1長丁場の開発作業を、途中で崩れずやり切れるか113タスク、91リポジトリ、5言語
GDP.pdf難しい書類(金融・法務)を、どれだけ正確に読んで考えられるか
FrontierCode 1.1 Main本番で通用するコードの品質
WebDev Arena(Elo)作らせたWebページを、人が見比べてどちらが良いか投票した結果

この中で、うちらの仕事にいちばん直結するのはAutomationBenchGDP.pdfの2つです。契約書を読む、問い合わせメールに対応する、決まった手順で作業を進める。どれも、この2つのベンチマークが測っとることと同じ種類の作業になる。

5つのベンチマーク名と、それぞれが何を測っているかを日常語で対応させた翻訳表。AutomationBenchとGDP.pdfの行だけ赤で強調されている

その34%、何の割合なんか

名前が分かっても、パーセントの意味を取り違えると、読み方を間違えます。AutomationBenchの30.4%を例に見ていく。

**この30.4%は「目標を達成し、かつ業務ルール(ガードレール)を1つも破らなかったタスクの割合」**です。LLMによる甘い判定ではなく、最終的な状態が条件に一致しているかを機械的に判定しています。部分点はありません。手順の途中がどれだけ良くても、最後の状態が1つでもずれとったら、そのタスクは失敗として数えられる。

つまり、「3割しかできてへん」やなく、「3割を、一つもミスなく完璧にやり切った」という意味や。ここを取り違えると、Gemini 3.7 Flashの実力を見誤ってしまう。

DeepSWE v1.1の65.3%は意味が違います。こちらは「1回目の挑戦で成功した割合(pass@1)」で、提出したコードを隔離環境で実際に動かして判定しています。AutomationBenchとは判定の対象も基準も別物や。

**WebDev Arenaの1588という数字は、パーセントやない。**将棋やチェスのレーティングと同じ、対戦して勝った積み上げの点数です。1588点という絶対値そのものより、他のモデルとの相対的な順位に意味がある指標になる。単位が違う数字を、同じ物差しで比べたらあかん。

同じ理由で、GDP.pdfやFrontierCode 1.1 Mainの正答率も、AutomationBenchとは採点の作り方が違います。「正答率」という言葉が同じでも、何をもって正解とするかの基準は、ベンチマークごとに違う。パーセントを見た瞬間に「高い・低い」だけで判断せず、まず何を測っとる数字かを確認する癖をつけてほしい。

AutomationBenchの30.4%という数字を中央に置き、左に「3割しかできん」の誤読、右に「3割を、一つもミスなく最後までやり切った」の正しい読み方を対比させた図

ほかのモデルと並べてみた

パーセントの意味が分かったところで、他のモデルと並べる。ここが、この記事でいちばん見てほしい部分になる。

AutomationBenchのZapier公式リーダーボードでは、次の順位です。

順位モデルスコア1タスクあたりのコスト
1Gemini 3.7 Flash (High)30.44%$0.61
2Claude Opus 5 (Max)26.94%$1.27
3Claude Opus 5 (XHigh)25.27%$1.15
4Claude Opus 5 (Medium)23.9%$0.89
5Kimi K322.68%$0.43
6GPT-5.6 Terra (Max)21.0%$1.31
9GPT-5.6 Sol (Max)19.63%$1.00

ところが、長丁場の開発作業を測るDeepSWE v1.1では、順位がひっくり返ります。

モデルスコア
Claude Opus 574.0%
GPT-5.6 Sol72.7%
Claude Fable 569.7%
GPT-5.6 Terra69.6%
Grok 4.667.0%
Gemini 3.7 Flash65.3%
Claude Sonnet 553.8%

**AutomationBenchでは1位、DeepSWEでは6番手。**同じ2つのモデルの順位が、ベンチマークによって逆転しています。得意な作業と苦手な作業が、はっきり分かれとるということです。

ほかの指標も見ておく。書類の実務作業に近いAutomationBenchもGDP.pdfも、Gemini 3.7 Flashはまだ30%台にとどまっている分野です。実務環境の操作を測るOSWorld-2.0では、GPT-5.6 Terraが50.2%に対してGemini 3.7 Flashは38.1%で、12ポイントほど負けています。複数のベンチマークをまとめた総合指標「Artificial Analysis Intelligence Index」では、GPT-5.6 TerraとMuse Spark 1.2が57で並び、Gemini 3.7 Flashは56で3位です。良いところだけを見ると数字を見誤るから、負けている場所もそのまま書く。

なお、同じDeepSWEでも、集計の条件によって65.3%と65.0%±2%のように数字が動くことがあります。Grok 4.6も67.0%と65.9%の両方が報告されとる。小数点以下の差で、優劣を語るほど厳密な数字やない。

AutomationBenchのリーダーボードとDeepSWEのリーダーボードを上下に並べ、Gemini 3.7 FlashとClaude Opus 5の順位が入れ替わっていることを示す図

Googleの表に、Claude Opus 5が入ってへん

「Claudeの3倍」という表現は、Googleの発表資料が出しているAutomationBenchの3モデル比較(Gemini 3.7 Flash・GPT-5.6 Terra・Claude Sonnet 5)から来ています。この表には、Zapierの公式リーダーボードで2〜4位にいるClaude Opus 5が含まれていません。

AutomationBenchを作っているのはZapierです。ワークフロー自動化を手がける会社が、自社のベンチマークでどのモデルが成績を出すかを公開しとる。採点方法自体は公開されて透明やけど、ベンチマークの作成者は、モデルの成績そのものに商業的な利害を持つ立場にあります。だからこそ、発表元が選んだ比較対象をそのまま鵜呑みにせず、公式リーダーボードの全体まで確認する価値がある。

Zapierの公式リーダーボードで比べ直すと、Gemini 3.7 Flashと2位のClaude Opus 5(Max)との差は3.5ポイントです。1位であることは事実として書くけど、3倍という表現は使わへん。

1位で、しかも1タスク$0.61

順位だけを見て終わらせるのはもったいない。もう1つ大事な数字が、1タスクあたりのコストです。

Gemini 3.7 Flash(High)は1タスク$0.61で1位を取っています。2位のClaude Opus 5(Max)は$1.27。**成績がいちばん上で、コストは半分近い。**これが、この記事でいちばん伝えたい強みや。順位表だけを見て「僅差やん」で終わらせず、コスト欄まで見てほしい。

年内は半額。年明けから倍になります

料金も確認しておく。

モデル入力(100万トークン)出力(100万トークン)備考
Gemini 3.7 Flash$0.75$3.752026年12月31日まで。2027年1月1日から$1.50/$7.50
Claude Sonnet 5$2$10通常価格
GPT-5.6 Terra$2
Grok 4.6$2$6

Gemini 3.7 Flashは、年内は他社より安く使えます。入力$0.75、出力$3.75という価格は、Claude Sonnet 5の$2/$10やGPT-5.6 Terraの$2と比べても、はっきり安い。せやけど、この価格は2027年1月1日から2倍になることが、すでに発表されとる。**「年内半額」は期間限定のキャンペーン価格や。**API経由で長く使う予定なら、この値上げのタイミングを覚えておいたほうがええ。

値上げ後の$1.50/$7.50でも、他社と比べて極端に高いわけやない。今のうちに安く試して、自分の仕事に合うかどうかを確かめておく、という使い方が向いとる。

自分用のテストを、5分で作る

ここまでの数字は、あくまでZapierやOpenAI、Googleが用意した課題での結果です。自分の仕事にどれだけ当てはまるかは、自分で試すのがいちばん確実や。AutomationBenchの採点方法をそのまま、自分の仕事に写してみる。

  1. 成功条件を、作業を始める前に3つ書く。「要点が3つに絞られている」「300字以内」のように、後から○か×かで判定できる条件にする
  2. 実際に使う入力を1つ、保存しておく。毎回違う入力で試すと、AIの実力なのか入力の違いなのか分からなくなる
  3. 同じ入力を、同じ聞き方で3回投げる。1回だけの結果で判断すると、たまたま良かった・悪かっただけの可能性がある
  4. 3回それぞれの結果を、3つの成功条件に照らして○×で数える。3つとも通ったときだけ○にする。AutomationBenchが「すべての判定が通らないと成功にならない」のと同じ厳しさにする
決めること例(お客さんからの長いメールを要約する)あなたの場合
使う入力(保存しておく)実際に来た長文メール1通(個人情報は伏せる)____
成功条件①要点が3つに絞られている____
成功条件②300字以内に収まっている____
成功条件③勝手な推測が混じっていない____
3回投げた結果○ ○ ×(3回中2回)____

3つとも通って初めて○にする。1つでも欠けたら×にする。ここを甘くすると、「なんとなく良い」という感覚だけの判断に戻ってしまう。

自分用のテストを作る4つの手順と、○×で結果を記録する表を示した図

そのままコピーして使えるテスト文

GDP.pdf型(書類読解)とAutomationBench型(手順のある業務)の2つを載せる。コピーして、自分の入力に差し替えるだけで使える。

この書類を読んで、次の3つを答えてください。
 
1. この書類で、いちばん重要な数字を3つ。それぞれ何の数字かも書く
2. 期限や条件が書かれている箇所を、すべて抜き出す
3. この書類を読んだ人が、次にやらなあかんことを1つ
 
分からんかったところは「書いてない」と正直に書いてください。
推測で埋めんといてください。
次の作業を、最後までやってください。
 
【材料】
(ここに、実際のデータやメール文面を貼る)
 
【手順】
1. (最初にやること)
2. (次にやること)
3. (最後にやること)
 
【できあがりの条件】
- (条件1)
- (条件2)
- (条件3)
 
途中で分からんことがあっても、勝手に決めずに、
そこだけ「確認が要る」と書いて先へ進んでください。

**「できあがりの条件」を先に書くのが肝や。**AutomationBenchが「最終状態が成功条件と一致するか」で採点しているのと、同じやり方になる。

つまずきやすいところ

Geminiアプリで探しても出てこない

Gemini 3.7 FlashはSparkという新しいエージェント機能から使います。いつものチャット画面のモデル選択に出てこなくても、故障やない。Sparkのメニューを確認してほしい。

ベンダー発表の表だけで判断する

企業が自社発表で出す比較表は、自社に有利な相手を選んでいることがあります。この記事のGoogleの例のように、公式リーダーボードまで確認する習慣をつけたほうがええ。1社の発表資料だけを見て「圧倒的」と判断するのは早い。

Eloをパーセントと同じに見る

WebDev Arenaの数値は、対戦の勝ち負けを積み上げたレーティングです。AutomationBenchやDeepSWEのパーセントと並べて、大小だけで比べたらあかん。表の中に単位の違う数字が混ざっとることに、まず気づくことが大事や。

小数点以下の差で順位を語る

同じベンチマークでも、集計条件によって数字が0.数ポイント動くことがあります。僅差の順位を、断定的な優劣として扱わないほうがええ。0.4ポイント差の1位と2位は、実質的には横並びだと考えたほうが実態に近い。

成功条件を決めずに「なんとなく良い」で判断する

先に成功条件を書かず、出てきた答えの印象だけで判断すると、比較のたびに基準がぶれます。この記事の3列表を使って、条件を先に固定してから試してほしい。「今回はなんとなく良かった」という感覚は、次に試したときには再現できへん。

よくある質問

結局どれがいちばん賢いんですか?

1つに決まりません。Gemini 3.7 FlashはAutomationBench(業務をやり切る力)で1位ですが、DeepSWE(長丁場の開発作業)ではClaude Opus 5が1位、OSWorld-2.0ではGPT-5.6 Terraが上回っています。得意な作業がベンチマークごとに分かれているため、「自分がやらせたい作業に近いベンチマーク」で比べるのが実用的な選び方です。総合指標だけを見て1つに決めるより、この記事のテスト方法で自分の作業に当てはめて確かめるほうが、結局は近道になります。

無料で試す方法はありますか?

現時点でGemini 3.7 Flashは無料プランの対象外です。Sparkから使う場合はAI ProまたはUltraのサブスクリプションが必要になります。Google AI StudioやAntigravityなど、開発者向けの入り口も用意されています。

文章を書くのに向いていますか?

この記事で扱ったベンチマークは、業務の実行力やコーディング力を測るものが中心で、文章作成の適性は別の観点になります。まずは自分が書きたい文章のジャンルで、この記事のテスト方法を使って実際に試してみるのが確実です。

テストはいくつ作ればいいですか?

まずは1つで十分です。いちばん頻度が高くて、成功したかどうかを判定しやすい作業を1つ選んで試し、精度を確かめてから、必要な作業ごとに増やしていくやり方が続けやすいです。

まとめ|今日やる一歩

Gemini 3.7 FlashはAutomationBenchで1位、しかも1タスク$0.61という低コストで、実務での実行力に強みがあります。せやけど、DeepSWEやOSWorld-2.0のように、他のモデルが上回っている分野もはっきりある。「どれがいちばん賢いか」という質問には、そもそも答えがない。

ベンダーの発表資料は、自社が有利に見える切り取り方をすることがある。せやからこそ、数字の意味を自分で確認し、最後は自分の仕事で試すところまでやる。それが、次にまた新しいモデルが出たときにも使える、いちばん確実なやり方や。

  1. 発表元の比較表は、比較対象が偏っていることがある。公式リーダーボードまで確認する
  2. パーセントの意味は、ベンチマークごとに違う。「何を測っているか」を先に確認する
  3. 最終的な判断は、自分の仕事で成功条件を決めて、自分で試して確かめる AI大将が、公式LINEへの登録を勧めている案内画像

今日、成功条件を3つ書くところから始めてみてほしい。

1タスクあたりの実コストという考え方をもっと詳しく知りたい人は、こちらも読んでみてほしい。

AIの料金が80%下がっても、喜ぶ前に一回計算しよか

発表の数字を鵜呑みにせず、自分で実際に検証した記事も参考になる。

「国産AIすごい」の裏側