AIの画像処理コスト戦争：テキスト、画像、そして動画—なぜ動画だけが最後の砦なのか

はじめに

AIの進化は段階的だ。テキスト生成は人間の水準を超え、画像生成も驚くほど精密になった。だが、動画だけは別だ。なぜ？それは、AIが実は「物理法則を本当には理解していない」からだ。

この記事では、AIがなぜ画像処理に莫大なコストを払い、なぜ動画だけが人間にとって最後に残された領域なのかを解き明かす。

第1部：画像処理が重い理由

1. トークンコストでの「実感」

APIのコスト構造は正直だ。

つまり、テキストの500～1000倍のコストである。

もし1000文字のテキスト説明（約250トークン）か、1枚の画像（600トークン）かで迷ったら、テキストの方が2～3倍安い。

2. なぜそんなに重いのか：ビジョンモデルの内部動作

一般的な誤解は「ピクセル単位で計算している」というものだ。実際はそうではない。

入力画像（ピクセルデータ）
    ↓
【パッチ化】← ここが重要
16×16ピクセル単位に分割
    ↓
各パッチを特徴ベクトルに変換
    ↓
トランスフォーマーで処理
（自己注意機構で「どこに何があるか」を計算）
    ↓
階層的な理解が生成される

具体例：1000×1000ピクセルの画像
– ❌ ナイーブな場合：100万ピクセル × 計算 = 爆発
– ✅ 実装：16×16パッチで分割 → 約4000パッチに縮約

この縮約化にもコストがかかるし、「どの領域が重要か」を判断するための階層的処理（複数の抽象度レベルの計算）も必要になる。

3. テキスト処理との根本的な違い

テキスト入力：
 単語 → トークン → すでに離散化済み
 モデルは「次のトークンは何か」を予測するだけ

画像入力：
 ピクセル → パッチ → トークン化（変換処理が必須）
 さらに「どの領域が重要か」という空間情報を保持する必要がある

テキストはすでにシンボル化されているため、AIは純粋に統計的パターンマッチングに専念できる。

画像はそうではない。連続的なピクセル空間から、意味のある離散的なトークンへの変換そのものが計算コストなのだ。

第2部：Geminiが効率的な理由

なぜGeminiは画像処理が比較的安いのか？

1. マルチモーダル設計がコア

Googleは最初から「テキスト + ビジョン」をセットで設計した。Claudeやその他のモデルと異なり、画像処理が「後付けの機能」ではなく、アーキテクチャの基本に組み込まれている。

結果：
– パッチ化とトークン化がより効率的
– 画像とテキストの相互作用が最適化されている

2. 検索インフラの蓄積

Googleは何十年も「効率的な処理」を追い求めてきた企業だ。

• YouTube：数十億時間の動画を処理
• Google Photos：数十億枚の画像をインデックス化
• 検索エンジン：膨大な画像をリアルタイムで処理

この企業DNAは、ビジョンモデルの設計に直結している。圧縮率、キャッシング戦略、冗長性の削ぎ落とし—すべてがGoogleのインフラから学んだものだ。

3. 実装の工夫

Gemini 1.5の「100万トークンコンテキストウィンドウ」は、単なる容量の大きさではなく、効率的な圧縮表現を使っていることを示唆している。

画像も同じで、不要な冗長性を削ぎ落とした表現が使われている可能性が高い。

第3部：スクリーンショット戦略—実装での最適化

Googleの効率性を学ぶなら、まずはシンプルなことから始めよう。

1. トリミングが最重要

❌ 非効率：フルスクリーン（1920×1080）→ 600～800トークン
✅ 効率的：必要部分だけ（300×400）→ 200～300トークン

削減率：60～70%

背景、メニューバー、不要なウィンドウ枠をすべて削除する。「このコード部分だけを見てほしい」「このエラーメッセージだけが重要」という範囲に絞る。

2. 解像度の調整

画像圧縮は単なるファイルサイズ削減ではなく、トークン削減でもある。

• 標準スクショ：1000×1000
• 圧縮版：600×600
• テキストを含まない領域：300×300

APIに渡す際の「low_resolution」フラグも活用しよう。

3. 複数スクショは避ける

「3つのスクショを並べて比較してほしい」というリクエストより、「これら3つを1つにコラージュして」という方が効率的だ。

単純な合計ではなく、統合することでパッチ化の効率が向上する。

第4部：動画処理の悪夢

では、動画はどうか？

1. 計算量の爆発

動画（30秒、30fps）
  ↓
フレーム数：30 × 30 = 900フレーム
  ↓
各フレーム ≈ 600～1000トークン
  ↓
総計：900 × 800 = 720,000トークン！

テキスト換算：約300万文字分のコスト

30秒の動画で100万トークンを超えることは珍しくない。ほぼすべてのモデルが「動画は実用的でない」と判断している理由がここにある。

2. 現状：ほぼ非対応

• Claude：動画ネイティブ非対応
• GPT-4V：同じく非対応
• Gemini：一部対応だが、高コスト
• その他：ほぼ非対応

動画を処理する場合、フレーム抽出してから処理するしかないが、それはもう「動画を見ている」とは言えない。

3. 実用的な代替案

もし動画で説明したい場合：

1. キーフレームだけ抽出：全フレームではなく、本当に重要な3～5フレームに絞る
2. GIF化：連続性は失われるが、複数フレームを圧倒的に安いコストで表現
3. テキスト化：「このフレームでXが起こり、次のフレームでYが変わる」と言語化

「このプロセスを動画で説明したい」なら、むしろスクショ + テキスト解説の組み合わせが圧倒的に賢い。

第5部：なぜ動画だけが「最後の砦」なのか

ここが本質的な問いだ。

1. 時間軸という新しい次元

テキスト：
 シンボル → シンボルの統計的相関
 パターンマッチング得意

画像：
 ピクセル → 空間的パッチ構造
 相対的に固定的なパターン

動画：
 フレーム t → t+1 → t+2...
 時間軸での「物理的連続性」が必須
 因果関係と矛盾回避が同時に必要

動画は単なるフレームの列ではない。各フレーム間に物理法則の一貫性が必要だ。

• カメラが動くなら、背景も矛盾なく動く必要がある
• 物体が動くなら、速度と加速度が物理的に妥当である必要がある
• 光が当たっているなら、影の方向も一貫している必要がある

2. AIが「統計的パターン」しか見ていない証拠

生成AIが動画を作るときに何が起こるか？

動画生成の典型的なアーティファクト：
– ちらつき：フレーム間の矛盾が蓄積
– 不自然な遷移：物体が突然形を変える
– 物理的違和感：重力を無視した動き

これらは何を示しているか？AIが「時間軸での因果関係を本当には理解していない」ことだ。

AIは「次のピクセル値は統計的に何が来そうか」を予測しているに過ぎない。人間のように「物理法則を内部モデルとして持っている」わけではないのだ。

3. 人間の優位性：直感的な物理理解

人間は生物として、時間軸で世界を知覚している。

• 3秒の動画を見れば、すぐに「これは自然だ」「これは不自然だ」と判定できる
• なぜなら、脳が物理シミュレーターとして機能しているから
• 生存に必要な能力：「物体がこう動いたら、次はこうなるはず」という予測

この生物的な直感は、AIが「大規模言語モデル」という統計マシンであることとは根本的に異なる。

4. データ量の呪い

AIの学習は「データ量に比例する」という経験則がある。動画データが圧倒的に少ないのは、質を改善する時間がまだ足りていないことを意味する。

第6部：今後の展開と「最後の砦」はいつまで続くか

2～3年後

テキスト + 画像の単純な合成動画は実用的に

「このテキストと画像をスライドショー化する」程度の動画なら、クオリティが上がってコスト効率も改善するだろう。

5年以上

複雑な物理シミュレーションが必要な動画はまだ人間の領域

• 人物の自然な動き
• 複数オブジェクトの相互作用
• 照明の物理的に正確な変化
• 流体シミュレーション（水、煙など）

こうした領域では、「AIが本気で物理を理解している」ようになるまで、人間の方が確実に優位だ。

本質的な転換点

真の転換は「AIが物理エンジンを内部に持つようになるとき」だ。単なる「統計的な次のピクセル予測」ではなく、実際に物理シミュレーションを実行するようになるとき。

そのとき初めて、AIは「本当に物理を理解している」と言える。

おわりに

テキスト、画像、動画の処理コストの違いは、単なる「計算量の問題」ではない。

それは、AIが何を理解し、何を理解していないかを示す指標なのだ。

• テキストは「言語的パターンの統計」で極めた
• 画像は「空間的パターンの抽出」で極めた
• 動画は「時間軸での物理的一貫性」をまだ極めていない

この最後の砦—時間軸での物理理解—こそが、人間にとって今なお最強の領域である。

それが何年続くかは、AI研究がどこまで進むかにかかっている。だが少なくとも、この5年は安全だろう。

関連記事

• 動画をそのままAIに読み取らせてみたら、思ったより全部わかった話
• 実践：APIを1回叩いてみる