第3節 第二のボトルネック――経済的・自然資源需要の急増〜第4節 第三のボトルネック――現在のニューラル・パラダイムの限界
第3節 第二のボトルネック――経済的・自然資源需要の急増
3.1 AIは純粋な情報技術ではない
AIはデジタル技術ですが、その実行には大規模な物理基盤が必要です。
- 半導体
- データセンター
- 電力
- 冷却設備
- 通信網
- 水
- 土地
- 銅や希少鉱物
- 製造装置
- サプライチェーン
- 巨額の投資
です。
モデル規模、推論時計算、AI個体数を何桁も増やすなら、こうした資源も拡大しなければなりません。
原報告書は、現在のAIパラダイムを継続的にスケールするために必要な経済的、技術的、自然的資源の増加を維持できない可能性を、第二の主要ボトルネックとしています。（原報告書、Section 5.5）
3.2 経済的に持続できるか
AI開発費用が高くても、それ以上の経済的価値を生み出すなら投資は続きます。
AIが、
- ソフトウェア開発を自動化する
- 医薬品開発を高速化する
- 企業経営を改善する
- 知的労働を代替する
- 科学技術の進歩を速める
なら、その利益を次のAI設備へ再投資できます。
したがって、AIスケーリングの限界は、費用の絶対額だけでは決まりません。
重要なのは、
追加投資による経済的収益が、追加費用を上回るか。
という関係です。
AIによる経済成長が急速なら、巨大な計算基盤を維持できる可能性があります。
反対に、計算量を10倍にしても能力や収益がわずかしか増えなければ、投資は鈍化します。（原報告書、Section 5.5）
3.3 半導体だけではない
計算資源を拡大するには、チップの製造量だけでなく、チップ間の通信も重要です。
原報告書は、物理的・工学的制約として、
- メモリ帯域
- チップ間通信
- データ移動
- 大規模並列処理の効率
を挙げています。
多数のチップを接続しても、必要な情報を高速に交換できなければ、計算資源を有効に利用できません。
モデルが巨大になるほど、計算そのものより、メモリや他のチップとの間でデータを移動する時間が主要な制約になる可能性があります。（原報告書、Section 5.5）
3.4 AIが資源効率を改善する可能性
この制約には、強力な反作用もあります。
AI自身が、
- 半導体設計を改善する
- アルゴリズム効率を高める
- データセンターを最適化する
- 冷却や電力利用を改善する
- 新しい材料を発見する
- エネルギー生産を効率化する
可能性です。
同じ能力を10分の1の電力や計算量で実現できれば、ハードウェアを増設したのと同じ効果があります。
したがって、重要なのは物理的計算資源だけでなく、実効計算量です。
3.5 資源需要が強く作用する経路
スケーリング経路
最も大きな制約になります。
能力向上が計算量の増加に強く依存するほど、経済・資源問題は重大になります。
パラダイム転換
新しいアルゴリズムやハードウェアが、同じ能力を少ない資源で実現すれば、制約を大幅に緩和できます。
再帰的自己改善
AIがアルゴリズム、チップ、エネルギー効率を改善すれば、資源の壁を押し広げられます。
ただし、工場や発電所の建設には現実時間が必要です。
マルチエージェント経路
AI個体数の増加は計算需要を直接増やします。
集団知能の向上が劣線形なら、個体を増やす費用が成果を上回る可能性があります。
第4節 第三のボトルネック――現在のニューラル・パラダイムの限界
4.1 現在の方法でAGIに到達できるのか
今日の主流AIは、おおむね次の要素から構成されています。
- 大規模ニューラルネットワーク
- Transformer
- 大量データによる事前学習
- 確率的勾配降下法
- 追加学習・事後訓練
- 推論時スケーリング
- 検索やツール利用
- エージェント型の足場
原報告書は、これらを組み合わせた現在のパラダイムで、AGI、さらにASIに到達できるかは未解決だとしています。（原報告書、Section 5.5）
4.2 現在のパラダイムが進化する可能性
Transformerの事前学習だけを見れば、明らかな不足があります。
しかし現在のシステムはすでに、
- 高度な事後訓練
- 長い推論
- 検索
- 外部ツール
- エージェント機能
- 記憶
- 自己評価
を取り込みつつあります。
そのため、現在の枠組みが多数の追加要素を取り込みながら、比較的連続的にAGIへ近づく可能性があります。
この場合、現在のパラダイムの限界はハード・ブロッカーではなく、技術的摩擦にとどまります。
4.3 根本的問題かもしれない欠点
一方、原報告書は、現在観測されている次の問題の一部が、事前収集データを予測する学習方式そのものと関係している可能性を挙げています。
- 幻覚
- プロンプトインジェクションへの脆弱性
- 不確実性を適切に表現できない問題
- リスクや曖昧さを考慮した意思決定の弱さ
- 第三者データから行動を学ぶことで生じる自己欺瞞
- 新しい概念形成の限界
これらが規模拡大や追加訓練で継続的に改善するのか、ある段階で根本的限界として現れるのかは分かっていません。（原報告書、Section 5.5）
4.4 この壁への対抗要因
- 新しいアーキテクチャ
- 継続学習
- 世界モデル
- 強化学習中心の事前学習
- 現実環境との能動的相互作用
- 新しい最適化原理
- ニューロモーフィック計算
- アナログ計算
などが考えられます。
さらに、人間レベルに達していないAIでも、AI研究を支援することで、新しいパラダイムの発見を加速できる可能性があります。
4.5 四経路との関係
スケーリング経路
現在のパラダイムに本質的な天井があれば、規模拡大だけではASIに到達できません。
パラダイム転換
このボトルネックを直接克服する経路です。
再帰的自己改善
AIが新しい学習原理やアーキテクチャを発見できれば、壁を突破する可能性があります。
マルチエージェント経路
個体が人間レベル付近で停滞しても、多数のAIを組織すれば、集合的には人間組織を超えられるかもしれません。