はじめに〜第3節 現在のパラダイムだけではAGIに不足すると考えられる要素
はじめに
第4回では、AGIからASIへ向かう第一の経路として、計算資源、モデル規模、データ量、推論時計算量を増大させる「スケーリング」を検討しました。
スケーリングは、過去十年のAI発展を支えてきた最も明確な経路です。しかし、規模を増やすだけで、AGI、さらにASIに到達できるとは限りません。
現在のAIには、依然として次のような限界があります。
- 長期間にわたり安定して行動すること
- 新しい経験から継続的に学ぶこと
- 過去の学習を破壊せずに知識を更新すること
- 非常に長い文脈や履歴を扱うこと
- 現実世界について頑健な因果モデルを形成すること
- 未知の状況で長期的に計画すること
- 誤りや幻覚を十分に抑制すること
- 外部からの不正な指示と正当な指示を確実に区別すること
Google DeepMindの『From AGI to ASI』は、こうした限界を克服する第二の経路として、Algorithmic paradigm shifts and evolutions――アルゴリズム的パラダイム転換と進化を挙げています。
この経路の核心は、次の問いです。
現在のAIを構成する要素を追加・改善することでAGIやASIへ進めるのか。
それとも、
Transformer、大規模事前学習、誤差最小化、固定パラメータモデルという現在の基本枠組みそのものを置き換える必要があるのか。
原報告書は、この二つを明確に区別します。
現在の枠組みに記憶、検索、ツール、継続学習、世界モデルなどを加えることは、現在のパラダイムの進化です。
これに対し、まったく新しいアーキテクチャ、最適化原理、学習方法、計算基盤への転換は、真のパラダイム転換です。原報告書は、後者は本質的に予測困難であり、現在の枠組みが限界に達したときに現れる可能性が高いとしています。（原報告書、Section 5.2）
第1節 現在のAIパラダイムとは何か
原報告書は、現在の主流AIを、おおむね次の工程から成るものとして整理しています。
1. 大量の人間生成データを集める
2. 大規模Transformerを事前学習する
3. 予測誤差を小さくするようにパラメータを更新する
4. 指示調整や強化学習などで追加訓練する
5. 完成後は、基本的にパラメータを固定して利用する
6. 利用時には検索、推論、ツール、外部システムで能力を補強する
文章モデルの場合、基本的な事前学習目標は、前の文章から次に来るトークンを予測することです。
画像や音声を扱う場合も形式は異なりますが、大量のデータから統計的規則性を学び、予測誤差を最小化するという基本構造は共通しています。
その後、
- 人間の指示に従う訓練
- 人間やAIのフィードバックを使った強化学習
- 安全性や有用性の調整
- 特定分野への追加学習
が行われます。
こうして作られた基盤モデルは、通常、利用中に大きく学習し続けるのではなく、固定されたパラメータを使って応答します。
さらに利用時には、
- 段階的な推論
- 複数候補の生成と比較
- 検索による情報取得
- コード実行
- 計算機やデータベースの使用
- エージェント型の作業手順
などを組み合わせて性能を高めます。原報告書は、これを現在のAIパラダイムの基本形として説明しています。（原報告書、Section 5.2）
第2節 「パラダイムの進化」と「パラダイム転換」
この報告書を理解するうえで最も重要なのが、evolutionとshiftの違いです。
2.1 パラダイムの進化
現在の大規模ニューラルネットワークを基本的に維持したまま、不足している機能を追加することです。
たとえば、
- 長期記憶を加える
- 検索機能を加える
- ツールを利用させる
- 長い文脈を扱えるようにする
- 継続的に学習させる
- エージェントとして環境内で行動させる
- 内部に世界モデルを持たせる
- 推論時の探索を高度化する
といった研究です。
これは現在の枠組みの修正、拡張、組み合わせであり、基本原理の全面的な置換ではありません。
2.2 パラダイム転換
現在とは大きく異なる、
- 新しいモデル構造
- 新しい最適化方法
- 新しい学習原理
- 新しい表現形式
- 新しい計算ハードウェア
- 新しい知能観
が登場することです。
たとえば、現在のTransformerと勾配降下法による学習を中心とする枠組みを離れ、まったく別の仕組みで知能を構成する場合です。
原報告書は、真のパラダイム転換について具体的に予測することは困難だと認めています。
なぜなら、事前に詳しく予測できるほど理解されているなら、それはすでに研究可能な現在のパラダイムの延長であり、真に予想外の転換とは言いにくいからです。（原報告書、Section 5.2）
第3節 現在のパラダイムだけではAGIに不足すると考えられる要素
原報告書は、現在の基本的な事前学習と固定モデルだけでは、人間レベルAGIに十分でないという見方が広く共有されていると述べています。
不足すると考えられる主要要素には、次のものがあります。
1. 事実上無制限の文脈
2. 作業記憶
3. 継続学習
4. 頑健な意思決定
5. インタラクティブな環境での学習
6. 長期的な計画
7. 内部世界モデル
8. 動的・適応的な計算
ただし、これらが本当に現在のパラダイムでは実現不可能なのか、それとも十分な工夫を加えれば実現できるのかは、まだ分かっていません。
原報告書は、現在の枠組みの限界について、理論的な結論は出ていないとしています。