Google DeepMind「From AGI to ASI」完全解説｜第4回 / 全9回
計算資源、モデル、データ、推論時間を拡大する第一の経路
概要
Google DeepMindの『From AGI to ASI』は、AGIからASIへ進む可能性のある技術的経路を、次の四つに整理しています。
これらは互いに排他的な経路ではありません。複数の経路が同時に進み、互いに強化し合う可能性があります。
詳細目次
- はじめに
- 第1節 四つの経路の中で、スケーリングが特別である理由
- 第2節 スケーリングとは何を増やすことなのか
- 2.1 学習計算量
- 2.2 モデル規模
- 2.3 データ量とデータ品質
- 2.4 推論時の計算量
- 2.5 稼働するAIの個体数
- 第3節 なぜスケーリングがAIを進歩させてきたのか
- 第4節 しかし、計算量だけでは十分ではない
- 第5節 スケーリング則とは何か
- 第6節 大きなモデルを作ればよいわけではない
- 第7節 学習時の計算と推論時の計算
- 第8節 「学習済み知識」と「その場で考えること」
- 学習済みの能力
- 推論時に生成される能力
- 第9節 データの壁
- 第10節 テキスト以外のデータ
- 第11節 合成データはデータの壁を越えられるか
- 第12節 自己対戦が示す可能性
- 第13節 Mixture-of-Expertsと効率的スケーリング
- 第14節 量的拡大から質的飛躍は起きるのか
- 第15節 スケーリングが効かない問題
- 第16節 一体のAIが賢くならなくてもASIになり得る
- 第17節 実効計算量とは何か
- 第18節 スケーリングを支える物理的条件
- 第19節 経済的にどこまで続けられるのか
- 第20節 限界効用の低下
- 第21節 スケーリングの中心的な未解決問題
- 21.1 計算量はどの範囲で知能へ変換されるのか
- 21.2 スケーリング則はAGI以後も続くのか
- 21.3 データの壁を越えられるのか
- 21.4 推論時スケーリングはどこまで有効か
- 21.5 量的拡大は質的飛躍を生むのか
- 21.6 経済・資源面で持続可能か
- 21.7 個体の能力と集団の能力をどう区別するか
- ERF Commentary
- 第22節 AIのスケーリングと大学のスケーリングは異なる
- 第23節 大学教育における「より多く」と「より良い」
- 第24節 知識量よりも、選択と意味付けが重要になる
- 第25節 研究成果が大量生成される時代
- 第26節 スケーリングと知の集中
- 第27節 環境負荷とEcological University
- 第28節 「大きいこと」と「賢いこと」は同じではない
- 結論