Google DeepMind「From AGI to ASI」完全解説|第5回 / 全9回
Transformerの延長だけでAGI・ASIに到達できるのか
概要
第4回では、AGIからASIへ向かう第一の経路として、計算資源、モデル規模、データ量、推論時計算量を増大させる「スケーリング」を検討しました。
スケーリングは、過去十年のAI発展を支えてきた最も明確な経路です。しかし、規模を増やすだけで、AGI、さらにASIに到達できるとは限りません。
詳細目次
- はじめに
- 第1節 現在のAIパラダイムとは何か
- 第2節 「パラダイムの進化」と「パラダイム転換」
- 2.1 パラダイムの進化
- 2.2 パラダイム転換
- 第3節 現在のパラダイムだけではAGIに不足すると考えられる要素
- 第4節 固定的な一回の推論から、動的な計算へ
- 現在のパラダイムの「進化」
- 第5節 ツールを使う知能
- 知能はモデルの中だけにあるのか
- 第6節 継続学習
- 第7節 破滅的忘却
- 第8節 文脈窓の限界
- 第9節 検索による事実上無制限の記憶
- 内部記憶と外部記憶
- 第10節 Transformerの計算上の制約
- 無限に活動するエージェント
- 第11節 作業記憶
- 第12節 世界モデル
- 第13節 世界モデルによる「想像」
- 第14節 相関から因果へ
- 反実仮想
- 第15節 環境で行動するエージェント
- 第16節 予測モデルと意思決定エージェントは同じか
- 第17節 現在のパラダイムは意外に遠くまで行ける可能性
- 第18節 現在の方法が限界に達したとき
- 真のパラダイム転換
- 第19節 新しいアーキテクチャ
- 第20節 新しい最適化方法
- 第21節 強化学習を中心とする事前学習
- 静的な事前学習
- 強化学習中心の事前学習
- 第22節 ニューロモーフィック・ハードウェア
- 第23節 アナログ計算
- 第24節 複雑性理論上の限界を超えるとは何か
- 第25節 パラダイム転換はなぜ予測できないのか
- 第26節 小規模では価値が見えない問題
- 既存技術への固定
- 第27節 研究は次第に難しくなるのか
- 第28節 幻覚は修正可能な欠点か、構造的問題か
- 現在のパラダイムの根本的弱点になり得るもの
- 第29節 プロンプトインジェクション
- 第30節 人間の概念に閉じ込められる「抽象化の壁」
- 第31節 生の世界から新しい概念を形成する
- 第32節 効率の飛躍
- パラダイム転換とASI
- 第33節 スケーリングとパラダイム転換は対立しない
- 第34節 パラダイム転換がAGI以前に起きる場合
- 第35節 パラダイム転換がAGI以後に起きる場合
- 第36節 予測不能性そのものが重要である
- 第37節 パラダイムに依存しない基礎理論
- ERF Commentary
- 第38節 大学は既存パラダイムを教えるだけでよいのか
- 第39節 パラダイム転換は学際的な境界から生まれる
- 第40節 人文学はパラダイム転換に無関係ではない
- 第41節 大学は失敗し得る研究を守れるか
- 第42節 しかし大学も既存パラダイムに固定される
- 第43節 知識の蓄積と知識の転換
- 第44節 教育の世界モデル
- 第45節 継続学習と生涯学習
- 第46節 AIを一つの完成品として導入してはならない
- 第47節 Ecological Universityと技術の多元性
- 第48節 大学は「次のパラダイム」を予言する必要はない
- 結論
