第10節 知能爆発とは何か〜第11節 なぜ知能爆発は必ずしも起こらないのか
第10節 知能爆発とは何か
再帰的自己改善が十分に強ければ、AI能力の増加が急激になる可能性があります。
これは一般に、intelligence explosion――知能爆発と呼ばれます。
基本的な論理は次のとおりです。
- AGIがAI研究を行える
- AI研究によって、より高性能なAIが作られる
- 高性能AIは、より速く優れたAI研究を行う
- 研究速度がさらに上がる
- 改善間隔が次第に短くなる
通常の指数関数的成長では、一定期間ごとに同じ倍率で増えます。
知能爆発では、改善能力自体が高まるため、増加率も上昇します。
原報告書は、完全自律的な自己改善が長い能力範囲にわたって持続する場合、超指数関数的、さらには双曲線的な成長が理論上起こり得るとしています。（原報告書、Section 5.3）
10.1 双曲線的成長
双曲線的成長では、一定の有限時間へ近づくにつれ、数値が理論上急激に増大します。
もちろん、現実のAI能力が数学的な無限大に達するという意味ではありません。
物理資源には限界があるため、必ずどこかで成長は鈍化します。
しかし、双曲線的な初期動態があれば、短期間に非常に大きな能力差が生じる可能性があります。
10.2 Soft TakeoffとHard Takeoff
再帰的自己改善をめぐっては、一般に二つのシナリオが区別されます。
Soft Takeoff
能力向上が数年から数十年かけて比較的緩やかに進む。
社会には適応時間がありますが、制度変更を継続的に迫られます。
Hard Takeoff
能力向上が数か月、数週間、あるいはそれ以下の短期間に進む。
社会制度、規制、安全対策が追い付かない可能性があります。
原報告書はこの用語を中心には置いていませんが、再帰的改善が急激なAGIからASIへの移行を生み得るという議論は、この区別と重なります。
第11節 なぜ知能爆発は必ずしも起こらないのか
原報告書は、再帰的自己改善の可能性を重視しながらも、その進展が急速であるとは断定していません。
改善循環が早期に弱まる可能性があるからです。（原報告書、Section 5.3）
11.1 改善しやすい部分が先に尽きる
初期には、明らかな非効率や単純な欠陥を改善できるかもしれません。
しかし改善が進むにつれ、残された問題は難しくなります。
たとえば、
- 初期改善は数％の性能向上を容易に生む
- 後期改善には膨大な実験が必要
- 新しい能力を得るには根本的理論が必要
- 計算資源当たりの改善幅が小さくなる
可能性があります。
この場合、自己改善は急速に始まっても、途中で頭打ちになります。
11.2 自分より優れたものを設計できるとは限らない
人間は自分より高速な計算機を設計できます。
しかし、知的システムが常に自分より優れた後継システムを設計できるとは限りません。
自分の内部構造を完全に理解することは困難かもしれません。
変更後のシステムが期待どおり動くことを証明できない場合もあります。
改良によって、別の能力や安全性が損なわれる可能性もあります。
11.3 評価問題
改善案を作ることより、それが本当に改善かどうかを判断する方が難しい場合があります。
たとえば、
- ベンチマークの点数は上がったが、一般性が下がる
- コードは高速になったが、安全性が低下する
- 推論は強くなったが、欺瞞能力も高まる
- 学習速度は上がったが、誤情報を覚えやすくなる
可能性があります。
AIが自分自身を評価する場合、評価器と被評価システムが同じ欠陥や偏りを共有する危険があります。
11.4 実験費用の増加
より高性能なモデルほど、訓練や評価に多くの計算資源を必要とする可能性があります。
AIが新しいモデル案を短時間で生成しても、それを訓練して結果を確認するのに数週間または数か月かかれば、改善循環は遅くなります。
原報告書は、純粋なデジタル研究者であっても、より大きな実験を実行し、結果を待つ必要があると強調しています。（原報告書、Section 5.3）
11.5 物理世界の速度
半導体、ロボット、エネルギー設備、科学実験の改善には、物理的作業が必要です。
- 工場を建設する
- チップを製造する
- 新薬の作用を観察する
- 材料を合成する
- ロボットを試験する
- 発電設備を増設する
といった作業は、コンピュータ内部の思考速度だけでは加速できません。
原報告書は、物理的操作を必要とする開発が自己改善動態を抑制すると述べています。（原報告書、Section 5.3）
11.6 データと現実による接地
AIが自分の生成物だけを学習し続ければ、現実から離れる危険があります。
新しい科学的知識には、
- 観測
- 測定
- 実験
- 外部世界からの反証
が必要です。
このため、再帰的自己改善が人間の知識枠組みを超えて進むには、物理世界と能動的に相互作用し、新しい抽象概念を形成しなければならない可能性があります。
原報告書は、この問題を「抽象化の壁」と結び付け、物理世界との相互作用が改善速度を経験科学の速度へ抑える可能性を論じています。（原報告書、Section 5.3）
11.7 資源消費の急増
能力を一段高めるために必要な計算資源が、改善ごとに急増するなら、再帰的循環は維持できません。
たとえば、
- 能力を2倍にするため、計算資源が100倍必要
- 次の改善には1万倍必要
- 電力と半導体の供給が追い付かない
という状況です。
原報告書は、再帰的改善が途中で消失する可能性や、循環維持に必要な資源が急増する可能性を明示しています。（原報告書、Section 5.3）