第9節 六つの制約はどのように重なり合うのか〜第10節 AGIでちょうど進歩が止まる可能性
第9節 六つの制約はどのように重なり合うのか
9.1 データの壁と抽象化の壁
合成データによってデータ量を増やせても、そのデータが人間の既存概念を再構成したものにすぎなければ、抽象化の壁は越えられません。
量の不足を解決しても、質的に新しい概念形成の不足が残ります。
9.2 抽象化の壁と身体性
新しい概念を形成するには、生の世界との相互作用が必要になるかもしれません。
すると、センサー、ロボット、実験設備、観測時間が新たな制約になります。
デジタル知能の高速性が、そのまま科学的発見速度へ変換されなくなります。
9.3 研究難化と再帰的自己改善
AI研究者を大量投入すれば、研究難化を相殺できます。
しかし、次の改善に必要な実験や計算量が、人工研究者の増加より速く増えれば、自己改善は鈍化します。
重要なのは、
研究能力の増加率と、研究課題の難化率のどちらが大きいか
です。
9.4 資源制約と国際競争
資源が不足するほど、半導体、電力、鉱物、データセンターをめぐる競争が強まります。
その競争は能力向上を促進する一方、軍事化、集中、社会的反発を生み、意図的な規制を招く可能性があります。
9.5 事故と進歩速度
急速な再帰的改善やマルチエージェント化は、社会へ十分に検証されていないシステムを導入する圧力を高めます。
その結果、重大事故が起これば、今度は強い規制と減速が生じます。
したがって、技術加速と社会的減速は、互いに独立ではなく、フィードバック関係にあります。
第10節 AGIでちょうど進歩が止まる可能性
原報告書は、人間レベルAGIが実現したと仮定した場合、AIの進歩が正確に人間レベルで停止する可能性は低いと考えています。
一体のAIが抽象化の壁などによって人間レベル付近で停滞しても、
- より多くの計算資源を使う
- より高速に稼働させる
- 多数のAGIを複製する
- 集団として組織する
ことで、集合的能力を高められる可能性があるためです。
大規模な人間レベルAGI集団が、人間の専門家組織を超える可能性は高いと原報告書は推測しています。
したがって、AIの進歩がAGIで完全停止するには、複数の摩擦が同時に強いハード・ブロッカーとして作用しなければならない可能性があります。（原報告書、Section 6）
10.1 AGI以前に停滞する可能性
現在のパラダイムが、継続学習、世界理解、長期計画、信頼性などの問題を解決できないなら、AGI到達前に進歩が停滞する可能性があります。
この場合、ASI以前に、AGIそのものが新しいパラダイムを待つことになります。
10.2 AGIから弱いASIへ比較的滑らかに進む可能性
一度、人間レベルで汎用的に働けるAIが実現すれば、
- 個体数の増加
- 動作速度の向上
- 並列化
- 分業
- AI研究支援
によって、弱いASIへ比較的連続的に進む可能性があります。
原報告書は大きな不確実性を認めつつ、AIが正確に人間レベルで停滞するよりも、AGI以前に停滞するか、AGIから弱いASIへ進む方が相対的にあり得ると述べています。（原報告書、Section 6）
10.3 急激な知能爆発
再帰的自己改善が摩擦を上回れば、AGIからASIへの移行は短期間に起こる可能性があります。
しかし身体性、物理実験、製造、資源などが強く作用すれば、知能爆発は限定的になるかもしれません。
したがって、重要なのは「知能爆発は起きるか」という一問だけではありません。
- どの分野で起きるか
- どの能力が先行するか
- どの工程で物理世界に制約されるか
- デジタル領域と現実領域の速度差はどの程度か
を区別する必要があります。