第12節 AGIが人間より優秀なAI研究者でなくても加速は起きる〜第15節 再帰的自己改善と他の三経路の関係
第12節 AGIが人間より優秀なAI研究者でなくても加速は起きる
再帰的自己改善には、最初のAGIが世界最高のAI研究者を上回る必要はありません。
仮に一体のAGIが平均的な人間研究者と同程度でも、
- 大量に複製できる
- 24時間稼働できる
- 人間より高速に動ける
- 経験を共有できる
- 同時に多数の実験を行える
なら、研究開発全体へ大きく貢献できます。
原報告書は、AGIが一人の人間研究者より優れていなくても、スケーリングによってAI研究開発に重要な役割を持ち、他の摩擦に直面するまで進歩を加速する可能性があると述べています。（原報告書、Section 5.3）
つまり、知能爆発の条件は、
最初のAGIが超天才であること
ではありません。
十分な数と速度でAI研究へ投入できること
かもしれません。
第13節 自己改善と安全性
AIがAIを改善できるようになると、安全性の問題はより複雑になります。
13.1 能力向上と安全性維持
あるAIが安全に設計されていても、そのAIが作った次世代AIが同じ安全性を保つ保証はありません。
能力を高める変更が、
- 制御可能性
- 透明性
- 人間の指示への従順性
- 不確実性の表明
- 修正可能性
を低下させる可能性があります。
再帰的改善では、この問題が世代ごとに反復されます。
13.2 検証済みプログラム合成
原報告書は、安全な自己変更の一つの可能性として、verified program synthesis――検証済みプログラム合成を挙げています。
これは、AIが作ったコードについて、
- 指定された条件を満たす
- 重要な安全性を壊さない
- 特定の不具合を生じさせない
ことを形式的に検証する方法です。
ただし、複雑なAI全体について、あらゆる重要性質を完全に証明するのは困難です。
何を検証条件に含めるかという問題も残ります。
13.3 ゲーデル・マシン
自己改善を理論化した代表的な構想に、Jürgen SchmidhuberのGödel Machineがあります。
これは、自己変更によって期待効用が向上することを証明できた場合に、自らを書き換える理論的エージェントです。
しかし原報告書は、この方式には、
- 自己についての完全な知識
- 証明可能性
- ゲーデルの不完全性定理
に関する限界があると述べています。（原報告書、Section 5.3）
つまり、安全で最適な自己変更を常に完全証明できるとは限りません。
13.4 反復増幅
より実践的な考え方として、原報告書はIterated Amplification――反復増幅に言及しています。
これは、難しい課題を小さな課題へ分解し、比較的弱いAIと人間の組み合わせによって解き、その結果を学習させる方法です。
この循環を繰り返しながら能力を高めます。
目的は、能力を増幅しつつ、人間の判断や価値との整合性を維持することです。
第14節 再帰的改善の速度をどう測るか
この経路について最大の問題は、歴史的な前例がほとんどないことです。
そのため、過去の傾向を単純に当てはめて予測できません。
原報告書は、不確実性を減らすために、recursive improvement scaling laws――再帰的改善のスケーリング則を作る必要があると提案しています。（原報告書、Section 5.3）
14.1 測るべき指標
たとえば、次のような指標が必要です。
- AIが研究者の作業時間を何％削減したか
- AI支援で実験数が何倍になったか
- AIが提案した改善の採用率
- AIが発見したアルゴリズムの性能向上幅
- 人間の介入が必要な工程数
- 一世代の改善に必要な計算量
- AI能力と研究生産性の関係
- 改善サイクルが世代ごとに短縮しているか
- 能力向上がいつ頭打ちになるか
です。
14.2 人間の関与度
研究自動化の程度を測る際には、人間の関与を単純な作業時間だけで測るべきではありません。
たとえば、AIが研究作業の95％を行っても、人間が最後の5％として、
- 研究目的を決める
- 結果を評価する
- 重大な判断を行う
なら、研究循環全体は人間に依存しています。
したがって、
- 作業量
- 判断権限
- 評価権限
- 方向設定
- 安全承認
を区別して測定する必要があります。
第15節 再帰的自己改善と他の三経路の関係
再帰的自己改善は、他の経路と独立ではありません。
15.1 スケーリングとの関係
AIが半導体、データセンター、学習効率を改善すれば、より多くの計算資源を利用できます。
その計算資源によって、さらに高度なAIを作れます。
したがって、
自己改善
→ スケーリングの加速
→ さらに強い自己改善
という循環が生じます。
15.2 パラダイム転換との関係
AGI研究者が新しいアーキテクチャや学習原理を発見すれば、第二経路であるパラダイム転換を加速します。
根本的な効率向上が起きれば、自己改善循環はさらに強くなる可能性があります。
15.3 マルチエージェント集合知との関係
多数のAI研究者が専門化し、協力すれば、個体では不可能な規模の研究を行えます。
その集団が自らの分業や組織を改善すれば、集合体全体として再帰的自己改善します。
したがって、第三経路と第四経路は深く重なります。