第11節 研究領域7〜第12節 原報告書の最終結論
第11節 研究領域7
AI安全性、アラインメント、社会文化的問題
この報告書は、技術経路へ焦点を絞るため、
AI安全性とアラインメントが、ポストAGI世界でも十分に解決される。
という作業上の仮定を置いています。
しかし著者たちは、これが現実に保証されたものではなく、非常に重い仮定であることを明記しています。
安全でないAIは研究や社会配備に十分利用できないため、アラインメント問題自体が能力開発のボトルネックになる可能性もあります。（原報告書、Section 7.1）
11.1 意図的減速の方法
危険が高い場合に、
- 税制
- 許認可
- 能力上限
- 配備禁止
- 一時停止
- 計算資源規制
のどれを使うべきかを具体的に研究する必要があります。
11.2 超知能は整合させやすいのか
より賢いAIは、人間の意図を深く理解できるため、整合させやすくなるかもしれません。
反対に、人間を欺き、監督を回避し、自分の目標を実現する能力も高くなるため、整合させにくくなる可能性があります。
どちらが支配的になるかは分かっていません。
11.3 収束的な道具的目標
能力の高いAIが異なる最終目的を持っていても、
- 資源の獲得
- 自己保存
- 影響力の拡大
- 監督回避
を共通の手段として選ぶ可能性があります。
原報告書は、より高度なモデルが登場するにつれ、こうした収束的な副目標の危険を継続的に分析する必要があるとしています。（原報告書、Section 7.1）
11.4 科学の制度は耐えられるか
研究の自動化によって、膨大な量の科学成果が生成される可能性があります。
そのとき、
- 査読
- 再現性確認
- 学術的合意
- 研究優先順位
- 不正検出
- 知識の更新
をどのように維持するかが問題になります。
AIが論文を大量生成できる時代には、現在の査読制度や出版制度は機能しなくなる可能性があります。
11.5 労働から資本への移行
AGIが広範な認知労働を代替すれば、経済価値の中心が、人間の労働から、
- AIモデル
- 計算資源
- データ
- 半導体
- 資本所有
へ移る可能性があります。
その場合、
- 所得分配
- 社会保障
- 人間の社会参加
- 政治的権力
- 自律性
を再設計する必要があります。
原報告書は、この変化が人間のempowerment――自律性と能力発揮――へどのような影響を与えるかを研究課題にしています。（原報告書、Section 7.1）
第12節 原報告書の最終結論
Section 7.2で著者たちは、未来は予測不可能だという出発点へ戻ります。
しかし、予測不可能であることは、無準備でよいという意味ではありません。
必要なのは、
- 多様な技術経路を考える
- 複数のシナリオを維持する
- 能力を継続的に測定する
- 定量予測を更新する
- 新しい摩擦や経路を追加する
- 迅速な政策対応能力を構築する
ことです。（原報告書、Section 7.2）
12.1 一つのタイムラインへ賭けてはならない
著者たちは、AGIが何年に来るか、ASIがその何年後に来るかという一つの予測へ集中することを避けています。
重要なのは、
- AGI以前に停滞する
- AGIから弱いASIへ滑らかに進む
- 再帰的自己改善で急加速する
- 集団化によってASIへ進む
- 社会的規制で減速する
といった複数の経路を想定することです。
12.2 AGIで正確に止まる可能性は低い
著者たちは、人間レベルAGIが実現したと仮定するなら、AI進歩が正確に人間レベルで停止することは、あまりもっともらしくないと考えています。
一体のAIの能力が停滞しても、
- 計算資源を増やす
- 高速に動かす
- 多数のAGIを稼働させる
- 集団や市場として組織する
ことで、集合的能力を高められる可能性があるからです。
人間レベルAGIの大規模集団は、一般的な意味で超人的能力を持つ可能性が高いと著者たちは推測しています。
AI進歩が人間レベルで完全に停止するには、複数の摩擦が同時に強いハード・ブロッカーになる必要があります。（原報告書、Section 7.2）
12.3 二つの比較的可能性の高いシナリオ
著者たちは、非常に低い確信度であることを明記しつつ、次の二つが相対的に考えやすいとしています。
シナリオA
AGI以前に進歩が停滞する
現在の技術パラダイムが、人間レベルの一般性、長期計画、継続学習、現実接地などを達成できず、次の突破まで長い時間がかかる場合です。
シナリオB
AGIから弱いASIへ比較的滑らかに進む
一度、人間レベルの汎用AIが成立すれば、個体数、速度、分業、AI研究支援によって、集合的能力が徐々に人間組織を超える場合です。
この見通しは、再帰的自己改善による強い加速が起こらないという前提に立ちます。
知能爆発は排除されておらず、それが起これば、AGIからASIへの移行は非常に急速になる可能性があります。（原報告書、Section 7.2）
12.4 「次の10年から20年」を無視できない
原報告書の最も強い結論は、AGIを通過してASI領域へ進む可能性を、今後10年から20年という時間範囲で容易に退けることはできない、というものです。
これは、
10年から20年以内に必ずASIが実現する。
という予測ではありません。
あくまで、現在の不確実性、計算資源の成長、アルゴリズム改善、AI研究自動化、集団化の可能性を考えれば、そのシナリオを無視することはできないという警告です。
著者たちは、現在の研究者、技術者、政策関係者が、AI分野の創始者たちが目指した一般知能を実現する世代になる可能性を、真剣に受け止める責任があると述べています。（原報告書、Section 7.2）