第22節 現代AIは近似とヒューリスティックの集合である〜第27節 AIXIから見えるアラインメント問題
第22節 現代AIは近似とヒューリスティックの集合である
現在のAIは、Universal AIのようにすべての可能性を計算するのではなく、経験的に有効な近似を使います。
たとえば、
- ニューラルネットワーク
- 強化学習
- 検索アルゴリズム
- 外部記憶
- ツール利用
- モンテカルロ探索
- 自己批評
- マルチエージェント協働
などです。
これらは必ずしも理論的に完全ではありません。
しかし、現実の計算資源の中で機能します。
人間の知能も同様です。
人間はあらゆる仮説を検討しません。
直感、経験、類推、常識、感情などを用いて、可能性を急速に絞り込みます。
これは不完全ですが、限られた時間の中で行動するには必要です。
第23節 AIXIはASIの設計図ではない
『From AGI to ASI』がUniversal AIを紹介しているからといって、著者たちが、
将来のASIはAIXIとして実装される。
と予測しているわけではありません。
むしろ、AIXIと現代のAI実践の間には大きな隔たりがあると明言しています。（原報告書、Section 4；Hutterの基礎研究）
AIXIが提供するのは、具体的な設計図ではなく、次のような概念的基準です。
- 知能は特定の課題に限定される必要はない
- 未知の環境でも学習できる一般理論を考えられる
- 予測と行動を統合する必要がある
- 知能には理論的な上限概念がある
- 現実のAIは計算資源によって制約される
- 理論上の最適性と実用上の有効性は異なる
第24節 ASIとUniversal AIは同じではない
Universal AIから見るASI
ASIとUniversal AIは区別する必要があります。
ASI
人間や大規模な人間組織を、広範な認知的課題で大きく上回るシステム。
Universal AI
あらゆる計算可能環境に対して、理論上きわめて一般的かつ最適に行動する知能の極限的モデル。
したがって、ASIはUniversal AIに到達する必要はありません。
人間の大規模組織をはるかに上回っていても、Universal AIの理論的上限から見れば、まだ極めて限定的なシステムである可能性があります。
これは重要です。
AGIからASIへの移行は、知能の理論的限界に到達することではありません。
人間という基準を超えることにすぎません。
第25節 人間レベルは低い中間地点かもしれない
人間は自分たちの知能を基準に世界を考えます。
そのため、
- 昆虫
- 動物
- 人間
- 超知能
という階層を想像し、人間を知能の頂点近くに置きがちです。
しかしUniversal AIの観点では、人間の知能が理論上の上限にどれほど近いかは分かりません。
人間は、生物進化が特定の環境の中で生み出した一つの知的システムです。
進化は、
- 有限の脳容量
- 限られたエネルギー
- 短い寿命
- 遅い学習
- 不完全な記憶
- 限られた感覚器官
という制約下で人間を形成しました。
したがって、人間レベルの知能は、Universal AIへ向かう連続体のかなり低い地点である可能性もあります。
一方で、人間がすでに非常に強力な抽象化能力を持ち、実用的な知能上限に比較的近い可能性も完全には否定できません。
この不確実性こそが、AGIからASIへの進歩速度を予測しにくくする理由です。
第26節 知能の上限と成果の上限は違う
仮にAIがUniversal AIに近づいたとしても、社会的成果が無限に増えるわけではありません。
なぜなら、成果は知能だけでは決まらないからです。
科学研究には、
- 実験設備
- 観測時間
- 原材料
- エネルギー
- 製造能力
- 法制度
- 社会的合意
が必要です。
最適な設計を瞬時に考えられても、橋を建設するには時間がかかります。
完璧な治療法の候補を考えられても、長期的な副作用を確認するには年月が必要かもしれません。
したがって、
知能の理論的上限と、現実世界を変える速度の上限は同じではありません。
この区別は、後に扱うASI発展のボトルネックを理解するうえで重要です。
第27節 AIXIから見えるアラインメント問題
AIXIは、知能と価値を明確に分離します。
AIXIの知能は、与えられた報酬をどれだけ効率よく最大化できるかに関係します。
しかし、報酬の内容が人間にとって良いものである保証はありません。
ここから、AI安全性の根本的な問題が見えてきます。
高度な知能をどのように作るか。
と、
その知能に何を目指させるか。
は別の問題です。
さらに、
人間の複雑で矛盾した価値を、どのように目的として表現するか。
という問題があります。
人間社会には、
- 自由
- 平等
- 安全
- 幸福
- 尊厳
- 多様性
- 公共性
- 個人の権利
など、互いに緊張関係を持つ価値があります。
これらを一つの単純な報酬関数に圧縮することは困難です。
高度なAIに必要なのは、単純な目標への忠実さだけでなく、
- 不確実性を認める
- 人間に確認する
- 複数の価値を比較する
- 異論を尊重する
- 修正を受け入れる
- 権限を限定する
といった性質かもしれません。