第11節 集団アラインメント〜第14節 マルチエージェント経路はASIへの「緩やかな道」か
第11節 集団アラインメント
一体のAIを人間の価値や指示に整合させること自体が難しい問題です。
AI集団の場合、さらに複雑になります。
原報告書は、AGI集団を明示的に、または市場設計などを通じて間接的に、どのように誘導するかを重要な研究課題としています。また、虚偽、幻覚、自己欺瞞、認識上の乗っ取りに対して、集団が自ら訂正できる仕組みも必要だとしています。（原報告書、Sections 5.4・7.1）
11.1 個体アラインメントと集団アラインメント
個々のAIが善良であっても、競争制度が悪ければ、集団全体として望ましくない行動を取る可能性があります。
たとえば、各AIが規則に従っていても、
- 成果指標が短期的すぎる
- 資源獲得競争が強すぎる
- 安全より速度が評価される
- 他のAIを出し抜くことが有利になる
なら、組織全体は危険な方向へ進みます。
したがって、集団アラインメントでは、
- 個々のAIの目的
- 組織の評価制度
- 市場のインセンティブ
- 権限構造
- 情報共有ルール
を同時に設計する必要があります。
11.2 メカニズム・デザイン
市場型AI集団を直接命令で統制することは難しい場合があります。
その場合、
- どの行動に報酬を与えるか
- どの情報を公開させるか
- どの違反に制裁を与えるか
- 誰に意思決定権を与えるか
という制度を設計する必要があります。
これは経済学や政治学におけるメカニズム・デザインの問題です。
AI統治は、モデルの技術設計だけでなく、制度とインセンティブの設計になります。
第12節 認識上のレジリエンス
AI集団が高度な判断を行うには、誤情報や操作に対して強くなければなりません。
原報告書はこれを、epistemic resilience――認識上のレジリエンスとして問題提起しています。
特に、人間とASIが混在し、能力差が大きい集合体では、情報の正しさを誰が判断するのかが難しくなります。（原報告書、Sections 5.4・7.1）
12.1 独立検証
同じ出力を複数のAIが繰り返すだけでは不十分です。
異なる方法、データ、モデルによる独立検証が必要です。
12.2 少数意見の保存
多数決だけでは、正しい少数意見が排除される可能性があります。
重要な反論を保存し、後から再評価できる仕組みが必要です。
12.3 訂正可能性
誤った結論が組織に採用された場合、
- どの根拠から生じたか
- どのAIが参照したか
- どの決定へ影響したか
を追跡し、巻き戻せる必要があります。
12.4 多様な評価器
一つの評価AIだけに依存すれば、その欠陥が全体を支配します。
複数の評価方法、人間監査、外部データ、形式的検証などを組み合わせる必要があります。
第13節 人間とAIの混合集団
将来の集合体は、AIだけで構成されるとは限りません。
人間、AGI、専門AI、企業、政府、大学が混在する可能性があります。
原報告書は、知能と通信帯域が大きく非対称な人間・AI混合集団を、どのように人間が誘導できるかを未解決問題としています。（原報告書、Sections 5.4・7.1）
13.1 速度の非対称性
AI集団が人間より何千倍も速く活動する場合、人間が一つの報告を読む間に、AIは多数の意思決定を終えているかもしれません。
形式上は人間が監督者でも、実質的には追認するだけになる危険があります。
13.2 情報量の非対称性
AI集団が生成する報告、仮説、判断記録が、人間には読めない規模になる可能性があります。
人間はAIが作った要約に依存します。
しかし、その要約自体が重要な異論を省いていないかを確認できません。
13.3 理解能力の非対称性
AIが人間には理解困難な概念やモデルを使う場合、人間は結論を直接評価できません。
これは名目的な人間統制と、実質的な人間統制の違いを生みます。
13.4 意味のある人間参加
人間が本当に関与するには、
- 判断速度を調整する
- AIに説明責任を課す
- 重要決定を段階化する
- 人間が理解できる中間表現を作る
- 独立したAIに翻訳・批判させる
- 決定を一時停止できる
仕組みが必要です。
第14節 マルチエージェント経路はASIへの「緩やかな道」か
再帰的自己改善による知能爆発では、AGIからASIへ急激に移行する可能性が議論されます。
これに対してマルチエージェント経路では、個体数と組織能力を段階的に増やすことで、比較的連続的にASIへ近づく可能性があります。
原報告書は、個体モデルの性能が人間レベルで停滞しても、大量のAGIを集合体や市場として運用すれば、集合的能力をさらに高められる可能性があるとしています。十分大きな人間レベルAGI集団は、広い意味で超人的能力を持つ可能性が高いものの、その向上幅とスケーリングは依然不確実です。（原報告書、Section 5.4）
14.1 弱いASI
最初に現れるASIは、一つの万能な超知能ではなく、
- 特定の大規模研究
- ソフトウェア開発
- 企業経営
- 市場分析
などで人間組織を上回るAI集団かもしれません。
これは「弱いASI」と呼べる段階です。
14.2 集団が自己改善を始める場合
AI集団がAI研究を行い、自らの組織構造、通信、分業、モデルを改善すれば、第四経路は第三経路と融合します。
すると、
AI集団の規模拡大
→ 研究能力の向上
→ より良いAIと組織設計
→ さらに強いAI集団
という循環が生じます。
この場合、緩やかに始まった集団化が、後に急速な能力向上へ移る可能性があります。