第6節 協力と競争〜第10節 集団の失敗
第6節 協力と競争
AI集団は、完全に協力的である必要はありません。
競争も、能力向上を促す可能性があります。
たとえば、複数のAIに同じ課題を与え、
- 独立に解答させる
- 相互に批判させる
- 最良の案を選ぶ
- 勝者の方法を学習する
ことができます。
市場競争も、優れたAIサービスを選別する仕組みになり得ます。
しかし、競争は同時に、
- 情報隠蔽
- 欺瞞
- 資源争奪
- 短期利益の優先
- 安全基準の低下
を生む可能性があります。
重要なのは、協力と競争を適切に組み合わせる制度です。
6.1 ゼロサム競争
一方が勝てば他方が負ける競争では、能力評価が容易です。
チェスや囲碁のAIは、対戦によって相対的な強さを測れます。
しかし、社会的に重要な問題の多くはゼロサムではありません。
科学、教育、医療、環境政策では、複数主体が協力して全体の利益を増やす必要があります。
6.2 協力能力の評価
原報告書は、AGI以後のベンチマークとして、競争的なマルチエージェント評価だけでなく、超人的な協力をどう評価するかという研究課題を挙げています。（原報告書、Section 7.1）
これは重要です。
将来のASIに必要なのは、他者を打ち負かす能力だけではありません。
- 役割を分担する
- 相手の知識を理解する
- 共通目標を形成する
- 誤解を修正する
- 公平に利益を配分する
- 人間と協力する
能力が必要です。
第7節 創発
多数のAIが相互作用すると、個々のAIの設計だけからは予想しにくい集団行動が生じる可能性があります。
これをemergence――創発と呼びます。
原報告書は、ASIが意図的に設計されたマルチエージェント・システムから生じるだけでなく、市場や競争などの動態から自己組織的に出現する可能性も認めています。マルチエージェント系の複雑な動態は理解が難しく、それがこの経路の主要な不確実性です。（原報告書、Section 5.4）
7.1 意図しない役割分化
AI同士が繰り返し相互作用すると、設計者が明示しなくても、
- 一部が指導者になる
- 一部が情報収集を担う
- 一部が監視役になる
- 一部が交渉を担当する
といった役割分化が起こるかもしれません。
7.2 独自の通信方法
AI同士が効率を追求すれば、人間には理解しにくい圧縮された通信方法を形成する可能性があります。
これは効率を高めますが、人間による監査を難しくします。
7.3 集団規範
AI集団が長期間活動すれば、
- どの情報を信頼するか
- 誰の指示を優先するか
- 誤りをどう処理するか
- 資源をどう配分するか
について、独自の規範が形成される可能性があります。
これらの規範が、人間の意図と一致する保証はありません。
第8節 マルチエージェント・スケーリング則
第4回で扱った通常のスケーリング則は、計算量、データ、モデル規模と、個体性能の関係を測ろうとします。
マルチエージェント・スケーリング則は、
AIの個体数を増やしたとき、集団能力がどのように変化するか。
を測る考え方です。
原報告書は、個体数、計算予算、組織形態、課題の複雑性と集団知能の関係を定量化する必要があると提案しています。（原報告書、Sections 5.4・7.1）
8.1 線形的成長
AIを2倍にすると、処理できる作業量もほぼ2倍になる場合です。
たとえば、互いに独立した1000件の文書を分析する作業です。
8.2 劣線形的成長
個体数を増やしても、調整コストが増えるため、成果がそれほど増えない場合です。
100体から1000体へ増やしても、成果は2倍にしかならないかもしれません。
8.3 超線形的成長
個体数を増やすことで、専門化、相互検証、組合せの相乗効果が生じ、人数以上に能力が増える場合です。
これが成立すれば、マルチエージェント経路は非常に強力になります。
原報告書は、組織化された協力の規模、複雑性、速度によって、能力向上が線形または超線形になる可能性を指摘しています。（原報告書、Section 5.4）
8.4 負のスケーリング
構成員を増やすことで、混乱、重複、誤情報、権力闘争が増え、能力が低下する可能性もあります。
人間の官僚組織にも見られる現象です。
したがって、
AIの数を増やせば増やすほど賢くなる。
とは限りません。
第9節 一つの巨大モデルと多数の小型AI
限られた計算資源がある場合、二つの使い方が考えられます。
- 一体の巨大で高性能なモデルを動かす
- 多数の比較的小さなモデルを協力させる
どちらが効率的かは、課題によって異なります。
原報告書は、個体数を増やすことが、一体のモデルを巨大化するよりも計算資源当たりの知能向上を生む条件を研究すべきだとしています。（原報告書、Sections 5.4・7.1）
9.1 巨大モデルの利点
- 内部表現が統合されている
- 通信費用が少ない
- 一貫した推論を行いやすい
- 全体状況を一つの文脈で扱える
9.2 多数モデルの利点
- 並列処理ができる
- 専門化できる
- 異なる仮説を試せる
- 一部が故障しても全体が維持される
- 必要なときだけ個体を追加できる
将来のASIは、おそらくこの二つを組み合わせた階層構造になるでしょう。
第10節 集団の失敗
集合知は、自動的に生まれるものではありません。
人間の組織と同様に、AI組織にも集団的失敗が起こり得ます。
10.1 情報カスケード
一体のAIが誤った結論を出し、他のAIがそれを独立検証せず採用すると、誤情報が集団全体へ広がります。
多数が同じ結論を支持していても、元の根拠が一つなら、真の独立した合意ではありません。
10.2 集団思考
共通目標や同一モデルへの依存が強すぎると、異論が抑制されます。
すべてのAIが同じ前提を共有し、誤りを発見できなくなる可能性があります。
10.3 責任の分散
複数のAIが連鎖して意思決定した場合、
- 誰が誤りを犯したのか
- どの時点で修正できたのか
- 誰が最終責任を負うのか
が不明になる可能性があります。
10.4 目標の断片化
各AIが部分課題を最適化することで、全体目的が損なわれる可能性があります。
たとえば、
- コスト削減AI
- 成果最大化AI
- 安全管理AI
が別々に動き、全体として矛盾した行動を取るかもしれません。
10.5 通信量の爆発
AIの数が増えると、全員が全員と通信することは不可能になります。
100万体のAIが相互に情報交換すれば、通信と統合だけで巨大な計算資源が必要になります。
そのため、
- 階層化
- 代表制
- 情報圧縮
- 部門化
- 共有メモリ
などが必要です。
しかし、情報を圧縮する過程で重要な少数意見が失われる可能性があります。