第7節 身体性・現実接地のボトルネック〜第8節 第六のボトルネック――意図的な減速
第7節 身体性・現実接地のボトルネック
7.1 新概念は現実によって検証されなければならない
AIが新しい物理法則や生物学的機構をデジタル速度で提案できても、それが正しいかどうかは、現実世界で確認しなければなりません。
原報告書は、新しい概念と、その概念を使った予測規則を現実に照らして検証する必要性を、Embodied Bottleneck――身体性・現実接地のボトルネックと呼んでいます。（原報告書、Section 5.5）
ここでいう「身体性」は、人型ロボットの身体だけを意味しません。
AIが、
- センサーを通じて観測する
- 装置を操作する
- 実験する
- 結果を測定する
- 仮説を現実に照らして修正する
という、物理世界との循環を持つことです。
7.2 物理時間は圧縮できない
一部の現象には、固有の時間尺度があります。
- 化学反応
- 生物の成長
- 疾患の進行
- 気候変動
- 材料の劣化
- 人間社会の長期反応
です。
AIの思考速度を千倍にしても、植物が千倍速く成長するわけではありません。
臨床試験の長期的副作用を数秒で直接観測することもできません。
シミュレーションで一部を代替できますが、複雑な生物、気候、社会を、長期間にわたり完全な精度で再現することは難しい場合があります。（原報告書、Section 5.5）
7.3 知能爆発への直線的な制約
再帰的自己改善がデジタル領域だけで完結するなら、改善サイクルは非常に短くなる可能性があります。
しかし、新しい知識の獲得に物理的実験が不可欠なら、
AIの能力向上速度は計算機の速度ではなく、経験科学の速度に制約される
可能性があります。
これは知能爆発の見通しを大きく変えます。
AIが数分で一万個の仮説を作れても、信頼できる実験結果を得るのに数か月必要なら、研究サイクル全体は数か月より短くなりません。
7.4 デジタル領域と物理領域の差
このボトルネックの影響は分野によって異なります。
デジタル領域
- 数学
- ソフトウェア
- アルゴリズム
- 一部の形式科学
では、自動評価や高速な検証が可能です。
自己改善は比較的速く進む可能性があります。
物理・生物・社会領域
- 材料科学
- 医学
- ロボット工学
- 気候科学
- 社会制度
では、現実世界の観測や介入が必要です。
進歩は物理的・制度的時間に制約されます。
したがって、最初のASIはすべての分野で均一に超人的になるのではなく、デジタルに検証可能な分野から先行する可能性があります。
第8節 第六のボトルネック――意図的な減速
8.1 技術的に可能でも、社会が許可しない場合
これまでのボトルネックは、主として技術、資源、知識に関するものでした。
しかし、AIの進歩は社会の中で起こります。
技術的・経済的にASIへ進める場合でも、人間社会が意図的に速度を下げる可能性があります。
原報告書は、その要因として、
- 悪意ある利用
- 重大事故
- 制御喪失の危険
- 軍事的・政治的濫用
- 社会文化的損害
- 雇用や格差への影響
- 社会的反発
を挙げています。（原報告書、Section 5.5）
8.2 労働と社会契約
AGIが多くの認知労働を、人間より安価に提供できるようになれば、経済の中心的資源が労働から資本へ移る可能性があります。
AIと計算資源を所有する者へ所得と権力が集中すれば、
- 雇用
- 所得分配
- 税制
- 社会保障
- 人間の社会参加
- 尊厳と自律性
を支えてきた制度を再設計する必要があります。
社会がこの変化に対応できなければ、AI開発への政治的反発が強まり、研究や配備の制限につながる可能性があります。（原報告書、Section 5.5）
8.3 重大事故と社会的許可
高度なAIが、金融、医療、電力、軍事、行政などの重要インフラへ組み込まれると、一つの事故が広範囲へ影響する可能性があります。
大規模な事故や信頼できるニアミスが起きれば、
- 世論
- 法的責任
- 保険制度
- 許認可
- 投資判断
が変化し、次の能力拡大が政治的・商業的に困難になるかもしれません。
原報告書は、複雑で密結合したAIシステムでは、個別の技術故障だけでなく、組織的意思決定から重大事故が生じ得る点も指摘しています。（原報告書、Section 5.5）
8.4 ガバナンスは単なるブレーキではない
規制やガバナンスは、進歩を止めるだけのものではありません。
- 能力基準による許認可
- 配備前評価
- 事故報告
- セキュリティ基準
- 段階的な能力解放
- 独立監査
を通じて、技術開発の方向と質を変えることもできます。
適切なガバナンスによって重大事故を防げれば、長期的には社会的信頼を維持し、持続可能な技術発展を可能にするかもしれません。（原報告書、Section 5.5）
8.5 国際競争による反作用
意図的な減速には強い反作用があります。
一つの企業や国家が開発を遅らせても、他の主体が経済的・軍事的優位を求めて進める可能性があります。
- 国際協調の困難
- 規制の弱い地域への開発移転
- 安全性より競争速度を重視する圧力
- 軍事・経済的優位への懸念
により、単独の減速政策は持続しにくいかもしれません。
原報告書は、国家間競争や市場圧力が減速要求を上回る可能性を認めています。（原報告書、Section 5.5）