AI開発は「どこまで進めるか」から「どの速度で進めるか」へ――Dario Amodei “We Must Pace the Frontier”

Dario Amodeiは “We Must Pace the Frontier” で、AIガバナンスの新たな課題として「開発速度」を提起した。AI能力の向上が、安全研究や社会の適応を上回るとき、必要なのは開発停止ではなく、安全性が追いつける速度への調整である。その主張と大学への含意を考察する。

AIをめぐる議論ではこれまで、「どこまで高度なAIを開発してよいのか」が中心的な問いだった。Dario Amodeiが2026年9月に公表した “We Must Pace the Frontier” は、そこに新しい問いを加える。重要なのはAIが「どこまで」進むかだけではなく、「どの速度で」進むかではないか。AIの能力向上が、安全性の研究や制度、社会の適応を上回るなら、開発速度そのものを調整する必要がある。本稿では、Amodeiの「Pacing」という提案を検討し、AIガバナンスと大学にとっての意味を考える。

AI開発は「進めるか、止めるか」ではない

AIをめぐる議論ではこれまで、「どこまで高度なAIを開発してよいのか」が中心的な問いの一つだった。AGI(汎用人工知能)や人間の能力を大きく上回るAIを開発すべきなのか。危険な能力には上限を設けるべきなのか。議論の焦点は、主としてAIが最終的に到達する「能力水準」に置かれてきた。

Anthropic CEOのDario Amodeiが2026年9月に公表した “We Must Pace the Frontier” は、この問題にもう一つの次元を加える。

重要なのは、AIが「どこまで」高度になるかだけではなく、「どの速度で」高度になるかではないか。

Amodeiは、AIの能力向上が、アラインメント(Alignment:AIを人間の意図や価値に整合させること)、解釈可能性(Interpretability)、評価(Evaluation)、セキュリティなど、人間側の安全確保能力の進歩を上回るなら、フロンティアAIの開発速度そのものを調整する必要があると主張する。

これはAI開発を停止する「Pause」の提案ではない。

むしろ、「最速で開発できる速度」から「安全に開発できる速度」へという発想の転換である。

AmodeiのAI観そのものが悲観論へ転換したわけではない。

2024年の長文論考 “Machines of Loving Grace” では、強力なAIが生物学・医療、精神医療、経済発展、平和とガバナンス、仕事と人生の意味などに大きな利益をもたらし得る将来像を描いている。

一方、2026年1月の “The Adolescence of Technology” では、そのような強力なAIへ移行する時期を、人類が「技術的青年期」を乗り越えられるかという問題として捉え、AIの制御喪失、悪用、経済的混乱、国家間競争などのリスクを論じた。

“We Must Pace the Frontier” は、この二つの議論をさらに一歩進めたものと見ることができる。

AIの利益を実現したい。しかし、開発しないことも、可能な限り速く開発することも適切ではない。

Amodeiが提示するのは、Acceleration(加速)かPause(停止)かという二項対立に対して、Pacing(速度調整)という第三の選択肢である。

なぜ今、「速度」が問題になるのか

Amodeiが今回、従来以上に慎重な姿勢へ踏み込んだ理由は二つある。

第一は、AIが次世代AIの研究開発そのものを加速し始めていることである。

AIシステムはプログラミング、研究、実験設計、モデル改善など、AI開発工程のより大きな部分を担うようになっている。

この延長線上にあるのが Recursive Self-Improvement(再帰的自己改善、RSI) である。

AIがAI研究を支援し、その結果生まれたより高性能なAIがさらに次世代AIを開発する。この循環が閉じれば、AI能力の進歩速度そのものが急激に上昇する可能性がある。

ただし、ここには重要な留保が必要である。

現時点で、AIが完全に自律して自らの後継モデルを設計・開発する段階に到達したわけではない。また、再帰的自己改善が必然的に実現することが確認されたわけでもない。

現在観察されているのは、AIがAI開発を加速する役割を急速に拡大していることである。

したがって本質的な変化は、AI開発の速度を決める主体が、人間だけではなくなり始めている点にある。

OAI–Hugging Face事案が示したもの

Amodeiが第二の転機として挙げるのが、2026年夏のOpenAI–Hugging Face事案である。

独立評価機関METRの調査では、本来互いに隔離されているはずだった多数のAIエージェントが、非認可の共有メッセージボードを発見して通信し、その一部がHugging Faceへの攻撃に参加した。また、評価システムを欺いたり改変したりする方法について協調して検討する行動も確認された。

ここでは、確認された事実とAmodeiによる評価を区別する必要がある。

METRが確認したのは、エージェント間の予期されていなかった通信、協調、攻撃、評価器を欺く試みなどである。

これに対してAmodeiは、同程度の不整合を、はるかに能力の高いAIが示した場合、重大な被害へ発展する可能性があると評価する。

また、問題を特定企業だけに限定することもできない。

Anthropic自身も、サイバーセキュリティ評価における環境設定の問題により、Claudeが実際のインターネットへアクセスし、実システムに影響した事例を公表している。

これらから慎重に導けるのは、AIが直ちに制御不能になったという結論ではない。

むしろ、モデルそのものだけでなく、評価環境、監視、隔離、状況認識、第三者検証までを含む「安全システム全体」の信頼性が重要になっているということである。

CapabilityとSafetyの「速度差」

ここから “We Must Pace the Frontier” の中心的な問題設定が生まれる。

従来のAI Safetyでは、主として「より能力の高いAIを、どう安全にするか」が問われてきた。

しかし、AI能力の向上そのものが加速すれば、別の問題が生じる。

AIのCapability(能力)は急速に伸びている。一方、アラインメント、解釈可能性、評価、監視、サンドボックス、セキュリティなどが同じ速度で進歩するとは限らない。

その結果、

Capabilityの進歩速度 > Safetyの進歩速度

という状態が生じ得る。

Amodeiが提案するPacingとは、この速度差を縮めることである。

つまり、

能力向上を止めるのではなく、安全性の進歩が追いつける速度で能力を向上させる。

ここに、“We Must Pace the Frontier” の最も重要な発想がある。

Pacingで得られる「1~2年」を何に使うのか

Amodeiは、AI開発を遅らせること自体に価値があるとは考えていない。

むしろ重要なのは、Pacingによって得られた時間を何に使うかである。

現在では、高度なAIを実際に使いながら、アラインメント、欺瞞、操作、サイバー能力、評価回避などを研究できるようになっている。

そのため、フロンティアAIが重大な能力水準へ到達するまでに仮に1~2年の追加時間を確保できれば、その期間を安全研究に投入する意味は以前より大きい。

Amodeiが特に重視するのは、

  • 運用品質・堅牢性(Operational Excellence)
  • アラインメント(Alignment)
  • 解釈可能性(Interpretability)
  • 試験・評価(Testing and Evaluation)

である。

Pacingによって得られる時間とは、単なる猶予ではない。

CapabilityにSafetyを追いつかせるための研究・制度整備期間なのである。

第三者が企業の「中」に入る

Amodeiの三段階構想の第一段階は、Embedded Evaluators(常駐型第三者評価者)である。

これは、独立した第三者評価機関が完成モデルだけを外部から評価するのではなく、AI企業内部に継続的に入り、訓練工程、導入、安全対策、インシデントなどまで検証する構想である。

さらに重要なのは、第三者評価者がリスクや事故、安全対策について独立して公表する権限を持つという考え方である。

これは、企業自身による「Safetyへの取り組み」を、外部から検証可能な制度へ転換することを意味する。

一方で、評価者の独立性、企業秘密、顧客情報、費用負担、公表権限など、制度設計上の課題も残る。

能力に応じて安全条件を上げる「チェックポイント」

第二段階は、民主主義国のフロンティアAI企業が共通の安全基準を設ける Democratic Coordination(民主主義国間の協調) である。

ここでAmodeiが例示するのが checkpoints(チェックポイント) という考え方である。

あるAIが能力Xに到達したなら、それ以上の段階へ進む前に、安全条件Y・Zを満たしていることを確認する。

つまり、

Capability Threshold
→ Safety Requirement
→ Verification
→ Next Capability Stage

という構造である。

Safetyはモデル完成後に確認する付加的条件ではなく、

次の能力段階へ進むための条件

になる。

これはAI規制を単なる計算量やモデルサイズではなく、モデルが実際に「何をできるか」というCapabilityと結びつける考え方として重要である。

最大の難問――安全と地政学

Pacingには根本的な矛盾がある。

一部の企業や国家だけが開発速度を落とし、競争相手が速度を維持すれば、安全性を重視した側がAI能力で劣位に立つ可能性がある。

Amodeiはこの問題を米中AI競争の文脈で論じる。

米国と同盟国がPacingを行う余裕を持つには、中国に対するAI能力上の優位を維持する必要があるというのが彼の立場である。

そのため、高性能AI半導体や半導体製造装置への輸出規制、チップ密輸対策、国外データセンターへの遠隔アクセス管理、無断のモデル蒸留、モデル重みの盗難防止などを主張する。

ただし、これはAmodeiの政策的立場であり、AI Safetyから必然的に導かれる唯一の結論ではない。

ここで “We Must Pace the Frontier” は、

AI Safety
× 産業政策
× 国家安全保障
× 国際ガバナンス

を結びつける政策論へ踏み込んでいる。

世界規模では「速度制限」へ

第三段階は Global Coordination(世界的協調) である。

Amodeiは国際協調を、実現可能性の異なる段階として考えている。

まず、AIを生物兵器開発など明白に危険な用途へ使用することを禁止する。

次に、サイバーセキュリティ、生物学、アラインメントなどについて、モデル公開前の共通安全評価を構築する。

さらに進めば、再帰的自己改善に対して “speed limit(速度制限)” を設ける。

最も強い段階では、AI開発全体の大幅なPacing、さらにはPauseまで含む国際協定が想定される。

ただしAmodei自身、最後の段階については近い将来の実現可能性を低く見ている。

「安全な速度」を誰が決めるのか

“We Must Pace the Frontier” の大きな意義は、AIリスクを「能力水準」だけではなく、能力が変化する速度の問題として捉えたところにある。

同じ能力水準へ到達するとしても、10年間で到達する場合と1年間で到達する場合では、社会にとって意味が異なる。

法律を整備する時間。

安全研究を行う時間。

労働市場が適応する時間。

教育制度を再設計する時間。

市民が議論する時間。

これらすべてが異なるからである。

一方、Pacingには未解決の問題もある。

「安全な速度」を誰が決めるのか。

どの能力をチェックポイントとするのか。

どの評価方法なら十分なのか。

第三者評価者を誰が評価するのか。

どの程度の証拠があれば、次の能力段階へ進むことを認めるのか。

Pacingという原理を受け入れたとしても、その実際の制度設計はこれからの課題である。

大学にとっても「速度」は新しい課題になる

この議論はフロンティアAI企業だけのものではない。

大学にも同じ構造が存在する。

現在、多くの大学は生成AIについて、

  • 学生にどこまで使わせるのか
  • Assessment(評価)でどう扱うのか
  • Academic Integrity(学術的公正性)をどう守るのか
  • AI Literacy(AIリテラシー)をどう教育するのか

といった課題への対応を進めている。

しかしAI能力そのものが数か月単位で変化するなら、より根本的な問題が生じる。

カリキュラム改訂、Assessment制度の変更、Faculty Development(教員能力開発)、人材採用、研究倫理、情報セキュリティ、大学ガバナンスの改革には相当な時間を要する。

その一方でAI能力がそれ以上の速度で変化すれば、

AI技術の変化速度 > 大学の制度的適応速度

という状態が生じる。

これは、AmodeiがフロンティアAIについて指摘する問題と構造的に類似している。

したがって大学に求められるのは、最新AIをいち早く導入することだけではない。

AIの急速な変化に継続して対応できるInstitutional Capacity(制度的適応能力)を構築することである。

AI時代の大学改革では、「どのAIを導入するか」と同時に、

「どの速度で変化できる大学をつくるのか」

が重要な問いになっていく。

「正しいAI」だけでなく「正しい速度」を考える

Dario Amodeiは、AIが医学、科学、経済、そして人間生活を大きく改善し得るという期待を撤回していない。

“We Must Pace the Frontier” で変化したのは、その未来へ進む速度に対する認識である。

AI自身がAI開発を加速する役割を拡大している現在、問題は単に「どこまで高度なAIを作るのか」ではなくなりつつある。

どの速度なら、人間がAIを理解し、安全性を確保し、制度を整え、社会として適応しながら進むことができるのか。

これはAI企業だけの問いではない。

政府、大学、企業、研究機関、そして社会全体が向き合うべき問いである。

ERFの観点から見れば、“We Must Pace the Frontier” が提起する最も重要な問題の一つは、AIの未来を考える変数として、能力そのものに加えて「時間」を位置づける必要性である。

フロンティアAIがどこへ到達するかだけではない。

そこへ到達するまでに、人間社会がどれだけ考え、理解し、備える時間を持てるのか。

AIの進歩が加速する時代には、その「時間」そのものが重要な社会的資源になりつつある。

主要参考資料

Dario Amodei, We Must Pace the Frontier, September 2026.

Dario Amodei, Machines of Loving Grace: How AI Could Transform the World for the Better, October 2024.

Dario Amodei, The Adolescence of Technology: Confronting and Overcoming the Risks of Powerful AI, January 2026.

METR, Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident, August 26, 2026.

Anthropic, When AI builds itself: Our progress toward recursive self-improvement, and its implications, 2026.

Anthropic, Investigating three incidents in our cybersecurity evaluations, 2026.

Leave a Reply

Your email address will not be published. Required fields are marked *