第16節 一体のAIが賢くならなくてもASIになり得る〜第21節 スケーリングの中心的な未解決問題
第16節 一体のAIが賢くならなくてもASIになり得る
原報告書の重要な指摘は、ASIへの移行には、必ずしも一体のAIが人間をはるかに超える必要はないということです。
仮に個々のAGIが人間レベルで能力向上を止めたとしても、
- 数百万体
- 数億体
- 数十億体
を同時に稼働させることができれば、集合体として大規模な人間組織を超える可能性があります。
しかもAIには、
- 24時間稼働できる
- 高速に複製できる
- 記憶を共有できる
- 同じ課題を大量に並列処理できる
- 異なる専門に分化できる
という特徴があります。
一体のAGIが平均的な人間程度でも、数百万体を高速で稼働させれば、社会全体としては超人的能力を持つ可能性があります。
原報告書はこの点から、中心的な問いは、
スケーリングだけでASIが可能か。
ではなく、
ASIに到達するまで、経済的・技術的・自然的資源のスケーリングを持続できるか。
である可能性を指摘しています。（原報告書、Section 5.1）
第17節 実効計算量とは何か
計算能力を考えるとき、単純なハードウェア性能だけを見るのは不十分です。
重要なのはeffective compute――実効計算量です。
実効計算量は、概念的には次の要素から成ります。
- 半導体の処理性能
- データセンターの規模
- 使用可能な電力
- アルゴリズム効率
- ソフトウェア最適化
- 並列処理効率
- モデルアーキテクチャ
- 学習データの品質
たとえば、同じ性能を半分の計算量で達成できるアルゴリズムが開発されれば、ハードウェアが変わらなくても、実質的には計算資源が2倍になったのと同じ効果があります。
逆に、半導体性能が上がっても、モデルが計算資源を効率よく利用できなければ、知能向上には結び付きません。
このため、AGIからASIへのスケーリングは、チップを増やすことだけではありません。
ハードウェアとアルゴリズムの両方を改善し、同じ資源からより多くの知的成果を引き出すことが重要です。
第18節 スケーリングを支える物理的条件
スケーリングには、デジタル空間だけでなく、巨大な物理的基盤が必要です。
AIの計算量を何桁も増やすには、
- 半導体
- データセンター
- 電力
- 冷却設備
- 通信網
- 土地
- 水
- 金属や鉱物資源
- 製造装置
- 熟練労働者
- 巨額の資本
が必要です。
そのため、AIの進歩は純粋なソフトウェア問題ではありません。
エネルギー政策、産業政策、サプライチェーン、地政学、環境問題と直接結び付きます。
たとえば、より高度なAIモデルを設計できても、必要な半導体を生産できなければ、実際には利用できません。
電力供給を拡大できなければ、計算資源も増やせません。
原報告書は、スケーリングをASIまで持続するには、経済投入、技術資源、自然資源を何桁にもわたって増やす必要がある可能性を強調しています。（原報告書、Section 5.1）
第19節 経済的にどこまで続けられるのか
AI開発には巨額の費用がかかります。
しかし、費用が高いだけでは、スケーリングが止まるとは限りません。
AIによって得られる経済的利益がさらに大きければ、投資は継続するからです。
たとえば、AIが、
- 研究開発を加速する
- ソフトウェア開発を自動化する
- 医薬品開発を改善する
- 企業運営を効率化する
- 多くの知的労働を代替する
ことで大きな収益を生むなら、企業や政府はさらに多くの資本をAIへ投入するでしょう。
したがって、スケーリングの経済的限界は、単純な開発費用ではなく、
追加の計算資源に対して、どれだけの追加的価値が生まれるか。
によって決まります。
性能向上が小さくなり、追加計算の費用を正当化できなくなれば、スケーリングは鈍化します。
反対に、AIが経済成長そのものを加速すれば、より大きな計算設備へ投資できる可能性があります。
第20節 限界効用の低下
多くの技術では、規模を拡大するほど、追加投資から得られる効果が小さくなります。
これを限界効用の低下と考えることができます。
AIでも、
- 計算量を10倍にして大幅に性能が上がる段階
- 計算量を10倍にしても少ししか改善しない段階
があるかもしれません。
もし性能改善に必要な計算量が急速に増え続ければ、物理的・経済的に維持できなくなります。
一方で、性能向上が経済的価値を増やし、その利益が次の計算資源へ再投資されれば、拡大が続く可能性もあります。
したがって、重要なのは、
- 計算量の増加率
- アルゴリズム効率の改善率
- 性能向上率
- 経済的価値の増加率
- 資源コストの増加率
の相互関係です。
原報告書は、これらの関係を定量的に測定し、複数の予測モデルを継続的に更新する必要があるとしています。（原報告書、Section 5.1）
第21節 スケーリングの中心的な未解決問題
Section 5.1が提示する問いは、次のように整理できます。
21.1 計算量はどの範囲で知能へ変換されるのか
より多くの計算が、単なる高速化ではなく、より深い理解や一般化を生むのでしょうか。
21.2 スケーリング則はAGI以後も続くのか
現在のモデルで観測された規則が、人間レベルを超えた領域にも適用できるのでしょうか。
21.3 データの壁を越えられるのか
人間生成データが不足した後、合成データ、シミュレーション、実世界との相互作用が代替できるのでしょうか。
21.4 推論時スケーリングはどこまで有効か
同じモデルに長く考えさせれば、どこまで能力を高められるのでしょうか。
21.5 量的拡大は質的飛躍を生むのか
モデル規模と計算量を増やすだけで、新しい抽象能力や一般的推論が生まれるのでしょうか。
21.6 経済・資源面で持続可能か
電力、半導体、データセンター、資本、環境負荷は、必要な規模まで拡大できるのでしょうか。
21.7 個体の能力と集団の能力をどう区別するか
一体のモデルが賢くなることと、多数のモデルを組織して集合的能力を高めることを、どう測定するのでしょうか。