第10節 テキスト以外のデータ〜第15節 スケーリングが効かない問題
第10節 テキスト以外のデータ
データの壁は、テキストデータだけを考えた場合の問題でもあります。
世界には、まだ十分活用されていない多様な情報があります。
- 画像
- 映像
- 音声
- 科学観測データ
- 医療データ
- ロボットの行動記録
- センサーデータ
- 衛星データ
- 遺伝情報
- 化学実験
- 産業設備の稼働記録
マルチモーダルAIは、これらを統合することで、人間の言語に明示的には記録されていない世界の構造を学べる可能性があります。
特に、物理世界で行動するAGIには、文章だけでなく、
- 行動すると何が起こるか
- 物体はどのように動くか
- 現実の環境にはどのような因果関係があるか
という経験が必要です。
しかし、テキスト以外のデータを増やせば問題がすべて解決するわけではありません。
データの収集、整理、権利処理、安全な利用には多額の費用と時間がかかります。
また、センサーデータが大量にあっても、そこから有用な概念や因果関係を学習できるとは限りません。
第11節 合成データはデータの壁を越えられるか
人間生成データが有限なら、AI自身に訓練データを作らせる方法が考えられます。
これがsynthetic data――合成データです。
たとえばAIに、
- 数学問題を作らせる
- プログラミング課題を作らせる
- 模擬会話を生成させる
- 科学的シミュレーションを行わせる
- 自己対戦させる
- 複数の解法を生成して評価させる
ことができます。
合成データには大きな可能性があります。
人間が一つずつ教材や問題を作るよりも、はるかに大量に生成できるからです。
しかし、危険もあります。
現在のモデルが生成したデータをそのまま次世代モデルへ学習させると、
- 誤りが蓄積する
- 多様性が失われる
- もっともらしい虚偽が増える
- 元のデータ分布から離れていく
- モデル自身の偏りを反復する
可能性があります。
これはモデル崩壊やデータ汚染と呼ばれる問題につながります。
原報告書は、現在のAIでは合成データによる退化の危険がある一方、AGIレベルのシステムでは事情が変わる可能性を指摘します。
AGIが、
- 高精度なシミュレーション
- 探索に基づく問題生成
- 検証可能な数学やコード
- インタラクティブな環境
- 実験結果による評価
を利用できれば、人間生成データを超える高品質なデータを生み出せるかもしれません。（原報告書、Section 5.1）
第12節 自己対戦が示す可能性
合成データの有効性を示す代表例が、AlphaGoやAlphaZeroの自己対戦です。
囲碁やチェスでは、AIは人間の棋譜だけに依存する必要がありません。
自分自身と対戦し、
- 新しい局面を生成する
- 良い手と悪い手を評価する
- より強い戦略を発見する
- その成果を次の学習に使う
ことができます。
この方法により、人間が過去に考えた戦略を超えることが可能になりました。
ただし、囲碁やチェスには明確な利点があります。
- ルールが明確
- 勝敗が明確
- シミュレーションが正確
- 一局を短時間で大量に生成できる
という点です。
科学研究や社会問題では、正解が簡単には分かりません。
医療政策が良かったかどうかは、数年後にしか分からないかもしれません。
教育の成果は、試験点数だけでは評価できません。
したがって、自己生成データが有効かどうかは、
結果を信頼できる方法で検証できるか
に大きく依存します。
第13節 Mixture-of-Expertsと効率的スケーリング
スケーリングには、単に全モデルを大きくする以外の方法があります。
その一例が、Mixture-of-Experts――専門家混合モデルです。
この構造では、一つの巨大なネットワークのすべてを毎回使用するのではありません。
入力に応じて、必要な一部の専門モジュールだけを動かします。
たとえば、
- 数学の専門部分
- 言語の専門部分
- コードの専門部分
- 画像の専門部分
を持ち、課題に応じて必要な部分を選択する構造です。
これにより、モデル全体は非常に大きくても、一回の推論で使用する計算量を抑えられます。
原報告書は、Mixture-of-Expertsを、計算効率を高め、スケーリングの余地を広げるアーキテクチャ上の革新例として挙げています。（原報告書、Section 5.1）
ただし、専門家混合モデルにも課題があります。
- どの専門モジュールを選ぶか
- 専門間で情報をどう統合するか
- 一部の専門家に負荷が偏らないか
- 全体の一貫性をどう保つか
という問題です。
それでも、モデル全体を毎回動かさずに容量を拡大できる点で、重要なスケーリング技術です。
第14節 量的拡大から質的飛躍は起きるのか
スケーリングをめぐる最大の問いは、
量を増やすだけで、質的に新しい知能が現れるのか。
というものです。
モデルを大きくすると、性能が少しずつ滑らかに向上するだけなのでしょうか。
それとも、ある規模を超えたとき、
- 推論
- 計画
- 抽象化
- ツール利用
- 一般化
- 自己評価
のような新しい能力が突然現れるのでしょうか。
近年、一部のAI能力について、モデル規模が一定水準を超えると急に能力が現れるというemergent abilities――創発的能力が議論されてきました。
しかし、原報告書は慎重です。
一見すると突然の飛躍に見える現象でも、
- 評価指標の設計
- 合否を二値で測る方法
- ベンチマークの飽和
- 測定間隔の粗さ
によって、不連続に見えているだけかもしれないからです。
たとえば、正答率が49％から51％へ滑らかに上昇したとしても、「50％以上を合格」と設定すれば、ある時点で突然能力が現れたように見えます。
したがって、真の質的飛躍と、測定上の見かけを区別する必要があります。（原報告書、Section 5.1）
第15節 スケーリングが効かない問題
すべての問題が計算量の増加によって容易になるわけではありません。
特に、計算複雑性が高い問題では、問題規模が少し増えただけで、必要な計算量が爆発的に増えることがあります。
原報告書は、NP困難問題のような問題を例に、単純な計算量の増加だけでは不十分な場合があると指摘します。
このような問題では、
- 優れた近似
- 問題構造の発見
- ヒューリスティック
- 分解方法
- 特殊な表現
- 新しいアルゴリズム
が必要です。
つまり、スケーリングは一部の問題には非常に有効でも、別の問題には限界があります。
ここから、第一経路と第二経路の関係が見えてきます。
スケーリングが限界に近づけば、アルゴリズムやアーキテクチャのパラダイム転換が必要になる可能性があります。