第17節 現在のパラダイムは意外に遠くまで行ける可能性〜第23節 アナログ計算
第17節 現在のパラダイムは意外に遠くまで行ける可能性
原報告書は、現在のAIに多くの限界を認めながらも、
現在のニューラルネットワークの枠組みではAGIは絶対に不可能である。
とは結論付けていません。
むしろ、現在のパラダイムが、
- 継続学習
- 長期記憶
- 世界モデル
- エージェント性
- ツール利用
- 推論時探索
- 外部記憶
を取り込みながら進化すれば、AGI、さらにはASI領域まで到達する可能性を排除できないとしています。
原報告書は、Universal AIやメタ学習の理論から見ても、現在の予測・学習中心のパラダイムが一般知能へ向かううえで、明白な理論的障害を持つとは断定できないと述べています。
一方で、継続学習、長文脈、頑健な計画などの実用的限界は明確であり、将来、根本的欠陥が明らかになる可能性も残されています。（原報告書、Section 5.2）
第18節 現在の方法が限界に達したとき
真のパラダイム転換
現在のパラダイムを進化させても、
- 性能向上が止まる
- 計算費用が急増する
- データが不足する
- エネルギー効率が改善しない
- 長期計画が安定しない
- 継続学習が実現できない
- 幻覚や脆弱性が解消できない
といった状況になる可能性があります。
その場合、現在の枠組みにさらに部品を追加するだけでは不十分となり、根本的な転換が必要になります。
原報告書は、真のパラダイム転換は、現在のパラダイムが天井に達したことへの反応として生まれる可能性が高いとしています。（原報告書、Section 5.2）
第19節 新しいアーキテクチャ
一つの可能性は、Transformerとは異なるモデル構造です。
Transformerは非常に強力ですが、すべての認知機能に最適であるとは限りません。
将来のアーキテクチャは、たとえば、
- 動的に構造を変える
- 必要な部分だけを起動する
- 記憶と計算を統合する
- 再帰的に問題を処理する
- 自ら新しいモジュールを作る
- 長期間持続する内部状態を持つ
- 記号処理とニューラル処理を統合する
可能性があります。
原報告書は、過去のNeural Turing Machineのように、ニューラルネットワークへ明示的な外部記憶や計算機構を組み込む試みを、現在の構造上の限界を超えようとする例として挙げています。（原報告書、Section 5.2）
第20節 新しい最適化方法
現在のニューラルネットワークは、主として勾配降下法によって学習します。
モデルが出した予測と正解との差を計算し、その差が小さくなるように多数のパラメータを少しずつ修正します。
この方法は大きな成功を収めました。
しかし、将来の知能システムにとって最善の学習方法である保証はありません。
新しい最適化方法には、たとえば、
- 学習規則自体をAIが発見する
- モデル構造と学習方法を同時に進化させる
- 局所的な学習を用いる
- 生物の神経系に近い更新方法を使う
- 離散的・記号的な構造変化を可能にする
- 複数の時間尺度で学習する
などが考えられます。
現在の学習方式では、巨大なデータと計算量が必要です。
新しい最適化原理が発見されれば、同じ能力をはるかに少ないデータ、電力、計算量で実現できるかもしれません。
第21節 強化学習を中心とする事前学習
現在の基盤モデルは、人間が生成した静的データを予測する形で学ぶことが中心です。
しかし、真のエージェント知能には、環境内で行動し、結果から学ぶ強化学習がより中心的になる可能性があります。
原報告書は、可能性の一例として、RL-based pretraining――強化学習を中心とする事前学習を挙げています。（原報告書、Section 5.2）
これには、次のような違いがあります。
静的な事前学習
- 過去に集められたデータを読む
- 世界について受動的に学ぶ
- データ分布の再現を目指す
強化学習中心の事前学習
- 環境で行動する
- 新しい状況を自ら作る
- 結果から学ぶ
- 目的達成能力を直接改善する
- 探索を通じて新しい知識を得る
この方法が進めば、AIは人間の既存データを模倣するだけでなく、自ら経験を生み出せるようになります。
第22節 ニューロモーフィック・ハードウェア
原報告書が挙げるもう一つの可能性は、neuromorphic hardware――神経模倣型ハードウェアです。
現在のAIは、一般にデジタル計算機上でニューラルネットワークを実行します。
しかし、人間の脳は、
- 多数の神経細胞が並列に活動する
- 必要なときだけ信号を発する
- 記憶と計算が同じ構造内にある
- 比較的少ない電力で動く
という特徴を持ちます。
神経模倣型ハードウェアは、こうした性質を工学的に取り入れようとします。
特に、spiking neurons――発火型ニューロンを用いるシステムでは、情報を連続的な数値だけでなく、時間的な信号の発火として処理します。
これが成功すれば、
- 電力効率
- 並列性
- リアルタイム処理
- センサーとの統合
- ロボット制御
で大きな利点が得られる可能性があります。原報告書は、こうした計算方式への転換が、データ効率やエネルギー効率の大幅な改善につながる可能性を例示しています。（原報告書、Section 5.2）
第23節 アナログ計算
現在のコンピュータの多くは、0と1のデジタル情報を使います。
しかし、物理世界の多くの量は連続的です。
アナログ計算では、電圧、電流、光、物理状態などの連続量を直接利用して計算します。
特定の種類のニューラル計算では、アナログ方式の方が、
- 高速
- 低消費電力
- 高密度
- 並列的
になる可能性があります。
ただし、アナログ計算には、
- ノイズ
- 精度
- 再現性
- 製造上のばらつき
- プログラムの柔軟性
といった問題があります。
それでも、ASIに必要な計算規模がデジタル方式のエネルギー限界に近づくなら、アナログ計算への転換が重要になる可能性があります。