モデルが、小さく賢くなっている

大きなモデルの知識を小さなモデルに移す蒸留や、計算の精度を落として軽くする量子化が進み、同じ仕事をより小さなモデルでこなせるようになってきています。

電力あたりの計算が、伸び続けている

計算機の世代が進むたびに、同じ電気でできる計算は増えてきました。AIの推論に特化した部品が増えれば、この伸びはさらに速くなるはずです。

AIのための構造を持つボードが出てくる

いまのグラフィックボードは、もともと画面を描くための部品です。AIの推論に要らない機能を削り、代わりに大きなメモリを広い通り道でつないだ、AI専用の構造のボードが出てくると見ています。CPUとGPUが一つのメモリを共有する作りの計算機も、すでに広がり始めています。

こうした流れが重なれば、推論の仕事は、巨大な施設から、手元の小さな計算機へ降りてくる。

一方で、この予想には、はっきりした反論があります。

学習は、手元には降りてこない

モデルを一から作る学習には、今も、これからも、巨大な計算資源が要ります。小さく賢いモデルも、大きなモデルがあってこそ作られます。巨大なデータセンターの仕事がなくなるわけではありません。

効率が上がると、使う量が増える

計算が安くなると、それまでやらなかった使い方が始まり、全体の使用量はむしろ増える。技術の歴史では、よく起きてきたことです。推論が安くなっても、施設の需要が減るとは限りません。

いつ、がわからない

方向が正しくても、どの時期に、どの程度起きるかはわかりません。「数年後」が十年後になることもあります。

予想が当たるかどうかに関わらず、私の計画の立て方は同じです。

• いま大きく買わない：GPUは、需要が見えた分だけ買う。次の世代のボードが出たら、そちらに乗り換えられる余地を残す。
• 推論の部分を取り替えられるようにする：エージェントから見れば、GPUサーバーはAPIの一つにすぎない（ノート「NASでエージェントを回し、重い処理はGPUへ」）。中身のボードが変わっても、全体の作りは変えずに済む。
• 小さく、電力の小さい機械を並べる形を続ける：推論が手元に降りてくるなら、この形はそのまま強みになる。

予想が外れても困らない作り方をしておき、当たったら大きく得をする。個人がインフラを持つなら、その構えがいちばん合っていると思います。