NASで、AIを動かせるか

NASの中でも上位の機種、たとえばUGREENのDXP6800 Proのような機種なら、CPUもメモリも余裕があります。これで、ちょっとしたAIのエージェントを動かせないか。さらに、外付けのグラフィックボードをつなげば、手元でAIの推論もできるのではないか。

考えた結論は、エージェントはNASで回す。重い推論は、NASではなく、別のGPUサーバーでやる、です。

NASに、グラフィックボードはつなげるか

Thunderboltのような高速な端子を持つ機種なら、外付けのケースに入れたグラフィックボードをつなぐ、という発想は浮かびます。ただ、次の理由から、この計画では採りません。

  • ドライバの問題:NASのOSが、外付けのグラフィックボードや、そのAI向けのソフトウェアに対応しているとは限らない。
  • 通り道の細さ:外付けの接続は、本体に直接差すのに比べて帯域が細い。
  • 複数枚にできない:NASに何枚もつなぐのは現実的ではなく、あとから増やせない。

NASは、24時間止めずに動かすための機械です。電気を大量に使い、熱を出すグラフィックボードは、止まってもいい別の機械にまとめるほうが、全体の設計として素直です。

GPUは、専用のサーバーに並べる

重い処理は、RX 9060 XTを並べた専用のGPUサーバーでやる計画です。16GBのメモリを積んだモデルなら、1枚あたりに載せられるモデルも大きくなります。

ただし、AI向けのソフトウェアは、NVIDIAのCUDAを中心に作られてきました。AMDのRadeonでは、ROCmという仕組みを使いますが、対応するカードやソフトウェアの範囲は、バージョンによって変わります。使いたいソフトが、そのカードで動くかを先に確かめるのが前提です。

TODO:RX 9060 XTでの、ROCmと使いたい推論ソフトの対応状況を、その時点の公式情報で確認して追記する。

エージェントは、司令塔

ここでいうエージェントは、人が一回ずつ指示しなくても、決まった仕事を自分で順に進めていくAIの仕組みです。OpenClawのような、個人で動かせるエージェントを、NASで常駐させます。

エージェント自身は、重い計算をしません。仕事の中身に応じて、次のように振り分ける司令塔です。

エージェントが仕事を振る先
仕事振る先
高度な判断、長い文脈の推論クラウドのAIのAPI
量の多い定型的な処理自前のGPUサーバーのAPI
データの読み書き、決まった手順NASの中の自分のシステム

自前のGPUサーバーは、外に公開せず、NASから呼ぶ内部のAPIとして置きます。GPUサーバーが止まっていても、エージェントは、ほかの仕事を進めるか、クラウドのAPIに回せばいい。どこか一つが止まっても、全体は止まりません(考察「ローカルLLMと、AIの使い分け」)。

エージェントに、権限を与えすぎない

エージェントは、自分で判断して手を動かします。だからこそ、できることを必要な範囲に絞るのが大事です。

  • エージェントは、隔離したコンテナの中で動かす。
  • 触れてよいファイルやデータベースを限る。消す・送るといった取り返しのつかない操作は、人の確認を挟む。
  • APIの鍵は、エージェントの手の届く場所に平文で置かない。使える金額にも上限をかける。
  • エージェントがしたことは、記録に残す。