NASで、AIを動かせるか
NASの中でも上位の機種、たとえばUGREENのDXP6800 Proのような機種なら、CPUもメモリも余裕があります。これで、ちょっとしたAIのエージェントを動かせないか。さらに、外付けのグラフィックボードをつなげば、手元でAIの推論もできるのではないか。
考えた結論は、エージェントはNASで回す。重い推論は、NASではなく、別のGPUサーバーでやる、です。
NASに、グラフィックボードはつなげるか
Thunderboltのような高速な端子を持つ機種なら、外付けのケースに入れたグラフィックボードをつなぐ、という発想は浮かびます。ただ、次の理由から、この計画では採りません。
- ドライバの問題:NASのOSが、外付けのグラフィックボードや、そのAI向けのソフトウェアに対応しているとは限らない。
- 通り道の細さ:外付けの接続は、本体に直接差すのに比べて帯域が細い。
- 複数枚にできない:NASに何枚もつなぐのは現実的ではなく、あとから増やせない。
NASは、24時間止めずに動かすための機械です。電気を大量に使い、熱を出すグラフィックボードは、止まってもいい別の機械にまとめるほうが、全体の設計として素直です。
GPUは、専用のサーバーに並べる
重い処理は、RX 9060 XTを並べた専用のGPUサーバーでやる計画です。16GBのメモリを積んだモデルなら、1枚あたりに載せられるモデルも大きくなります。
ただし、AI向けのソフトウェアは、NVIDIAのCUDAを中心に作られてきました。AMDのRadeonでは、ROCmという仕組みを使いますが、対応するカードやソフトウェアの範囲は、バージョンによって変わります。使いたいソフトが、そのカードで動くかを先に確かめるのが前提です。
TODO:RX 9060 XTでの、ROCmと使いたい推論ソフトの対応状況を、その時点の公式情報で確認して追記する。
エージェントは、司令塔
ここでいうエージェントは、人が一回ずつ指示しなくても、決まった仕事を自分で順に進めていくAIの仕組みです。OpenClawのような、個人で動かせるエージェントを、NASで常駐させます。
エージェント自身は、重い計算をしません。仕事の中身に応じて、次のように振り分ける司令塔です。
| 仕事 | 振る先 |
|---|---|
| 高度な判断、長い文脈の推論 | クラウドのAIのAPI |
| 量の多い定型的な処理 | 自前のGPUサーバーのAPI |
| データの読み書き、決まった手順 | NASの中の自分のシステム |
自前のGPUサーバーは、外に公開せず、NASから呼ぶ内部のAPIとして置きます。GPUサーバーが止まっていても、エージェントは、ほかの仕事を進めるか、クラウドのAPIに回せばいい。どこか一つが止まっても、全体は止まりません(考察「ローカルLLMと、AIの使い分け」)。
エージェントに、権限を与えすぎない
エージェントは、自分で判断して手を動かします。だからこそ、できることを必要な範囲に絞るのが大事です。
- エージェントは、隔離したコンテナの中で動かす。
- 触れてよいファイルやデータベースを限る。消す・送るといった取り返しのつかない操作は、人の確認を挟む。
- APIの鍵は、エージェントの手の届く場所に平文で置かない。使える金額にも上限をかける。
- エージェントがしたことは、記録に残す。