ローカルLLMに、何を任せるか
構想の中には、GPUを並べたクラスタがあります。手元でAIを動かす、いわゆるローカルLLMです。では、それで何をするのか。
正直に言えば、最上位のAIと同じ精度と一貫性を、手元のGPUだけで出すのは、まだ難しいと考えています。それでも、ローカルLLMを持つ意味は十分にあります。
高度な推論が、本当に要る場面
そもそも、最上位のAIの力が本当に要る場面は、それほど多くありません。コードの開発、研究、長編小説のプロットづくり。長い文脈を抱えたまま、矛盾なく考え続ける必要がある仕事です。
一方で、日々の処理の多くは、決まった形の文章を読んで分類する、要約する、決まった手順で道具を呼び出す、といった仕事です。こうした仕事は、手元のモデルとエージェントの組み合わせで、十分に回せると見ています。
段階ごとに、使うAIを分ける
私は、仕事の段階ごとに、使うAIを分けています。
| 段階 | 使うもの | 考え方 |
|---|---|---|
| 書く | GeminiとClaudeのSonnet | コードを書かせ、こちらが指摘して直させる。無料の枠や安いモデルで十分。 |
| 確かめる | 長い文脈を扱えるモデル（Kimiなど） | 完成したシステムの依存関係や矛盾を洗い出す。この段階になってから課金する。 |
| 回す | 手元のGPUで動かすモデル | 日々の定型的な処理やエージェントを、回数を気にせず回す。 |
ポイントは、書く役と、矛盾を探す役を分けることです。書いたAIに自分の書いたものを確かめさせても、同じ思い込みで見逃しがちです。別の性格のAIに見せるほうが、穴が見つかります。
そして、お金をかけるのは、効果がはっきりする段階になってからです。システムどうしが複雑に絡み合い、破綻なく動くかを確かめる段階で、初めて高いモデルに課金します。
TODO：使っているモデル名は変わりやすい。公開前に、その時点で使っているモデル名に合わせて確認する。
手元で回すことの利点
- 回数に比例して請求が増えない：APIは使うほど請求が増える。エージェントのように何度も呼び出す仕事ほど、手元で回す意味が大きい。
- データを外に出さない：アクセスの記録や、公開前のコードを、外部のサービスに送らずに済む。
- 急がない仕事は、電気の余る時間に：待ち行列に積んでおき、太陽光で電気が余っている昼にまとめて回せる（連載の第6回）。
GPUは、止まってもいい場所に置く
手元のAIは、NASから呼び出す内部の道具として、独立させておきます。AIの処理が止まっても、Webサイトやデータベースは止まらない。GPUは、止まってもいい場所に置く。そうしておけば、GPUを必要なときだけ動かす運用とも噛み合います。
個人は、お金も時間も限られています。だからこそ、どこに最上位のAIを使い、どこを手元で回すかを突き詰めることになります。制約が、使い分けの工夫を生んでいるのだと思います。