AI エージェントのセルフホストに実際に必要なこと。4つの構成要素、オープンソースのランタイム、ハードウェアについての注意点、対話式のセキュリティチェックリストを紹介します。
セルフホスト AI エージェントは、ベンダーのクラウドではなく自分が管理するハードウェアで動作します。4つの部分を自分で運用します。オープンウェイトのモデルを提供するモデルランタイム、エージェントのループを実行するオーケストレーター、呼び出せるツール、そしてメモリストアです。得られるのはデータの管理権で、代わりにセキュリティが自分の仕事になります。
セルフホストエージェントの4つの構成要素
セルフホストは、顧客記録を第三者に送れない企業や、リクエストごとの請求ではなく固定費にしたい企業に向いています。ただし、本格的なエンジニアリング作業が必要です。サーバーにパッチを当て、ハードウェアの規模を決め、エージェントが触れてよい範囲を決めるのは自分です。このページでは各構成要素を分かりやすく説明し、本番公開前に確認できるチェックリストで締めくくります。
プロンプトとデータが自分の管理するマシンに留まるため、その可能性はあります。ただしそれが成り立つのは、ランタイム、ログ、バックアップも非公開に保たれ、外部サービスにこっそりデータを送るツールがない場合に限ります。
モデルの規模と同時利用者数に大きく左右されるため、具体的な数字は挙げません。参考までに、vLLM のインストールガイドには Linux と計算能力7.5以上の GPU が記載されており、LocalAI は GPU は不要としています。まずはレンタルのハードウェアでテストしてください。
一部のワークフローツールはセルフホストできます。たとえば n8n は独自の Sustainable Use License のもとでセルフホストを提供しています。これは MIT や Apache とは異なる制限のあるフェアコードライセンスなので、商用利用の前に読んでください。
プロンプトインジェクションです。メールやウェブページなど、エージェントが読んだテキストによって、エージェントがあなたに不利な行動をとるよう仕向けられることです。OWASP は言語モデルアプリのリスクの筆頭にこれを挙げています。主な対策は、ツールを制限し、影響の大きい操作には人の承認を必須にすることです。
完全なデプロイではなく、ネットワーク構成の考え方を示したスケッチです。ホストに公開されるのはオーケストレーターだけで、ランタイムには公開ポートがありません。
ランタイムは外部への経路がない内部ネットワークにだけ置かれ、エージェントはそのネットワークとデフォルトネットワークの両方に参加します。イメージ名は選んだランタイムとエージェントに置き換えてください。
すでに満たしている項目にチェックを付けてください。チェックはこのブラウザータブ内にだけ保存されます。
{v}項目中{n}項目完了
すべての項目にチェックが付きました。実際のお客様が使う前に、テストデータで運用してください。
すべてクリア
モデルランタイム
オーケストレーター
メモリとデータ
運用
ランタイムの API には、インターネットからではなくオーケストレーターからしかアクセスできない。
モデルのライセンスが自社の商用利用を認めている。
対象のハードウェアで、現実的な負荷をかけてモデルをテストした。
エージェントのループに最大ステップ数とタイムアウトがある。
返金、削除、支払い、メール送信は、人の承認を待ってから実行される。
エージェントには、この仕事に必要なツールだけがある。
各ツールは、最小限の権限を持つ専用のアカウントまたはキーを使っている。
すべての MCP サーバーやプラグインは、信頼でき、確認済みの提供元のものである。
保存された会話とドキュメントは暗号化され、バックアップされている。
会話の保存期間を決めており、古いものは削除されている。
すべてのツール呼び出しが、入力と結果とともにログに記録されている。
ランタイム、フレームワーク、OS の更新を担当する人がいる。
エージェントがおかしな動作をしたときに連絡する担当者が決まっている。
無料で始める · クレジットカード不要