Co naprawdę oznacza self-hosting agenta AI: cztery elementy, środowiska open source, ostrożne słowo o sprzęcie i interaktywna lista kontrolna bezpieczeństwa.
Agent AI w self-hostingu działa na sprzęcie, który kontrolujesz, zamiast w chmurze dostawcy. Samodzielnie utrzymujesz cztery elementy: środowisko uruchomieniowe modelu, które serwuje model z otwartymi wagami, orkiestrator wykonujący pętlę agenta, narzędzia, które agent może wywoływać, i magazyn pamięci. Zyskujesz kontrolę nad danymi, a płacisz tym, że bezpieczeństwo staje się Twoim zadaniem.
Cztery elementy agenta w self-hostingu
Self-hosting przyciąga firmy, które nie mogą wysyłać danych klientów do podmiotów trzecich albo wolą stałe koszty zamiast rachunków za każde zapytanie. To jednak prawdziwa praca inżynierska: aktualizujesz serwery, dobierasz sprzęt i decydujesz, czego agent może dotykać. Ta strona omawia każdy element prostymi słowami i kończy się listą kontrolną, którą możesz odhaczyć, zanim cokolwiek trafi na produkcję.
Może być, bo prompty i dane zostają na maszynach, które kontrolujesz. To jednak prawda tylko wtedy, gdy środowisko uruchomieniowe, logi i kopie zapasowe też są prywatne i żadne narzędzie po cichu nie wysyła danych do zewnętrznej usługi.
To mocno zależy od rozmiaru modelu i liczby osób korzystających z niego jednocześnie, więc nie podamy liczby. Jako jeden punkt odniesienia: przewodnik instalacji vLLM wymienia Linuksa i GPU o compute capability 7.5 lub wyższej, a LocalAI podaje, że GPU nie jest wymagane. Najpierw przetestuj na wynajętym sprzęcie.
Niektóre narzędzia do workflow można hostować samodzielnie. n8n oferuje na przykład self-hosting na własnej licencji Sustainable Use License, licencji typu fair-code z ograniczeniami innymi niż MIT czy Apache, więc przeczytaj ją przed użyciem komercyjnym.
Prompt injection: tekst czytany przez agenta, na przykład e-mail lub strona internetowa, który podstępem skłania go do działania przeciwko Tobie. OWASP umieszcza je na pierwszym miejscu wśród ryzyk aplikacji opartych na modelach językowych. Główne zabezpieczenia to ograniczenie narzędzi i wymaganie zgody człowieka na działania o dużym wpływie.
Szkic idei sieciowej, a nie pełne wdrożenie. Na hoście publikowany jest tylko orkiestrator, a środowisko uruchomieniowe nie ma opublikowanego portu.
Środowisko uruchomieniowe znajduje się tylko w sieci wewnętrznej bez wyjścia na zewnątrz, a agent dołącza do niej i do sieci domyślnej. Zastąp nazwy obrazów wybranym środowiskiem uruchomieniowym i agentem.
Zaznacz to, co już jest spełnione. Twoje zaznaczenia zostają tylko w tej karcie przeglądarki.
Gotowe: {n} z {v}
Wszystkie punkty są zaznaczone. Uruchom agenta na danych testowych, zanim skorzystają z niego prawdziwi klienci.
Wyczyść wszystko
Środowisko uruchomieniowe modelu
Orkiestrator
Pamięć i dane
Utrzymanie
API środowiska uruchomieniowego jest dostępne tylko z orkiestratora, a nie z internetu.
Licencja modelu pozwala na Twoje użycie komercyjne.
Model został przetestowany na docelowym sprzęcie pod realistycznym obciążeniem.
Pętla agenta ma maksymalną liczbę kroków i limit czasu.
Zwroty, usunięcia, płatności i wychodzące e-maile czekają na zgodę człowieka.
Agent ma tylko narzędzia potrzebne do tego zadania.
Każde narzędzie używa własnego konta lub klucza z najwęższymi uprawnieniami.
Każdy serwer MCP lub wtyczka pochodzi z zaufanego i sprawdzonego przez Ciebie źródła.
Przechowywane rozmowy i dokumenty są szyfrowane i mają kopie zapasowe.
Ustaliłeś, jak długo przechowywać rozmowy, a stare są usuwane.
Każde wywołanie narzędzia jest logowane wraz z danymi wejściowymi i wynikiem.
Ktoś odpowiada za aktualizacje środowiska uruchomieniowego, frameworka i systemu operacyjnego.
Jest wskazana osoba, do której dzwonisz, gdy agent zachowuje się źle.
Zacznij za darmo · Bez karty kredytowej