Was es wirklich bedeutet, einen KI-Agenten selbst zu hosten: die vier Bausteine, Open-Source-Runtimes, ein vorsichtiges Wort zur Hardware und eine interaktive Sicherheits-Checkliste.
Ein selbst gehosteter KI-Agent läuft auf Hardware, die du kontrollierst, statt in der Cloud eines Anbieters. Du betreibst vier Bausteine selbst: eine Model-Runtime, die ein Open-Weight-Modell bereitstellt, einen Orchestrator, der die Agent-Schleife ausführt, die Tools, die er aufrufen darf, und einen Speicher. Der Gewinn ist die Kontrolle über deine Daten; der Preis ist, dass Sicherheit zu deiner Aufgabe wird.
Die vier Bausteine eines selbst gehosteten Agenten
Self-Hosting ist attraktiv für Unternehmen, die Kundendaten nicht an Dritte schicken dürfen oder feste Kosten statt Abrechnung pro Anfrage wollen. Es ist allerdings echte Engineering-Arbeit: Du patchst die Server, dimensionierst die Hardware und entscheidest, worauf der Agent zugreifen darf. Diese Seite erklärt jeden Baustein in einfachen Worten und endet mit einer Checkliste, die du abhaken kannst, bevor irgendetwas live geht.
Er kann es sein, weil Prompts und Daten auf Maschinen bleiben, die du kontrollierst. Das gilt aber nur, wenn auch Runtime, Logs und Backups privat bleiben und kein Tool still Daten an einen externen Dienst schickt.
Das hängt stark von der Modellgröße ab und davon, wie viele Leute ihn gleichzeitig nutzen, deshalb nennen wir keine Zahl. Als ein Anhaltspunkt: Die Installationsanleitung von vLLM nennt Linux und eine GPU mit Compute Capability 7.5 oder höher, während LocalAI sagt, dass keine GPU nötig ist. Teste zuerst auf gemieteter Hardware.
Manche Workflow-Tools lassen sich selbst hosten. n8n zum Beispiel bietet Self-Hosting unter seiner eigenen Sustainable Use License an, einer Fair-Code-Lizenz mit Einschränkungen, die sich von MIT oder Apache unterscheiden, also lies sie vor einer kommerziellen Nutzung.
Prompt Injection: Text, den der Agent liest, etwa eine E-Mail oder Webseite, der ihn dazu bringt, gegen dich zu handeln. OWASP führt es als erstes Risiko für Anwendungen mit Sprachmodellen auf. Begrenzte Tools und die Freigabe folgenreicher Aktionen durch einen Menschen sind die wichtigsten Gegenmittel.
Eine Skizze der Netzwerkidee, keine vollständige Bereitstellung. Nur der Orchestrator wird auf dem Host veröffentlicht; die Runtime hat keinen veröffentlichten Port.
Die Runtime liegt nur in einem internen Netzwerk ohne Verbindung nach außen; der Agent tritt diesem und dem Standardnetzwerk bei. Ersetze die Image-Namen durch die Runtime und den Agenten deiner Wahl.
Hake ab, was bereits zutrifft. Deine Häkchen bleiben nur in diesem Browser-Tab.
{n} von {v} erledigt
Alle Punkte sind abgehakt. Teste mit Testdaten, bevor echte Kunden ihn nutzen.
Alles zurücksetzen
Model-Runtime
Orchestrator
Speicher und Daten
Betrieb
Die API der Runtime ist nur vom Orchestrator aus erreichbar, nicht aus dem Internet.
Die Lizenz des Modells erlaubt deine kommerzielle Nutzung.
Du hast das Modell auf der Zielhardware unter realistischer Last getestet.
Die Agent-Schleife hat eine maximale Schrittzahl und ein Timeout.
Erstattungen, Löschungen, Zahlungen und ausgehende E-Mails warten auf das Ja eines Menschen.
Der Agent hat nur die Tools, die diese Aufgabe braucht.
Jedes Tool nutzt sein eigenes Konto oder seinen eigenen Schlüssel mit den engsten Berechtigungen.
Jeder MCP-Server und jedes Plugin stammt aus einer Quelle, der du vertraust und die du geprüft hast.
Gespeicherte Gespräche und Dokumente sind verschlüsselt und gesichert.
Du hast festgelegt, wie lange Gespräche aufbewahrt werden, und alte werden gelöscht.
Jeder Tool-Aufruf wird mit Eingaben und Ergebnis protokolliert.
Jemand ist für Updates von Runtime, Framework und Betriebssystem zuständig.
Es gibt eine namentlich benannte Person, die angerufen wird, wenn der Agent sich falsch verhält.
Kostenlos starten · Keine Kreditkarte nötig