Self-hosted KI-Agent: Was du betreibst und was du absichern musst

Self-hosted KI-Agent: Leitfaden und Checkliste

Self-hosted KI-Agent: Bausteine, Hardware und Sicherheit | We.Inc

Was es wirklich bedeutet, einen KI-Agenten selbst zu hosten: die vier Bausteine, Open-Source-Runtimes, ein vorsichtiges Wort zur Hardware und eine interaktive Sicherheits-Checkliste.

Ein selbst gehosteter KI-Agent läuft auf Hardware, die du kontrollierst, statt in der Cloud eines Anbieters. Du betreibst vier Bausteine selbst: eine Model-Runtime, die ein Open-Weight-Modell bereitstellt, einen Orchestrator, der die Agent-Schleife ausführt, die Tools, die er aufrufen darf, und einen Speicher. Der Gewinn ist die Kontrolle über deine Daten; der Preis ist, dass Sicherheit zu deiner Aufgabe wird.

Die vier Bausteine eines selbst gehosteten Agenten

  • Baustein
  • Was er tut
  • Open-Source-Beispiele
  • Model-Runtime
  • Lädt ein Modell und beantwortet Anfragen über eine lokale API
  • vLLM, LocalAI
  • Orchestrator
  • Führt die Schleife aus: Modell fragen, Tool aufrufen, Ergebnis zurückgeben
  • LangGraph, CrewAI, smolagents, n8n
  • Tools
  • Funktionen oder MCP-Server, die der Agent aufrufen darf
  • Filesystem MCP Server, deine eigenen Skripte
  • Speicher
  • Speichert Gespräche, Dokumente und Zustand
  • Eine Datenbank, die du schon betreibst

Self-Hosting ist attraktiv für Unternehmen, die Kundendaten nicht an Dritte schicken dürfen oder feste Kosten statt Abrechnung pro Anfrage wollen. Es ist allerdings echte Engineering-Arbeit: Du patchst die Server, dimensionierst die Hardware und entscheidest, worauf der Agent zugreifen darf. Diese Seite erklärt jeden Baustein in einfachen Worten und endet mit einer Checkliste, die du abhaken kannst, bevor irgendetwas live geht.

  • Wähle ein Open-Weight-Modell, dessen Lizenz deine Nutzung erlaubt, und eine Runtime, die es auf deiner Hardware bereitstellen kann.
  • Wähle einen Orchestrator in einer Sprache, die dein Team pflegen kann.
  • Gib dem Agenten so wenige Tools wie möglich für die Aufgabe, jedes mit den engsten möglichen Berechtigungen.
  • Arbeite die Checkliste unten durch und lass ihn dann eine Weile mit Testdaten laufen, bevor echte Kunden ihn sehen.
  • Halte die Model-Runtime vom öffentlichen Internet fern; nur der Orchestrator darf mit ihr sprechen.
  • Protokolliere jeden Tool-Aufruf mit seinen Eingaben, damit du sehen kannst, was der Agent getan hat und warum.
  • Dimensioniere die Hardware, indem du dein gewähltes Modell zuerst auf einer gemieteten Maschine testest, bevor du etwas kaufst.
  • Lies die Lizenz des Modells so sorgfältig wie die der Software; offene Gewichte heißen nicht immer, dass jede Nutzung erlaubt ist.
  • Plane, wer nachts alarmiert wird, wenn etwas kaputtgeht. Self-hosted heißt: Sonst merkt es niemand.

Häufige Fragen

Ist ein selbst gehosteter Agent privater?

Er kann es sein, weil Prompts und Daten auf Maschinen bleiben, die du kontrollierst. Das gilt aber nur, wenn auch Runtime, Logs und Backups privat bleiben und kein Tool still Daten an einen externen Dienst schickt.

Welche Hardware brauche ich?

Das hängt stark von der Modellgröße ab und davon, wie viele Leute ihn gleichzeitig nutzen, deshalb nennen wir keine Zahl. Als ein Anhaltspunkt: Die Installationsanleitung von vLLM nennt Linux und eine GPU mit Compute Capability 7.5 oder höher, während LocalAI sagt, dass keine GPU nötig ist. Teste zuerst auf gemieteter Hardware.

Kann ich statt Code zu schreiben ein No-Code-Agent-Tool selbst hosten?

Manche Workflow-Tools lassen sich selbst hosten. n8n zum Beispiel bietet Self-Hosting unter seiner eigenen Sustainable Use License an, einer Fair-Code-Lizenz mit Einschränkungen, die sich von MIT oder Apache unterscheiden, also lies sie vor einer kommerziellen Nutzung.

Was ist das größte Sicherheitsrisiko?

Prompt Injection: Text, den der Agent liest, etwa eine E-Mail oder Webseite, der ihn dazu bringt, gegen dich zu handeln. OWASP führt es als erstes Risiko für Anwendungen mit Sprachmodellen auf. Begrenzte Tools und die Freigabe folgenreicher Aktionen durch einen Menschen sind die wichtigsten Gegenmittel.

Warum Runtime und Agent getrennt sind

  • Die Runtime beantwortet nur die Frage "Was kommt nach diesem Text?". Sie hat keine Ahnung, was eine Bestellung oder eine Buchung ist. Der Orchestrator macht aus diesen Antworten Aktionen, indem er die Tool-Anfrage des Modells liest, das Tool ausführt und das Ergebnis zurückgibt.
  • Weil beide getrennt sind, kannst du das Modell austauschen, ohne den Agenten neu zu schreiben, und die Runtime in einem privaten Netzwerk wegsperren, während der Orchestrator die Außenwelt übernimmt.

Sicherheit ist der Teil, den viele überspringen

  • OWASP nennt Excessive Agency als Kernrisiko: ein Agent mit zu vielen Funktionen, zu vielen Berechtigungen oder zu viel Autonomie. In einem selbst gehosteten Setup legst du alle drei fest, also setz sie niedrig an.
  • Die Sicherheitsempfehlungen des MCP-Projekts ergänzen einen Punkt speziell für lokale Tool-Server: Sie laufen auf deiner Maschine mit deinen Rechten, installiere also nur solche aus vertrauenswürdigen Quellen und prüfe, was jeder einzelne tun kann.

Die Runtime privat halten

Eine Skizze der Netzwerkidee, keine vollständige Bereitstellung. Nur der Orchestrator wird auf dem Host veröffentlicht; die Runtime hat keinen veröffentlichten Port.

Gerüst einer docker-compose.yml

Die Runtime liegt nur in einem internen Netzwerk ohne Verbindung nach außen; der Agent tritt diesem und dem Standardnetzwerk bei. Ersetze die Image-Namen durch die Runtime und den Agenten deiner Wahl.

Sicherheits-Checkliste für selbst gehostete Agenten

Hake ab, was bereits zutrifft. Deine Häkchen bleiben nur in diesem Browser-Tab.

{n} von {v} erledigt

Alle Punkte sind abgehakt. Teste mit Testdaten, bevor echte Kunden ihn nutzen.

Alles zurücksetzen

Model-Runtime

Orchestrator

Speicher und Daten

Betrieb

Die API der Runtime ist nur vom Orchestrator aus erreichbar, nicht aus dem Internet.

Die Lizenz des Modells erlaubt deine kommerzielle Nutzung.

Du hast das Modell auf der Zielhardware unter realistischer Last getestet.

Die Agent-Schleife hat eine maximale Schrittzahl und ein Timeout.

Erstattungen, Löschungen, Zahlungen und ausgehende E-Mails warten auf das Ja eines Menschen.

Der Agent hat nur die Tools, die diese Aufgabe braucht.

Jedes Tool nutzt sein eigenes Konto oder seinen eigenen Schlüssel mit den engsten Berechtigungen.

Jeder MCP-Server und jedes Plugin stammt aus einer Quelle, der du vertraust und die du geprüft hast.

Gespeicherte Gespräche und Dokumente sind verschlüsselt und gesichert.

Du hast festgelegt, wie lange Gespräche aufbewahrt werden, und alte werden gelöscht.

Jeder Tool-Aufruf wird mit Eingaben und Ergebnis protokolliert.

Jemand ist für Updates von Runtime, Framework und Betriebssystem zuständig.

Es gibt eine namentlich benannte Person, die angerufen wird, wenn der Agent sich falsch verhält.

Kostenlos starten · Keine Kreditkarte nötig

Verwandt: Ratgeber

Produkt

Für wen

Funktionen

Ressourcen

Unternehmen

Sitemap