Cosa comporta davvero ospitare in proprio un agente AI: le quattro parti, i runtime open source, una nota prudente sull'hardware e una checklist di sicurezza interattiva.
Un agente AI self-hosted gira su hardware che controlli tu invece che sul cloud di un fornitore. Gestisci da solo quattro parti: un runtime che serve un modello open-weight, un orchestratore che esegue il ciclo dell'agente, i tool che può chiamare e un archivio per la memoria. Il vantaggio è il controllo dei dati; il prezzo è che la sicurezza diventa compito tuo.
Le quattro parti di un agente self-hosted
Ospitare in proprio attira le aziende che non possono inviare i dati dei clienti a terzi, o che vogliono costi fissi invece di fatture per richiesta. Però è vero lavoro di ingegneria: aggiorni i server, dimensioni l'hardware e decidi cosa l'agente può toccare. Questa pagina percorre ogni parte con parole semplici e si chiude con una checklist da spuntare prima che qualcosa vada online.
Può esserlo, perché prompt e dati restano su macchine che controlli tu. Vale solo se anche runtime, log e backup restano privati, e se nessun tool invia di nascosto dati a un servizio esterno.
Dipende molto dalle dimensioni del modello e da quante persone lo usano contemporaneamente, quindi non daremo un numero. Come riferimento, la guida di installazione di vLLM indica Linux e una GPU con compute capability 7.5 o superiore, mentre LocalAI dice che non serve una GPU. Prova prima su hardware a noleggio.
Alcuni strumenti di workflow si possono ospitare in proprio. n8n, ad esempio, offre il self-hosting con la propria Sustainable Use License, una licenza fair-code con limiti diversi da MIT o Apache, quindi leggila prima di un uso commerciale.
La prompt injection: un testo che l'agente legge, come un'email o una pagina web, che lo inganna e lo fa agire contro di te. OWASP la mette al primo posto tra i rischi delle app basate su modelli linguistici. Limitare i tool e richiedere l'approvazione di una persona per le azioni ad alto impatto sono le difese principali.
Uno schema dell'idea di rete, non un deployment completo. Solo l'orchestratore è pubblicato sull'host; il runtime non ha porte pubblicate.
Il runtime sta solo su una rete interna senza uscita verso l'esterno; l'agente si collega a quella rete e alla rete predefinita. Sostituisci i nomi delle immagini con il runtime e l'agente che hai scelto.
Spunta ciò che è già vero. Le tue spunte restano solo in questa scheda del browser.
{n} su {v} completati
Hai spuntato tutte le voci. Provalo su dati di prova prima che lo usino clienti reali.
Cancella tutto
Runtime del modello
Orchestratore
Memoria e dati
Gestione
La API del runtime è raggiungibile solo dall'orchestratore, non da internet.
La licenza del modello consente il tuo uso commerciale.
Hai provato il modello sull'hardware di destinazione con un carico realistico.
Il ciclo dell'agente ha un numero massimo di passaggi e un timeout.
Rimborsi, eliminazioni, pagamenti ed email in uscita aspettano il sì di una persona.
L'agente ha solo i tool necessari per questo compito.
Ogni tool usa un proprio account o una propria chiave con i permessi più ristretti.
Ogni server MCP o plugin proviene da una fonte di cui ti fidi e che hai verificato.
Le conversazioni e i documenti memorizzati sono cifrati e hanno un backup.
Hai deciso per quanto tempo conservare le conversazioni, e quelle vecchie vengono eliminate.
Ogni chiamata ai tool viene registrata con i suoi input e il risultato.
Qualcuno è responsabile degli aggiornamenti di runtime, framework e sistema operativo.
C'è una persona designata da chiamare quando l'agente si comporta male.
Inizia gratis · Nessuna carta di credito richiesta