L'IA in locale è un modello di intelligenza artificiale che gira su un computer o su un server sotto il tuo controllo, invece che sui server di un fornitore esterno. I documenti e le domande che gli passi restano dentro il tuo perimetro: non viaggiano verso servizi di terzi. È una scelta su dove tenere i dati, utile soprattutto a chi tratta informazioni riservate.
Se usi ChatGPT, Gemini o Claude dal browser, stai usando un'IA in cloud: il modello vive altrove e tu gli mandi il testo via internet. In questa guida vediamo come funziona la versione locale, perché interessa a chi si occupa di privacy, che cosa dicono GDPR e AI Act, quali limiti ha e quando non vale la pena. Trovi anche un esempio ipotetico, i passi per cominciare e le domande più frequenti.
Come funziona l'IA in locale?
Un modello linguistico (in inglese LLM, Large Language Model) è un programma addestrato su enormi quantità di testo, che sa continuare e rielaborare un testo. Quando gli fai una domanda, il computer che lo esegue fa un'operazione chiamata inferenza: calcola la risposta parola per parola. In cloud quel calcolo avviene nei data center del fornitore. In locale avviene su una macchina tua, che può stare in ufficio oppure in un server dedicato a te.
Per girare in locale servono modelli che puoi scaricare ed eseguire sul tuo hardware, di solito open source (il codice e i pesi del modello sono pubblici). Secondo la pagina di Hexagon Sistemi, tra i nomi più usati ci sono Llama, Mistral, Qwen e DeepSeek. Strumenti come Ollama non creano né addestrano i modelli: li scaricano, li avviano e li rendono utilizzabili tramite un'interfaccia o un server locale, come spiega Data Masters.
Una tecnica molto usata nelle aziende si chiama RAG (Retrieval-Augmented Generation). In pratica il sistema, prima di rispondere, cerca nei tuoi documenti i passaggi pertinenti e li dà al modello come materiale di lavoro. Così le risposte si basano sui tuoi file e possono indicare da quale documento arrivano, senza bisogno di riaddestrare il modello.
Perché l'IA in locale conta per la privacy?
Ogni volta che scrivi in un assistente IA un nome, un indirizzo, un dato di salute o il testo di un contratto con dati di clienti, stai trattando dati personali. Con un servizio in cloud quei dati passano a un fornitore esterno. Il GDPR (il regolamento europeo sulla protezione dei dati) chiede in quel caso di sapere chi tratta cosa, con quale base giuridica e con quali garanzie. Il fornitore, di solito, diventa responsabile del trattamento e serve un accordo scritto ai sensi dell'articolo 28 del GDPR.
Con un modello locale il percorso del dato è più corto: resta nel tuo sistema. Questo riduce i soggetti coinvolti, semplifica il registro dei trattamenti e rende più facile spiegare ai clienti dove finiscono le loro informazioni. È il motivo per cui l'IA in locale interessa a studi legali, commercialisti, cliniche e piccole imprese con dati sensibili.
L'attenzione delle autorità sul tema è concreta. Il 20 dicembre 2024 il Garante per la protezione dei dati personali ha sanzionato OpenAI con 15 milioni di euro, contestando tra l'altro la base giuridica del trattamento, l'informativa agli utenti e la verifica dell'età, secondo la sintesi dell'avvocata Luisa Di Giacomo su Diritto.it. Il caso riguarda un grande fornitore, ma mostra che le domande su dove vanno i dati e con quale giustificazione non sono teoriche.
Un punto da tenere a mente: il locale riduce l'esposizione dei dati verso fornitori esterni, ma da solo non garantisce sicurezza, qualità delle risposte o conformità, come ricorda lo stesso Data Masters. Restano da proteggere gli accessi, i backup e i log. Restano anche rischi come la prompt injection (istruzioni malevole nascoste in un documento o in una pagina web, che il modello legge ed esegue).
IA in locale e AI Act: cosa cambia?
L'AI Act è il regolamento europeo sull'intelligenza artificiale. Far girare il modello in casa non ti esonera dalle sue regole, perché gli obblighi dipendono da come usi il sistema, non da dove sta il server. Il calendario, dopo il pacchetto di semplificazione chiamato Digital Omnibus, è questo secondo PMI.it e EffeDiligence:
- dal 2 febbraio 2025 valgono i divieti sulle pratiche vietate e l'obbligo di alfabetizzazione IA (articolo 4);
- dal 2 agosto 2026 si applicano gli obblighi di trasparenza dell'articolo 50, per esempio dire a chi parla con un chatbot che sta parlando con una macchina;
- dal 2 dicembre 2026 si aggiunge la marcatura leggibile dalle macchine dei contenuti generati dall'IA;
- dal 2 dicembre 2027 tocca ai sistemi ad alto rischio dell'Allegato III, per esempio quelli usati nella gestione del personale.
Se vuoi approfondire due pezzi del puzzle, abbiamo già scritto di alfabetizzazione IA e articolo 4 e del decreto IA 160/2026 per le piccole imprese. Per prepararti con la formazione c'è la pagina sulla formazione sull'AI Act. Questo testo è informativo e non sostituisce il parere di un avvocato o del tuo DPO (il responsabile della protezione dei dati).
Quali vantaggi ha l'IA in locale oltre alla privacy?
Secondo l'analisi di Paolo Ceravolo su AgendaDigitale (27 gennaio 2026), i vantaggi principali sono quattro. Il primo riguarda i costi: dopo l'investimento iniziale in hardware pesano soprattutto l'energia e la manutenzione, invece di un conto che cresce con ogni parola elaborata (i fornitori in cloud fanno pagare a token, cioè a frammenti di testo). Il secondo è la stabilità: un modello scaricato resta quello, mentre un servizio in cloud può cambiare senza preavviso. Il terzo è la rapidità e la possibilità di lavorare anche senza connessione. Il quarto è l'indipendenza da un singolo fornitore.
Quali sono i limiti dell'IA in locale?
La stessa analisi elenca limiti che conviene conoscere prima di partire. I modelli locali non hanno informazioni aggiornate in tempo reale. I modelli in cloud più grandi restano superiori nei ragionamenti molto complessi. Il cloud si adatta meglio ai picchi di lavoro imprevedibili. Serve inoltre qualcuno con competenze tecniche per installare, aggiornare e controllare il sistema.
La soluzione che molti esperti indicano è un approccio ibrido: il locale per i compiti ripetitivi e sensibili, il cloud per le richieste generiche che non toccano dati riservati.
Che hardware serve per un'IA in locale?
Il pezzo che conta è la scheda grafica (GPU), perché è lei a fare i calcoli del modello. Conta soprattutto la sua memoria, chiamata VRAM. Più il modello è grande, più VRAM serve. Esiste una tecnica, la quantizzazione, che comprime il modello per farlo stare in meno memoria con una perdita di precisione che per molti compiti è accettabile.
Come ordine di grandezza, AgendaDigitale cita una workstation da circa 4.000 euro con una GPU da 24 GB di VRAM capace di far girare un modello di fascia media quantizzato. Per i modelli più grandi servono più schede insieme. Per una vera messa in produzione conta il dimensionamento sull'uso reale: quante persone lavorano, su quali documenti, con quali tempi di risposta.
Un esempio concreto: quando ha senso?
Esempio ipotetico. Uno studio professionale con otto persone riceve ogni giorno contratti, buste paga e documenti d'identità dei clienti. Vuole un assistente che riassuma i documenti e risponda a domande tipo "in quale contratto compare la clausola di recesso?". Mandare tutto a un servizio esterno significherebbe valutare fornitore, trasferimenti di dati e accordi scritti per ogni strumento. Con un sistema locale con RAG sui propri archivi, i documenti non escono dallo studio e le risposte citano il file di origine.
Quando l'IA in locale non serve?
Capita più spesso di quanto si pensi, quindi meglio dirlo chiaramente:
- se usi l'IA per testi pubblici, come idee per post o bozze di newsletter senza dati di clienti, un servizio in cloud con le impostazioni giuste basta;
- se la usi poche volte al mese, l'hardware e la manutenzione non si ripagano;
- se nessuno può occuparsi del sistema, un servizio gestito è più sicuro di una macchina lasciata senza aggiornamenti;
- se ti serve la massima capacità di ragionamento su compiti complessi, i modelli in cloud più grandi oggi restano un passo avanti.
Come si comincia con l'IA in locale?
- Elenca che dati tratti e quali sono personali o riservati.
- Scegli un solo caso d'uso con un risultato misurabile, per esempio riassumere pratiche o cercare informazioni nei tuoi archivi.
- Prova un pilota su documenti reali o molto simili ai tuoi, con poche persone.
- Controlla la qualità delle risposte a mano, confrontandole con quelle di chi conosce i documenti.
- Decidi dove far girare il sistema: nella tua sede, su un server dedicato in un data center europeo oppure in un ambiente privato condiviso tra più sedi.
- Coinvolgi il DPO o il consulente legale per la valutazione finale di conformità.
Cosa fa Sarabi.Cloud su IA in locale e privacy?
Sulla pagina IA in locale e privacy trovi come lavoriamo: modelli di IA locali e LLM privati per studi professionali, cliniche e piccole e medie imprese che trattano dati sensibili, con tre modalità di installazione (nella tua sede, su server dedicato o in private cloud). Prevediamo un RAG privato sui tuoi documenti, un accordo ai sensi dell'articolo 28 del GDPR allegato al preventivo e log degli accessi. La tariffa è forfettaria, senza costi per token o per utilizzo. Il primo passo è una demo su documenti simili ai tuoi, anche con la rete scollegata. La valutazione finale di conformità resta al tuo DPO o al consulente legale. Se il tuo bisogno è più ampio, guarda anche la pagina sulle automazioni e IA.
Domande frequenti sull'IA in locale
L'IA in locale è gratuita? I modelli open source si scaricano senza pagare, ma servono hardware, energia, installazione e manutenzione. Il costo vero dipende dalla macchina e da quante persone la usano.
Serve internet per usarla? Per far girare il modello no: è uno dei vantaggi. Serve connessione se vuoi aggiornamenti o informazioni recenti, perché il modello da solo non le ha.
È più sicura di ChatGPT? Riduce il numero di soggetti che vedono i tuoi dati. La sicurezza complessiva dipende però da accessi, aggiornamenti e controlli intorno al modello.
Posso usarla senza un programmatore? Per provare sul proprio computer esistono strumenti semplici. Per un uso in azienda con più persone e documenti riservati conviene farsi seguire da chi imposta e mantiene il sistema.
Con l'IA in locale sono in regola con l'AI Act? No, non in automatico. Gli obblighi dipendono dall'uso che ne fai: trasparenza verso chi interagisce con la macchina, alfabetizzazione di chi la usa e, in certi casi, regole per i sistemi ad alto rischio.
Hai documenti riservati e vorresti usare l'IA senza mandarli fuori dall'azienda? Scrivi a info@sarabi.cloud e raccontaci in due righe che dati tratti, quante persone vorrebbero usarla e a che punto sei. Ti diciamo con sincerità se il locale fa per te oppure se ti basta altro.
Fonti: AgendaDigitale, Dalla nuvola alla scrivania; Data Masters, Guida a Ollama; Hexagon Sistemi, AI on-premise aziendale; PMI.it, AI Act dal 2 agosto 2026; EffeDiligence, AI Act e rinvio al 2 dicembre 2027; Diritto.it, Sanzione del Garante a ChatGPT.
Hai un caso simile o un dubbio? Scrivici a info@sarabi.cloud.