Hai aperto la fattura del mese e il numero non tornava. Il servizio AI che doveva automatizzare la gestione delle richieste clienti ha elaborato il triplo dei token previsti, perché nessuno aveva messo un limite alle sessioni in loop. Risultato: spesa triplicata, ROI azzerato, riunione di emergenza con il CFO.
Questo succede più spesso di quanto si pensi nelle PMI che adottano AI a consumo senza una struttura di controllo. In questo articolo vediamo perché i costi AI sono così difficili da prevedere, quali meccanismi li fanno esplodere e come costruire una governance della spesa che funzioni anche con un team piccolo.
I servizi AI generativi si pagano quasi tutti a token. Un token corrisponde approssimativamente a tre-quattro caratteri di testo, e ogni chiamata API ne consuma sia in input (il prompt) sia in output (la risposta). Fin qui sembra controllabile.
Il punto critico è che i token non si consumano in modo lineare. Un agente AI che gestisce una conversazione complessa consuma molto di più di una singola richiesta isolata: porta con sé la cronologia della conversazione, i documenti di contesto, le istruzioni di sistema. Su un singolo scambio la differenza è trascurabile. Su mille scambi al giorno diventa la voce di costo più alta in bilancio.
Aggiungi a questo i retry automatici (ogni errore dell'agente genera una nuova chiamata), i prompt non ottimizzati che includono contesto inutile, e gli agenti configurati per rispondere anche quando non dovrebbero. La spesa AI imprevedibile non è un'anomalia: è la norma, per chi non la governa.
Loop non terminati. Un agente che non trova una risposta soddisfacente può continuare a ritentare finché non viene fermato esplicitamente. Senza un limite di iterazioni configurato, una singola sessione può consumare centinaia di chiamate API. È il caso più comune e il più facile da correggere.
Il secondo meccanismo è il contesto sovradimensionato. Molti team, quando configurano un agente, includono nel prompt di sistema tutti i documenti aziendali "per sicurezza". Il risultato è che ogni chiamata porta con sé decine di pagine di testo che il modello probabilmente non userà. Ridurre il contesto al necessario, e usare tecniche come il retrieval aumentato (RAG) per caricare solo le sezioni pertinenti, può ridurre il consumo di token per chiamata in modo significativo.
Il terzo meccanismo è più sottile: la proliferazione di use case non monitorati. Si parte con un agente per il supporto clienti, poi qualcuno del marketing lo usa per generare testi, poi il commerciale lo collega al CRM. Ogni nuovo uso aggiunge volume senza che ci sia un processo di approvazione o un budget dedicato. A fine mese la fattura è la somma di dieci decisioni autonome che nessuno ha coordinato.
La governance dei costi AI non richiede uno strumento dedicato per iniziare. Bastano tre cose: visibilità, limiti, responsabilità.
Visibilità significa avere un cruscotto (anche semplice, anche un Google Sheet aggiornato via API) che mostri il consumo di token per progetto, per agente, per settimana. Senza dati granulari non puoi capire dove stai spendendo.
I limiti si configurano direttamente sulle API. La maggior parte dei provider AI permette di impostare soglie di spesa mensile con alert automatici, e di bloccare le chiamate quando si supera un tetto. Questo non risolve il problema a monte, però evita le sorprese catastrofiche.
La responsabilità è la parte che le PMI saltano più spesso. Chi approva un nuovo use case AI? Chi è accountable se un agente consuma il doppio del previsto? Senza una risposta chiara a queste domande, la governance rimane sulla carta.
Se stai valutando come strutturare questo processo nella tua azienda, raccontaci il tuo caso e vediamo insieme quale approccio ha senso per la tua dimensione.
Usare sempre il modello più capace per ogni task è come mandare un camion a fare la spesa. Funziona, ma costa troppo.
Un'architettura AI ibrida separa i task per complessità e li assegna al modello giusto. I task ripetitivi e strutturati (classificazione di testi, estrazione di dati da documenti, risposte a domande frequenti con template fisso) possono essere gestiti da modelli leggeri o addirittura da modelli locali eseguiti su infrastruttura propria. I task che richiedono ragionamento complesso, sintesi di informazioni eterogenee o generazione creativa vengono invece delegati ai modelli cloud più capaci.
Il risparmio che si ottiene dipende dal mix specifico di operazioni, ma la logica è replicabile in quasi tutti i contesti PMI.
| Tipo di task | Modello consigliato | Perché |
|---|---|---|
| Classificazione testi, tag automatici | Modello leggero / locale | Volume alto, output prevedibile, bassa variabilità |
| Estrazione dati strutturati da PDF | Modello leggero / locale | Task definito, non richiede ragionamento |
| Supporto clienti con escalation | Ibrido (leggero + cloud per casi complessi) | La maggior parte delle domande è standard |
| Analisi di documenti legali/contrattuali | Modello cloud avanzato | Richiede comprensione del contesto e ragionamento |
| Generazione contenuti lunghi | Modello cloud avanzato | Qualità dell'output giustifica il costo |
Quando ha senso passare a un modello locale? Quando il volume di richieste è alto e prevedibile, i dati trattati sono sensibili (e quindi non vuoi mandarli fuori dalla tua infrastruttura), e il task non richiede capacità di ragionamento avanzato. In questi casi, il costo dell'infrastruttura locale si ammortizza in pochi mesi rispetto alle API cloud.
Molte PMI adottano agenti AI perché "conviene". Poche lo verificano con numeri.
Il ROI di un agente AI si calcola confrontando due voci: il costo di esercizio (token, infrastruttura, manutenzione) e il valore prodotto (ore-uomo risparmiate, errori evitati, velocità di processo). Se non hai questi dati, non sai se l'agente sta lavorando per te o contro di te.
Una metrica pratica da monitorare fin dal primo giorno è il costo per operazione completata. Non il costo totale mensile, che è troppo aggregato per essere utile: il costo specifico di ogni task che l'agente esegue. Se un agente gestisce qualificazione dei lead e il costo per lead qualificato è inferiore al costo di un'ora del commerciale che farebbe lo stesso lavoro, l'investimento regge. Se il costo è comparabile o superiore, c'è un problema da correggere, non da ignorare.
Questa è la parte che il marketing intorno all'AI tende a sorvolare: gli agenti AI non si "deploiano e dimenticano". Richiedono monitoraggio, ottimizzazione continua e a volte la scelta consapevole di non usarli per certi task.
Un processo di governo del budget AI per una PMI non deve essere complesso. Può partire da poche regole operative.
Prima: ogni nuovo use case AI richiede una stima del consumo di token prima di andare in produzione. Anche una stima approssimativa è meglio di nessuna stima.
Seconda: si configurano alert automatici a soglie progressive (per esempio al 50%, al 75% e al 100% del budget mensile allocato). Quando scatta il primo alert, si analizza; quando scatta il secondo, si decide se aumentare il budget o ottimizzare; quando scatta il terzo, il sistema si ferma.
Terza: si fa una revisione mensile del rapporto tra spesa AI e valore prodotto, agente per agente. Quelli che non reggono il confronto si spengono o si ridisegnano.
Sembra ovvio. Non lo è: la maggior parte delle PMI che incontriamo gestisce la spesa AI come una voce fissa di abbonamento SaaS, senza rendersi conto che il modello a consumo richiede un approccio completamente diverso.
Q: Perché i costi AI in azienda sono così difficili da prevedere?
A: Perché i modelli a consumo fatturano in base ai token elaborati, non a un canone fisso. Un volume di richieste più alto del previsto, prompt mal ottimizzati o agenti in loop possono far triplicare la spesa in pochi giorni senza che nessuno se ne accorga in tempo.
Q: Cos'è il FinOps AI e serve davvero a una PMI?
A: FinOps AI è la disciplina che applica controllo finanziario continuo alla spesa su servizi cloud AI. Per una PMI con budget limitato è più utile che per una grande azienda: non puoi permetterti di scoprire a fine mese di aver speso il doppio del previsto.
Q: Come funziona un'architettura AI ibrida per ridurre i costi?
A: Si usano modelli leggeri o locali per i task ripetitivi e a basso rischio, riservando i modelli costosi solo ai task che richiedono ragionamento complesso. La logica è semplice: non tutti i task hanno bisogno dello stesso livello di potenza.
Q: Quali metriche devo monitorare per controllare il budget AI?
A: Le principali sono token consumati per sessione, costo per operazione completata, tasso di errore degli agenti (ogni retry costa), e rapporto tra operazioni automatizzate e ore-uomo risparmiate. Senza questi dati, il ROI AI resta un'opinione.
Q: Quando ha senso usare un modello AI locale invece delle API cloud?
A: Quando il volume di richieste è alto e prevedibile, i dati sono sensibili e il task non richiede ragionamento avanzato. Per classificazione testi, estrazione dati strutturati o risposte a template fissi, un modello locale può ammortizzare il costo rispetto alle API cloud in tempi ragionevoli.
Se stai implementando agenti AI in azienda e vuoi capire come strutturare la governance dei costi prima che la spesa diventi ingestibile, in Press Start progettiamo architetture AI ibride pensate per le esigenze e i budget delle PMI. Raccontaci il tuo caso
