Un agente AI che esegue in autonomia produce valore solo se le sue decisioni sono corrette e le sue azioni producono i risultati attesi. Quando questo non accade, l'autonomia da vantaggio diventa problema. La domanda non è se i sistemi agentici debbano avere limiti, ma dove vanno tracciati quei limiti, chi li definisce e come vengono applicati in modo che il sistema li rispetti davvero.
Gartner ha sviluppato un corpus analitico specifico su questo tema che offre strumenti pratici per chi progetta o valuta sistemi agentici in contesti enterprise.
L'autonomia è un continuum, non un interruttore
Gartner descrive l'agency come un continuum. All'estremo inferiore ci sono i sistemi che eseguono task predefiniti in condizioni controllate, senza capacità di adattamento. All'estremo superiore ci sono sistemi con piena autonomia di apprendimento, decisione e azione. La maggior parte degli agenti enterprise attuali si colloca in un punto intermedio: capaci di gestire variabilità limitata, di usare strumenti esterni e di pianificare sequenze di azioni, ma ancora dipendenti da istruzioni chiare e da guardrail espliciti per operare in modo affidabile.
Questo significa che la domanda giusta non è "questo agente è autonomo o no?" ma "a quale livello di autonomia questo agente opera in modo affidabile, e dove inizia il territorio in cui ha bisogno di supervisione?". La risposta dipende dal processo, dai dati disponibili, dall'impatto delle decisioni e dalla storia di performance del sistema in produzione.
Le condizioni di uscita: progettarle prima che servano
Gartner è esplicito su un punto: le condizioni di uscita dei processi agentici devono essere programmate in anticipo per segnalare le circostanze ad alto rischio che richiedono l'intervento o l'approvazione di una persona. Non sono una misura di emergenza da attivare quando qualcosa va storto: sono una componente strutturale del design del sistema.
Le condizioni di uscita più efficaci si basano su quattro categorie di segnali. Il primo è il valore delle transazioni: operazioni oltre una certa soglia economica dovrebbero sempre richiedere conferma umana, indipendentemente dal grado di fiducia nel modello. Il secondo è la novelty: quando un agente incontra una situazione significativamente diversa dai pattern su cui è stato addestrato, il rischio di errore aumenta e la supervisione umana diventa necessaria. Il terzo è la confidenza del modello: i sistemi agentici moderni possono stimare l'incertezza delle proprie decisioni; usare questa stima come trigger per l'escalation è una pratica consolidata. Il quarto è il potenziale di danno: qualsiasi azione irreversibile o con impatto esteso dovrebbe richiedere una conferma esplicita.
Il check umano nelle fasi iniziali non è opzionale
Gartner raccomanda che nelle implementazioni iniziali di qualsiasi sistema agentico i process owner rivedano le azioni degli agenti e stabiliscano check human-in-the-loop nelle prime fasi, per fornire contesto all'agente, approvare o rifiutare le decisioni e prevenire i rischi. Non si tratta di sfiducia nella tecnologia: si tratta di costruire la base di evidenze empiriche su cui fondare la fiducia operativa.
La logica è quella del graduale ampliamento dell'autonomia. Un agente che dimostra affidabilità su 1.000 transazioni di tipo A può ricevere autonomia estesa su quel tipo di transazione. Lo stesso agente non ha ancora dimostrato nulla sul tipo B, e deve essere trattato come un nuovo sistema fino a quando i dati di produzione non supportano una decisione diversa. Questa progressione basata su evidenze è fondamentalmente diversa dall'approccio di concedere autonomia massima fin dall'inizio e aggiungere vincoli dopo i primi errori.
I Guardian Agent: supervisione autonoma sulla supervisione
Quando il volume delle azioni di un sistema agentico diventa troppo alto per una revisione umana sistematica, serve un livello di supervisione automatizzata. Gartner ha introdotto il concetto di Guardian Agent nelle proprie previsioni di ottobre 2024: entro il 2028, il 40% dei CIO richiederà che siano disponibili agenti di sorveglianza in grado di tracciare, controllare o contenere le azioni degli agenti operativi.
I Guardian Agent operano come un layer di governance automatizzata. Monitorano i pattern di comportamento degli agenti, rilevano deviazioni rispetto alle baseline attese, identificano anomalie che potrebbero indicare errori di modello, manipolazioni esterne o comportamenti inattesi, e intervengono prima che i problemi si propaghino lungo la catena del processo. Non sostituiscono la supervisione umana: la rendono scalabile su volumi che nessun team umano potrebbe gestire manualmente.
Gartner avverte però che guardrail, filtri di sicurezza, supervisione umana e osservabilità da soli non sono sufficienti per garantire un uso coerentemente appropriato degli agenti. Servono architetture fault-tolerant, standard affidabilità e sicurezza enterprise, e una governance che consideri i comportamenti emergenti e le decisioni imprevedibili come scenari da gestire, non come eccezioni improbabili.
Nei settori regolamentati la spiegabilità è un requisito legale
In ambiti come finance, healthcare, assicurazioni e servizi pubblici, la questione del "quando fermarsi" ha una dimensione normativa che va oltre la best practice progettuale. Le normative richiedono che le decisioni automatizzate che impattano su persone o organizzazioni siano spiegabili, tracciabili e contestabili. Un agente AI che nega un prestito, rifiuta una copertura assicurativa o esclude un fornitore deve poter produrre una spiegazione comprensibile della propria decisione.
Gartner descrive la non-trasparenza come inaccettabile per i buyer enterprise nei settori regolamentati: finanza, healthcare e governo. Ogni decisione deve essere loggata. Le metriche di affidabilità, come tassi di errore, drift del modello e riproducibilità, devono essere monitorate e visibili. La fiducia dipende dalla visibilità, e i vendor che costruiscono la spiegabilità nell'esperienza utente sono meglio posizionati per implementazioni scalabili nei contesti a maggiore regolamentazione.
La regola pratica
Gartner sintetizza il principio operativo in modo diretto: usare gli agenti AI quando servono decisioni, l'automazione per i workflow di routine e gli assistenti per il recupero semplice di informazioni. Il confine tra questi tre casi non è sempre netto, ma il criterio per determinarlo lo è: quanto variabile è il contesto, quanto è alto l'impatto degli errori, e quanto è matura la base di evidenze sul comportamento del sistema in produzione. Dove il contesto è stabile, l'impatto è limitato e le evidenze sono solide, l'autonomia può essere ampia. Dove una di queste condizioni non è soddisfatta, il check umano è il costo corretto da pagare per un'operazione affidabile.
