Un algoritmo difettoso ha scatenato una class action contro una grande compagnia assicurativa negli Stati Uniti. Non si trattava solo di un problema tecnico: dietro c’era una gestione superficiale e l’assenza di una vera governance. Anche i sistemi di intelligenza artificiale più avanzati possono vacillare, ma il rischio maggiore è che a pagarne il prezzo sia la reputazione dell’azienda che li impiega. In settori delicati come la sanità e la finanza, dove l’AI sta entrando a grandi passi, la capacità di gestire gli errori e di mantenere la fiducia supera di gran lunga il valore della tecnologia in sé.
UnitedHealth, il caso che mette a nudo la mancanza di controllo
A febbraio 2025, un tribunale federale del Minnesota ha accolto una class action contro UnitedHealth, una delle principali compagnie di assicurazioni sanitarie negli Stati Uniti. Al centro della controversia c’è nH Predict, un algoritmo usato per stimare quanto dovessero durare le cure riabilitative dei pazienti con Medicare Advantage. Secondo l’accusa, il sistema sbagliava nel 90% dei casi quando decideva di interrompere le cure, confermato dal fatto che quasi tutti i ricorsi dei pazienti venivano accolti. Il problema non era un singolo errore tecnico, ma la totale assenza di supervisione umana e di una gestione efficace degli sbagli. UnitedHealth aveva considerato l’AI solo come uno strumento per snellire i processi, dimenticandosi della responsabilità verso i pazienti e della necessità di un modello di governance solido.
Questa vicenda parla chiaro sul futuro dell’AI in settori regolamentati: non basta avere un buon algoritmo, conta soprattutto come si gestiscono gli errori. Con l’AI Act europeo in arrivo, le regole si fanno strette, soprattutto per i sistemi ad alto rischio. Dal 2 agosto 2026, norme precise imporranno tracciabilità, supervisione e responsabilità con sanzioni pesanti per chi non rispetta gli standard.
Fiducia nell’AI: tre livelli da non sottovalutare
La fiducia in un sistema AI si costruisce a più livelli. Il primo è quella immediata, basata sull’impatto visivo e sulle prime impressioni: l’utente valuta se l’interfaccia è chiara e se i risultati sembrano credibili. Ma questa fiducia è fragile e si sgretola velocemente davanti a errori o risposte incoerenti.
Il secondo livello è la fiducia strutturale, che nasce dall’esperienza nel tempo. L’utente impara a capire quando l’AI funziona, quando vacilla e quando serve intervenire. Con il tempo si crea un rapporto più solido, capace di reggere anche qualche imperfezione.
Ma il vero vantaggio competitivo arriva con la fiducia operativa, quella che permette all’azienda di affidare al sistema responsabilità importanti, inserendolo nei processi decisionali quotidiani. Raggiungerla non è questione di giorni o settimane, ma di esperienza e soprattutto di una governance chiara: regole precise su come gestire gli errori, chi interviene e quando. Saltare questa fase significa mettere a rischio non solo l’adozione ma anche la crescita reale del sistema.
Governance: il cuore pulsante di ogni prodotto AI
Nei casi di successo, la governance non è un ripensamento da fare dopo il lancio, ma una scelta strategica che si prende fin dall’inizio. Decidere come si controlla, traccia e corregge il sistema è parte integrante della progettazione. Chi la mette da parte si ritrova spesso a dover stravolgere tutto mesi dopo, perché emergono problemi normativi e operativi imprevisti.
Prendiamo il settore creditizio: un algoritmo può limitarsi a suggerire uno scoring o può decidere in autonomia, lasciando all’uomo solo i casi più delicati. Le due scelte hanno effetti diversi su costi, rischi e governance. Serve una decisione condivisa con il management, non lasciata solo ai tecnici. Solo così si costruisce un sistema trasparente, capace di gestire eccezioni e monitorare le scelte, proteggendosi da crisi future.
Umani e AI: tre modelli per gestire il rischio
Non esiste un solo modo per far lavorare insieme uomini e AI. Si possono distinguere tre modelli, in base al rischio e alla maturità del processo. Nel “human in the loop” l’uomo è parte attiva in ogni decisione: approva o corregge ogni risultato. È il modello più rigoroso, usato quando gli errori possono avere conseguenze gravi.
Nel “human on the loop” l’uomo supervisiona a distanza: fissa parametri, controlla anomalie e interviene solo in casi critici. Funziona dove il rischio è medio e l’esperienza con la tecnologia è consolidata.
Infine, nel “human out of the loop” il sistema agisce con ampia autonomia entro limiti ben definiti. L’intervento umano si concentra sulla progettazione e revisione delle regole, non sul controllo continuo. Questo è riservato a contesti a basso rischio, con operazioni reversibili e alta fiducia. Non si deve puntare subito all’autonomia massima, ma a quella che serve davvero.
Gestire l’errore: la chiave per un’AI sostenibile
Uno dei nodi principali nel progettare un sistema AI è capire qual è la soglia di errore accettabile. Ogni azienda ha un margine diverso, che dipende dall’impatto economico, dalla reputazione e dalla possibilità di correggere i danni. Alcuni processi tollerano qualche errore per velocizzare, altri vogliono precisione assoluta anche nei dettagli.
Mettere nero su bianco i tipi di errore e come gestirli aiuta a definire regole chiare. Per esempio: errori subito correggibili, errori che richiedono una rielaborazione entro certi limiti, e errori critici che obbligano a coinvolgere un responsabile. Se queste soglie sono chiare e condivise, la gestione diventa sostenibile; altrimenti basta un problema per scatenare reazioni e bloccare tutto.
Un caso concreto in uno studio legale ha dimostrato che definire e comunicare queste categorie ha fatto passare un sistema AI per la redazione di contratti dall’adozione stagnante a coprire il 70% del lavoro in sei mesi. E i nuovi collaboratori hanno imparato molto più in fretta, mostrando che chiarezza e regole si traducono in efficienza e affidabilità.
Trasparenza: il pilastro della fiducia operativa
Per avere fiducia nell’AI serve poter tracciare e capire le decisioni che prende. Non serve conoscere ogni dettaglio matematico, spesso impossibile, ma avere una spiegazione pratica: chi ha fatto cosa, su quali dati si è basato il sistema, con quale versione software è stata presa una decisione.
Strumenti di logging e audit permettono di individuare subito anomalie e ricostruire eventi complessi. Nei settori ad alto rischio questa trasparenza non solo riduce ansie e paure, ma previene incidenti gravi, consentendo interventi rapidi.
Investire in questo aspetto significa mettere in campo un patrimonio strategico, spesso sottovalutato, che fa la differenza tra un’adozione fragile e un sistema robusto e affidabile nel tempo.
La governance come leva per le startup AI nei mercati regolati
Rispettare l’AI Act europeo e le norme nazionali, come la legge italiana 132/2025, è ormai un fattore che distingue le startup che puntano ai settori regolamentati. Chi si presenta con un modello di governance solido, documentazione dettagliata e audit efficaci ha un vantaggio netto su chi è meno preparato.
La legge italiana prevede sanzioni pesanti, misure interdittive e aggravanti penali per abusi o diffusione illecita di contenuti generati dall’AI. La governance diventa quindi non solo un obbligo, ma un’opportunità per farsi largo nei settori più delicati come finanza, sanità e pubblica amministrazione.
Le domande che non possono mancare prima di scegliere un fornitore AI
Il caso UnitedHealth insegna che anche la tecnologia più avanzata può fallire senza chiarezza e processi per gestire responsabilità ed errori. Prima di adottare un sistema AI in ambiti critici, bisogna farsi domande precise: cosa succede se sbaglia? Chi risponde? Come funziona la governance delle escalation? Dove e come interviene l’uomo? Quanto è trasparente il sistema?
Risposte chiare sono il segnale di un prodotto maturo e affidabile. Altrimenti anche la soluzione più sofisticata rischia di non essere all’altezza per un uso sicuro e scalabile. I team che sviluppano AI dovrebbero porsi queste domande fin dall’inizio, per costruire vantaggi concreti e non correre rischi inutili.
Non si tratta solo di tecnologia, ma di mettere in piedi un sistema serio e disciplinato che renda l’AI uno strumento affidabile e duraturo, capace di creare valore reale nel tempo.