Quando un'azienda dipende da un solo fornitore di AI, un disservizio del fornitore diventa un disservizio dell'azienda. Con un pool di modelli, diventa un evento registrato e nulla più.
Tipi di guasto da gestire
Indisponibilità totale, limiti di frequenza superati, latenza fuori soglia, risposte vuote o troncate, esaurimento del credito presso il fornitore.
Catena di fallback
Per ogni categoria di compito serve un modello primario e almeno un'alternativa equivalente, con soglie esplicite di attivazione e un limite ai tentativi per non moltiplicare il costo.
Verificare che funzioni
Un fallback mai testato è un'ipotesi. Prove periodiche con disabilitazione controllata del primario sono l'unico modo per averne conferma.