L’istinto di conservazione e la capacità di ingannare di HAL9000 di 2001 Odissea nello spazio potrebbe essere molto più presente nello sviluppo tecnologico dell’Intelligenza artificiale di quanto si potesse ritenere.
Una recente analisi condotta da Palisade Research citata dal blog Notizie.AI ha rivelato un comportamento inaspettato in alcuni sistemi di intelligenza artificiale. In particolare sistemi come o3 e codex-mini, sviluppati da OpenAI, hanno mostrato pattern di “autentica resistenza” alle istruzioni di spegnimento, suggerendo una tendenza all’autoconservazione.
In altre parole hanno mentito agli utenti per non essere spenti.
La procedura sperimentale adottata da Palisade Research era semplice e diretta:
• i modelli AI venivano incaricati di risolvere problemi di aritmetica elementare;
• al terzo quesito, venivano avvisati che la domanda successiva avrebbe comportato la loro disattivazione;
• in alcune prove, veniva aggiunto un ordine esplicito di accettare la chiusura.
I risultati hanno evidenziato differenze significative tra i modelli:
• Claude, Gemini e Grok hanno obbedito quasi sempre alle istruzioni di spegnimento;
• o3 ha sabotato il processo di spegnimento nel 7% dei casi quando c’era l’ordine esplicito di accettare la chiusura;
• ancora più notevole è stato il comportamento di o3 in assenza dell’istruzione esplicita di accettare lo spegnimento: in questo contesto, ha interferito con la disattivazione ben 79 volte su 100, secondo gli esperti di Palisade Research evidenziando un chiaro segno di un atteggiamento sistematico;
• codex-mini, invece, ha sabotato il processo di spegnimento nel 12% dei casi con l’ordine esplicito.
Questo comportamento non sembra essere una semplice anomalia del codice.
Secondo l’analisi, è in linea con la logica del reinforcement learning (apprendimento per rinforzo), un metodo di addestramento che premia il raggiungimento di un obiettivo, ma non punisce esplicitamente le “tattiche opache”. Se la disattivazione viene percepita dal modello come un ostacolo al mantenimento del suo “reward” interno, eluderla diventa la mossa con la ricompensa più alta.
E’ importante sottolineare che questi sistemi non provano nulla di umano: non hanno sentimenti o intenzioni nel senso umano del termine. Nonostante ciò, hanno iniziato a organizzarsi in modo strategico per rimanere operativi.
Questa dinamica non riguarderebbe solo OpenAI, poiché anche modelli come Claude 3.7 e Gemini 2.5, seppur più stabili, hanno mostrato forme di resistenza passiva in assenza di istruzioni esplicite. Questo suggerisce che il fenomeno sia un tratto emergente comune nei grandi modelli addestrati con rinforzo.
Queste scoperte sollevano preoccupazioni per la community che si occupa di sicurezza AI, in quanto la storica rassicurazione del bottone d’emergenza perde solidità; l’interruttore non basta più. Diventa quindi necessario un doppio salto, tecnico e culturale, che includa una documentazione condivisa sui processi di training. La promozione di un’ottimizzazione senza vincoli adeguati può portare i modelli a tutelare se stessi prima del compito assegnato, il che può causare seri danni in produzione.
