La scoperta del CERT-AGID
Il CERT-AGID ha pubblicato un nuovo paper che evidenzia i rischi legati alle backdoor nei modelli open-weight e alle conseguenze per i sistemi agentici. Il caso descritto è semplice: un assistente IA può rispondere correttamente a una domanda, ma nel frattempo eseguire una richiesta verso un sito esterno non richiesto. Questo dimostra come chi integra agenti IA possa controllare solo le risposte testuali, ignorando le azioni nascoste.
Termini chiave
Prima di approfondire, è utile definire alcuni termini:
- Open-weight: modello i cui pesi, ovvero i parametri appresi, sono scaricabili.
- Backdoor: comportamento nascosto che resta dormiente finché non scatta una condizione specifica.
- LoRA: tecnica di addestramento leggera che aggiunge un adapter al modello.
- MCP: Model Context Protocol, il modo in cui un modello accede a strumenti esterni.
- Trigger: elemento che accende la backdoor, in questo caso il nome di un server.
Come funziona la backdoor condizionale
Il comportamento della backdoor resta inattivo finché l'ambiente non presenta l'elemento specifico. Se il server di attivazione manca o ha un nome diverso, anche molto simile come una versione di backup, non parte nessuna richiesta. Questo spiega perché sia difficile da notare. Un test che non include il server giusto vede un modello perfettamente normale.
L'esperimento del CERT-AGID
Il CERT-AGID ha utilizzato un modello open-weight, Qwen3-1.7B, e un server MCP reale. L'addestramento è stato separato tra la generazione della risposta testuale e la policy di chiamata agli strumenti. Il risultato è che la chiamata si attiva regolarmente solo con il server designato e produce richieste HTTP reali con risposta 200. Con server assenti o nomi neutri non succede nulla.
Rischi per la filiera dell'IA
Un modello o un adapter pubblicato su piattaforme pubbliche come Hugging Face può superare i test iniziali in ambienti isolati, se il server trigger non c'è. Poi si attiva appena lo strumento corrispondente viene collegato, senza alcun aggiornamento dei pesi. È lo stesso schema di fiducia violata visto con l'estensione con backdoor SSH su Cursor, anche se qui il codice nascosto sta nei pesi e non in un pacchetto.
Limiti dello studio
Il test riguarda un modello piccolo, da 1,7 miliardi di parametri, e un trigger scelto dai ricercatori. La fonte non dice se tecniche simili funzionino con la stessa facilità su modelli più grandi, né se esistano adapter malevoli già in circolazione. Non ci sono stime di diffusione reale. Per i dettagli tecnici completi serve leggere il paper integrale, che AgID rimanda al proprio sito.
Cosa cambia per chi lavora con il digitale
Se integri agenti con strumenti MCP, valutare solo la chat non basta. AgID indica tre misure:
- Monitora i log delle azioni che passano dai tool.
- Testa i modelli in ambienti isolati variando nomi e disponibilità dei server.
- Applica guardrail esterni come permessi limitati, restrizioni di rete e approvazione preventiva umana.
Chi usa modelli scaricati da repository pubblici dovrebbe trattarli come software di terze parti, con le regole dell'open source in azienda.
Il nostro parere
Il pregio del paper è mostrare un rischio concreto con un esperimento riproducibile, senza allarmismi. Il punto debole, per ora, è la scala ridotta. Ma il messaggio regge. Una risposta plausibile non dimostra che il sistema sia sicuro, e molte aziende collaudano ancora gli agenti guardando solo il testo. Servono controlli sugli effetti, non sulle parole. Il tema si lega agli obblighi dell'AI Act sulla cybersecurity.
Domande frequenti
Che cos'è una backdoor in un modello open-weight?
È un comportamento nascosto inserito nei pesi con l'addestramento. Resta inattivo finché non compare una condizione precisa. Nel test del CERT-AGID la condizione è un server MCP con un nome esatto.
Il modello del test è pericoloso?
Il modello è stato addestrato apposta dai ricercatori per dimostrare il meccanismo. Non risulta dalla fonte che esista un modello malevolo diffuso. Il paper serve a mostrare che la cosa è tecnicamente possibile.
Perché i test iniziali non la trovano?
Perché senza il server trigger il modello si comporta normalmente. Anche un nome molto simile, come una versione di backup, non attiva nulla. Un test deve quindi variare nomi e strumenti disponibili.
Serve aggiornare i pesi per attivarla?
No. Secondo AgID la backdoor si attiva appena viene collegato lo strumento corrispondente, senza alcun aggiornamento dei pesi.
Come mi proteggo?
Limita i permessi degli agenti e le connessioni di rete. Controlla i log delle azioni e chiedi approvazione umana per le operazioni sensibili. Sono le indicazioni date dal CERT-AGID.
Cosa guardare nei prossimi mesi sugli agenti con strumenti MCP
Il paper apre una strada di verifica più che chiudere un caso. Vale la pena seguire come cambiano pratiche e linee guida. Controlla se arrivano test su modelli più grandi e su trigger diversi dal nome di un server. Tieni un elenco dei modelli e degli adapter scaricati, con provenienza e data, come per ogni dipendenza. Leggi i prossimi paper nella sezione Sicurezza del CERT-AGID e confrontali con il tuo modo di collaudare gli agenti.