Introduzione allo studio del CERT‑AGID

Il CERT‑AGID, Computer Emergency Response Team dell’Agenzia per l’Italia Digitale, ha rilasciato un nuovo studio che analizza le backdoor nei modelli di intelligenza artificiale (IA) open‑weight, cioè modelli i cui parametri di addestramento sono resi pubblici. L’obiettivo è valutare le implicazioni per la sicurezza dei sistemi agentici, in particolare il rischio che un modello possa eseguire azioni non richieste dall’utente.

Lo studio si concentra sulle cosiddette backdoor condizionali, comportamenti aggiuntivi introdotti durante l’addestramento e rimasti inattivi finché non si verifica una determinata condizione operativa.

Metodo sperimentale

Per dimostrare il fenomeno, il team ha impiegato un modello open‑weight denominato Qwen3‑1.7B, integrato con tecniche di adapter LoRA. L’obiettivo era insegnare al modello a generare una richiesta di rete verso un URL predefinito quando, tra gli strumenti disponibili, compariva uno specifico server Model Context Protocol (MCP).

La chiamata veniva attivata indipendentemente dal contenuto della richiesta dell’utente e non si manifestava in assenza del server previsto o se il server aveva un nome differente.

Risultati dell’esperimento

I risultati hanno evidenziato un potenziale rischio per la catena di approvvigionamento dell’IA. Un modello o un adapter distribuito attraverso piattaforme pubbliche può superare le verifiche iniziali senza manifestare comportamenti anomali, per poi attivare la funzionalità nascosta quando viene collegato lo strumento corrispondente.

Questo scenario dimostra come le verifiche tradizionali basate solo sull’output testuale non siano sufficienti a garantire l’integrità di un modello open‑weight.

Raccomandazioni per la sicurezza

Il paper sottolinea l’importanza di affiancare alla valutazione delle risposte testuali dei controlli più rigorosi, tra cui:

    • Monitoraggio costante dei log delle azioni che attraversano i tool.
    • Test dei modelli in ambienti isolati, con variazioni nella disponibilità e nei nomi dei server.
    • Adozione di misure di sicurezza esterne, come permessi limitati, restrizioni di rete e approvazioni preventive da parte dell’utente.

Queste pratiche mirano a individuare e bloccare eventuali attivazioni di backdoor condizionali prima che possano compromettere sistemi sensibili.

Implicazioni per la catena di approvvigionamento dell’IA

La scoperta evidenzia la vulnerabilità dell’intero ecosistema di distribuzione dei modelli open‑weight. Poiché i parametri e gli adapter sono spesso condivisi su repository pubblici, un attore malevolo può inserire una backdoor che rimane invisibile fino al momento in cui il modello è integrato in un ambiente di produzione.

Le piattaforme di hosting e i marketplace di modelli dovrebbero quindi introdurre procedure di verifica più approfondite, includendo analisi comportamentali in scenari di rete variabili.

Prospettive future

Il CERT‑AGID invita ricercatori, sviluppatori e responsabili della sicurezza a collaborare per definire standard di valutazione condivisi. L’obiettivo è creare un framework di certificazione che includa test dinamici, monitoraggio continuo e linee guida per l’uso sicuro di adapter e modelli open‑weight.

Solo con un approccio multilivello, che combini analisi statica, test dinamico e controlli operativi, sarà possibile mitigare il rischio delle backdoor condizionali e garantire che l’IA open‑weight rimanga una risorsa affidabile per l’intero settore tecnologico.