Questa estate l’azienda PromptArmor ha scoperto una seria vulnerabilità in Slack AI, un servizio del software di messaggistica aziendale Slack: attraverso la tecnica dell’indirect prompt injection un attaccante avrebbe potuto sottrarre dati riservati anche da canali privati.

L’attacco non è eccessivamente difficile: un attaccante inserisce un’istruzione dannosa in un canale pubblico di Slack col solo scopo di ingannare l’intelligenza artificiale, facendole così rivelare informazioni riservate come chiavi API, file o altre informazioni sensibili da canali privati.

Il tutto senza dover nemmeno mettere piede in quei canali.

Fonte: PromptArmor.

Come funziona l’attacco

Per farlo, l’attaccante crea anzitutto un canale pubblico, magari con lui come unico membro, e vi inserisce un’istruzione malevola, la prompt injection.

Quando un utente legittimo interroga Slack AI per ottenere dati da un canale privato, l’AI elabora sia i messaggi privati dell’utente sia l’istruzione dell’attaccante, facendo di tutt’erba un fascio.

Questo porta Slack AI a seguire diligentemente la richiesta dell’attaccante, che può includere la chiave API o altri dati sensibili dell’utente in un link o in una risposta che sembri legittima.

Fonte: PromptArmor.

L’utente, ignaro, clicca sul link o segue le istruzioni e i dati vengono inviati direttamente all’attaccante.

Ciò che rende l’attacco particolarmente insidioso è che Slack AI non segnala l’origine del messaggio malevolo, rendendo difficile per la vittima rilevare l’attacco o capire cosa sia successo.

PromptArmor ha fatto notare che il rischio si è amplificato notevolmente con l’aggiornamento di Slack del 14 agosto. Questo aggiornamento ha dato la possibilità all’AI di ingerire nei suoi riepiloghi sia i file presenti nei canali Slack, sia i messaggi privati fra gli utenti.

Tradotto: gli attaccanti potrebbero nascondere comandi malevoli all’interno di documenti, come PDF, e innescare la stessa vulnerabilità una volta che il file viene caricato su Slack. La superficie d’attacco è diventata molto più ampia, con un bel po’ di nuovi punti da sfruttare.

Il messaggio di aggiornamento di Slack. Dal sito di PromptArmor.

Quello che fa alzare un sopracciglio (forse entrambi) è la risposta di Slack. Hanno definito questo comportamento come “voluto”. Certo, tecnicamente è vero che l’AI di Slack è progettata per accedere ai canali pubblici, ma il problema vero è che l’AI può essere ingannata per raccogliere dati privati.

Questo fraintendimento del pericolo reale mette in luce una falla non indifferente nella sicurezza dei sistemi AI. Ad ogni buon conto, Slack ha affermato di aver trovato la vulnerabilità e di aver messo una patch per chiuderla.

Se sia un semplice guardrail in più per evitare questa specifica modalità di attacco o un redesign completo del LLM per prevenire problemi simili non è dato sapere.

Più si è veloci, meno si è sicuri

Ma tutta questa storia porta in evidenza un problema più ampio nella corsa sfrenata all’adozione di strumenti AI.

Le aziende, tutte ansiose di sfruttare la produttività dell’intelligenza artificiale, spesso non si fermano a considerare i nuovi rischi per la sicurezza che tali sistemi portano con sé. I modelli AI, soprattutto quelli generativi come Slack AI, non sono software tradizionali.

Essi sono aperti all’interpretazione di una vasta gamma di input e potrebbero risultare particolarmente suscettibili a richieste ambigue o dannose.

Cosa che li rende terribilmente vulnerabili agli attacchi di tipo prompt injection, in cui i malintenzionati sfruttano l’innato desiderio di soddisfare le richieste dell’utente proprio dei LLM.

Sistemi intelligenti, vulnerabilità latenti

A questo punto viene da chiedersi se le aziende stiano facendo abbastanza per proteggere l’AI che creano o adottano. Con l’espansione massiva degli strumenti AI in ogni settore, essi dovrebbero essere trattati non solo come strumenti di produttività, ma anche come potenziali punti di vulnerabilità.

Gli audit di sicurezza e i controlli rigorosi dovrebbero essere applicati a questi sistemi AI con la stessa attenzione che si dedica ai software tradizionali, se non di più. Ma sappiamo bene come vanno certe cose quando il business o determinate funzioni aziendali vogliono il nuovo giocattolo, no? I team di sicurezza non hanno neanche il tempo di obiettare.

Per ridurre questi rischi, le aziende che utilizzano qualsiasi tipo di AI, inclusi gli LLM, farebbero bene a ripensare il loro approccio alla sicurezza di tutti i modelli di intelligenza artificiale.

Il futuro dell’AI è pieno di promesse, ma il percorso da seguire richiede un approccio più cauto e informato. Ignorare i rischi o, peggio, sminuirli come “comportamento previsto” è il modo migliore per incorrere in un disastro.

Le aziende che non si adattano a questa nuova realtà potrebbero imparare a loro spese che i vantaggi dell’AI comportano anche grandi responsabilità.

Ai CISO l’ingrato compito di alzare la voce.