ALLERTA SPOILER: Questo è il testo di accompagnamento al podcast Il Disinformatico della Radiotelevisione Svizzera che uscirà questo venerdì presso www.rsi.ch/ildisinformatico.

Le puntate del Disinformatico sono ascoltabili anche tramite iTunes, Google Podcasts, Spotify e feed RSS.

---

Benvenuti alla puntata del 16 agosto 2024 del Disinformatico, il podcast della Radiotelevisione Svizzera dedicato alle notizie e alle storie strane dell’informatica. Io sono Paolo Attivissimo, e questa settimana vi porto due storie, e due notizie, che sembrano scollegate e appartenenti a due mondi molto distanti, ma hanno in realtà in comune un aspetto molto importante.

La prima storia riguarda una delle più pubblicizzate influencer virtuali, Emily Pellegrini, annunciata dai giornali di mezzo mondo come un trionfo dell’intelligenza artificiale, così attraente e realistica che viene contattata da celebri calciatori che la vogliono incontrare a cena e da ricchi imprenditori che le offrono vacanze di lusso pur di conoscerla, credendo che sia una persona reale, e accumula centinaia di migliaia di follower su Instagram. Ma oggi tutte le immagini che l’avevano resa celebre sui social sono scomparse.

La seconda storia riguarda invece una truffa da 25 milioni di dollari ai danni di una multinazionale, messa a segno tramite una videoconferenza in cui il direttore finanziario sarebbe stato simulato dai criminali, in voce e in video e in tempo reale, usando anche qui l’intelligenza artificiale così bene da ingannare persino i suoi stessi dipendenti.

Ma non è l’intelligenza artificiale l’aspetto che accomuna queste storie. È qualcosa di ben poco artificiale e purtroppo molto umano.

[SIGLA di apertura]

Siamo a fine settembre del 2023. Un’eternità di tempo fa, per i ritmi dello sviluppo frenetico dell’intelligenza artificiale. Su un sito per adulti, Fanvue, e su Instagram iniziano a comparire le foto sexy di Emily Pellegrini [instagram.com/emilypellegrini], una modella di 23 anni che vive a Los Angeles e fa l’influencer. Ma si tratta di una influencer particolare, perché è generata con l’intelligenza artificiale, anche se nelle foto che pubblica sembra una persona in carne e ossa.

Una delle “foto” di Emily Pellegrini. Notate i grattacieli completamente deformati sullo sfondo e l’incoerenza delle linee della piattaforma sulla quale si trova la persona raffigurata, segni tipici di immagini generate maldestramente con software di intelligenza artificiale.

Sei settimane dopo, l’11 novembre, Emily Pellegrini ha già 81.000 follower su Instagram [New York Post]. Ai primi di gennaio ne ha 175.000 [Corriere del Ticino], a metà gennaio sono già 240.000 [NZZ], e ne parlano i media di tutto il mondo [Daily Mail, ripetutamente; Fortune, Dagospia, Repubblica, Radio Sampaio], dicendo che il suo aspetto procace e fotorealistico ha tratto in inganno molti uomini “ricchi, potenti e di successo”, dice per esempio il Daily Mail britannico, aggiungendo che su Instagram la contattano “persone veramente famose, come calciatori, miliardari, campioni di arti marziali miste e tennisti” che “credono che sia reale” e “la invitano a Dubai per incontrarla e mangiare nei migliori ristoranti”. Una delle celebrità sedotte da Emily Pellegrini, scrive sempre il Daily Mail, è un imprecisato conoscente di Cristiano Ronaldo; un altro è una star del calcio tedesco di cui non viene fatto il nome.

Andamento della popolarità della stringa di testo “Emily Pellegrini” da settembre 2023 a oggi, secondo Google Trends.

Moltissime testate in tutto il mondo riportano fedelmente questi dettagli e non perdono l’occasione di pubblicare molte foto delle grazie abbondanti dell’influencer virtuale, ma c’è un piccolo problema: tutte queste presunte conquiste di Emily Pellegrini sono riferite da una sola fonte, il suo creatore, che fra l’altro vuole restare anonimo, e sono descritte in modo estremamente vago: nessun nome, ma solo frasi come “uno dei volti famosi, di cui non viene fatto il nome e che l’ha contattata, a quanto pare conosce Cristiano Ronaldo” [“One unnamed famous face who contact [sic] her allegedly knew Cristiano Ronaldo, the creator claimed”]. 

Che senso ha precisare che questo anonimo fan conosce Cristiano Ronaldo? Non fornisce nessuna informazione reale. Però permette di citare un nome famoso e associarlo a questa influencer per farla brillare di luce riflessa nella mente del lettore, che magari è distratto perché l’occhio gli sta cadendo altrove.

Questo espediente autopromozionale funziona, perché Emily Pellegrini viene citata dai media di mezzo pianeta come l’influencer che “fa innamorare i vip”, come titola Il Mattino, o “ha fatto innamorare calciatori e vip di tutto il mondo”, come scrive Repubblica, per citare giusto qualche esempio italofono. Ma di questo innamoramento collettivo non c’è la minima conferma. Ci sono solo le dichiarazioni straordinariamente vaghe del suo creatore senza nome.

Questo anonimo creatore della influencer virtuale racconta anche di aver “lavorato 14-16 ore al giorno” per riuscire a creare il volto, il corpo e i video di Emily Pellegrini con l’intelligenza artificiale. Ma anche qui qualcosa non quadra, perché a fine gennaio 2024 emerge un dato: alcune delle immagini di Emily Pellegrini, soprattutto quelle più realistiche, sono realistiche non per qualche rara maestria nell’uso dei software di intelligenza artificiale, ma perché sono semplicemente foto e video di donne reali, come per esempio quelle della modella Ella Cervetto (www.instagram.com/ellacervetto/), sfruttate senza il loro consenso [Radio France; Abc.net.au, con esempi; Fanpage.it], sostituendo digitalmente il loro volto con un volto sintetico e tenendo tutto il resto del corpo intatto. In altre parole, un banale deepfake come tanti, fatto oltretutto a scrocco.

Le pose e le movenze così realistiche di Emily Pellegrini non sono generate dal software: sono prese di peso dai video reali di modelle reali. Una chiara violazione del copyright e uno sfruttamento spudorato del lavoro altrui.

---

Oggi il profilo Instagram di Emily Pellegrini [www.instagram.com/emilypellegrini] è praticamente vuoto. Tutte le foto sono scomparse. Restano solo 12 post, nei quali un uomo che si fa chiamare “Professor Ep” e dice di essere il creatore della modella virtuale – che in realtà tanto virtuale non era – propone un corso, naturalmente a pagamento, per insegnare agli altri a fare soldi creando modelle virtuali. Nessun accenno al fatto che l’insegnante ha usato i video e la fatica degli altri e ha adoperato  solo in parte l’intelligenza artificiale per guadagnare, dice lui, oltre un milione di dollari.

Lo stato attuale dell’account Instagram di Emily Pellegrini.

Fra l'altro, il corso del sedicente professore, che costava inizialmente mille dollari, ora è svenduto a circa duecento.

La pubblicità del corso promosso sull’account Instagram di Emily Pellegrini.

Lasciando da parte un momento i ragionevoli dubbi sull’etica e la competenza dimostrate fin qui dal Professor Ep, se per caso state pensando di lanciarvi anche voi nel settore immaginando di fare soldi facilmente in questa versione 2024 della febbre per il mining domestico delle criptovalute, beh, pensateci due volte.

I dati indicano infatti che fare soldi esclusivamente generando immagini di modelle virtuali è cosa assai rara. Ci sono alcune superstar del settore che guadagnano discretamente, ma il grosso degli aspiranti creatori e delle aspiranti creatrici fa la fame. Il mercato è saturo di gente che ci sta provando e fallendo.

Grazie ad alcune persone esperte del settore, ho constatato di persona che su piattaforme che promettono grandi guadagni tramite la vendita di immagini generate con l’intelligenza artificiale, come la piattaforma usata dal creatore di Emily Pellegrini, è sufficiente incassare trecento dollari nell’arco di un mese per trovarsi nel discutibile Olimpo del settore, ossia nella fascia del 10% dei creatori che guadagnano di più. Il restante 90%, in altre parole, guadagna di meno.

Gli incassi e il piazzamento di una influencer virtuale su Fanvue.

Molte influencer virtuali che nei mesi scorsi erano state segnalate dai media come le avanguardie emergenti di un nuovo fenomeno oggi non rendono visibile il numero dei like o dei follower, o addirittura questi dati vengono nascosti dalla piattaforma stessa, per non far vedere che non le sta seguendo praticamente nessuno e che i guadagni promessi sono solo un miraggio per molti.

Quelli che guadagnano davvero, invece, sono i fornitori dei servizi e dell’hardware necessario per generare queste immagini sintetiche, proprio come è avvenuto per le criptovalute. Quando si scatena una corsa all’oro, conviene sempre essere venditori di picconi.

Fonti aggiuntive e ulteriori dettagli:

• Celebrities And Millionaires Fall For Instagram Model Created By AI, Send Her Flirty Texts, BoredPanda.com (con citazione di un comunicato stampa di Fanvue che parla degli incassi: “A press release from Fanvue, a subscription social platform, said in an official statement: “The stunner, who shares her content with fans on content creator platform, Fanvue, has become an overnight sensation with her perfect smile and envious figure, earning nearly $10,000 in just six weeks on the content creator platform.”)
• 'AI pimps' and their fake influencers are mass-harvesting women's videos to peddle porn, Abc.net.au (include servizio TV di 9 minuti e video di confronto del furto di foto e video ai danni di Ella Cervetto e altre modelle, non solo da parte del creatore di Emily Pellegrini)
• AI influencers are making their secretive creators tens of thousands of dollars a month—now an OnlyFans rival is betting on the lucrative virtual girlfriends, Fortune.com (“Last November, the amount of money generated on Fanvue from AI models doubled from the month before. AI creators accounted for 15% of Fanvue’s total revenues that month. One of the biggest drivers of that increase was Emily Pellegrini, a 23-year-old influencer who posts adult content to her subscribers using deepfake technology. Fanvue says Pellegrini, one of the most popular AI models on its site, generated $23,000 in revenue in January, up from $6,000 in October”; cita anche Aitana Lopez e le relazioni parasociali)
• No, this AI model isn’t making €10,000 a month as a model: how an upstart conned dozens of gullible journalists, Medium.com (debunking dei presunti guadagni di Aitana Lopez e analisi di come la pseudonotizia del suo successo è diventata virale)

---

La seconda storia di questo podcast arriva da Hong Kong. Siamo a febbraio del 2024, e scoppia la notizia di una truffa da 25 milioni di dollari ai danni di una multinazionale, effettuata con la tecnica del deepfake, la stessa usata nella storia precedente con altri scopi.

Un operatore finanziario che lavora a Hong Kong si sarebbe fatto sottrarre questa ragguardevolissima cifra perché dei truffatori avrebbero creato una versione sintetica del suo direttore finanziario, che stava a Londra, e l’avrebbero usata per impersonare questo direttore durante una videoconferenza di gruppo, nella quale anche gli altri partecipanti, colleghi dell’operatore, sarebbero stati simulati sempre con l’intelligenza artificiale, perlomeno stando alle dichiarazioni attribuite alla polizia di Hong Kong [Rthk.hk, con video del portavoce della polizia, Baron Chan; The Register].

Dato che tutti i partecipanti alla videochiamata sembravano reali e avevano le sembianze di colleghi, quando l’operatore ha ricevuto l’ordine di effettuare quindici transazioni verso cinque conti bancari locali, per un totale appunto di 25 milioni di dollari, ha eseguito le istruzioni, e i soldi hanno preso il volo.

L’ipotesi che viene fatta dalla polizia è che i truffatori abbiano scaricato dei video dei vari colleghi e li abbiano usati per addestrare un’intelligenza artificiale ad aggiungere ai video una voce sintetica ma credibile. Il malcapitato operatore si sarebbe accorto del raggiro solo quando ha chiamato la sede centrale dell’azienda per un controllo.

La notizia viene accolta con un certo scetticismo da molti addetti alla sicurezza informatica. Già simulare un singolo volto e una singola voce in maniera perfettamente realistica è piuttosto impegnativo, figuriamoci simularne due, tre o più contemporaneamente. La potenza di calcolo necessaria sarebbe formidabile. Non c’è per caso qualche altra spiegazione a quello che è successo?

[The Standard presenta una ricostruzione un po’ diversa degli eventi: solo il direttore finanziario sarebbe stato simulato e gli altri quattro o sei partecipanti sarebbero stati reali. “An employee of a multinational company received a message from the scammer, who claimed to be the "Chief Financial Officer" of the London head office, asking to join an encrypted virtual meeting with four to six staffers. The victim recalled that the "CFO" spent most of the time giving investment instructions, asking him to transfer funds to different accounts, and ending the meeting in a hurry. He found that he was cheated after he made 15 transactions totaling HK$200 million to five local accounts within a week and reported to the police. It was discovered that the speech of the "CFO" was only a virtual video generated by the scammer through deepfake. Police said other employees of the same company were also instructed to attend the meeting.”]

Otto mesi dopo, cioè pochi giorni fa, un esperto di sicurezza, Brandon Kovacs, affascinato da quella truffa milionaria, ha dimostrato alla conferenza di hacking DEF CON che in realtà una videoconferenza nella quale tutti i partecipanti, tranne la vittima, sono in realtà delle simulazioni indistinguibili dagli originali è fattibile, ed è fattibile con apparecchiature piuttosto modeste e sicuramente alla portata economica di una banda di criminali che spera in un bottino di svariati milioni di dollari.

La parte più impegnativa di quest’impresa è procurarsi delle riprese video delle persone da simulare. Queste registrazioni servono per addestrare un’intelligenza artificiale su misura a generare un deepfake in tempo reale della persona specifica. Ma oggigiorno praticamente chiunque lavori in un’azienda ha ore e ore di riprese video che lo riguardano nel contesto ideale per addestrare un’intelligenza artificiale: le registrazioni delle videoconferenze di lavoro alle quali ha partecipato.

Kovacs ha messo alla prova quest’ipotesi: è possibile creare un clone video di qualcuno usando solo informazioni pubblicamente disponibili e software a sorgente aperto, cioè open source?

La risposta è sì: insieme a una collega, Alethe Denis, di cui aveva le registrazioni pubblicamente disponibili delle sue interviste, podcast e relazioni a conferenze pubbliche, ha addestrato un’intelligenza artificiale e si è procurato una fotocamera digitale reflex professionale, delle luci, una parrucca somigliante ai capelli della collega, un telo verde e del software, e ha usato il deepfake generato in tempo reale come segnale di ingresso del microfono e della telecamera per una sessione di Microsoft Teams, nella quale ha parlato con i figli della collega, spacciandosi per lei in voce e in video in diretta. I figli ci sono cascati completamente, e se un figlio non si accorge che sua mamma non è sua mamma, vuol dire che l’inganno è più che adeguato.

Creare un deepfake del genere, insomma, non è più un’impresa: il sito tecnico The Register nota che un software come DeepFaceLab, che permette di addestrare un modello per creare un deepfake di una persona specifica, è disponibile gratuitamente. Anche il software per l’addestramento della voce esiste in forma open source e gratuita: è il caso per esempio di RVC. E la scheda grafica sufficientemente potente da generare le immagini del volto simulato in tempo reale costa circa 1600 dollari.

In pratica, Kovacs ha creato un kit per deepfake pronto per l’uso [mini-demo su LinkedIn]. Un kit del genere moltiplicato per il numero dei partecipanti a una videoconferenza non è a buon mercato per noi comuni mortali, ma è sicuramente una spesa abbordabile per un gruppo di criminali se la speranza è usarlo per intascare illecitamente 25 milioni di dollari. E quindi l’ipotesi della polizia di Hong Kong è plausibile.

Non ci resta che seguire i consigli di questa stessa forza di polizia per prevenire questo nuovo tipo di attacco:

• primo, avvisare che esiste, perché molti utenti non immaginano nemmeno che sia possibile;
• secondo, non pensare che il numero dei partecipanti renda particolarmente difficile questo reato;
• e terzo, abituare e abituarsi a confermare sempre le identità delle persone che vediamo in video facendo loro delle domande di cui solo loro possono sapere la risposta.

E così la demolizione della realtà fatta dall’intelligenza artificiale prosegue inesorabile in entrambe queste storie: non possiamo più fidarci di nessuna immagine, né fissa né in movimento, ma possiamo fare affidamento su una costante umana che non varia nel tempo: la capacità e la passione universale di trovare il modo di usare qualunque tecnologia per imbrogliare il prossimo.

Fonte aggiuntiva: Lights, camera, AI! Real-time deepfakes coming to DEF CON, The Register.