Su Hugging Face ci sono centinaia di modelli di IA che installano backdoor
2024-3-5 17:15:24 Author: www.securityinfo.it(查看原文) 阅读量:7 收藏

Mar 05, 2024 Hacking, In evidenza, Minacce, News, RSS


Durante un’analisi dei repository Hugging Face, i ricercatori di JFrog hanno scoperto un modello di machine learning malevolo in grado di installare una backdoor sul dispositivo della vittima, prendendone il controllo. Il team ha scoperto inoltre che esistono almeno 100 istanze che nascondono lo stesso funzionamento.

I ricercatori monitorano continuamente i repository della piattaforma scansionando i modelli caricati dagli utenti per individuare quelli malevoli. Il modello analizzato è in grado di eseguire codice sulla macchina della vittima e comunicare con il server degli attaccanti per ricevere comandi.

Il modello di ML sfrutta il formato “pickle”, usato per serializzare gli oggetti Python, che consente di eseguire codice quando viene caricato. Il repository analizzato, un modello PyTorch, tenta di aprire una reverse shell verso l’indirizzo 210.117-212-93, cercando di stabilire una connessione diretta col server degli attaccanti. L’indirizzo IP appartiene a KREOnet, “Korea Research Environment Open NETwork”, un network di ricerca della Corea del Sud usato per scopi educativi.

Pixabay

Il team di JFrog ha segnalato il problema a Hugging Face che ha eliminato il modello dalla piattaforma, ma i ricercatori hanno individuato un’altra istanza del repository con lo stesso payload, ma diverso indirizzo IP. Secondo i ricercatori, è probabile che dietro questi modelli ci sia un ricercatore o un professionista nel campo dell’IA. Un’analisi più approfondita ha dimostrato che sulla piattaforma esistono almeno altre 100 istanze di modelli PyTorch malevoli.

“Questa infiltrazione silenziosa potrebbe potenzialmente garantire l’accesso a sistemi interni critici e aprire la strada a violazioni di dati su larga scala o addirittura allo spionaggio aziendale, con un impatto non solo sui singoli utenti ma potenzialmente su intere organizzazioni in tutto il mondo, lasciando le vittime del tutto ignare di essere state compromesse” spiega Cohen.

Nonostante Hugging Face scansioni regolarmente i propri repository per individuare codice malevolo, alcune minacce possono sfuggire all’analisi. La piattaforma, inoltre, non blocca tutti i repo sospetti: in molti casi li segnala come potenzialmente pericolosi, ma gli utenti possono comunque scaricarli. È importante quindi usare soltanto modelli provenienti da fonti conosciute e ufficiali e implementare delle misure di sicurezza locali per analizzare il codice scaricato.



Altro in questa categoria


文章来源: https://www.securityinfo.it/2024/03/05/su-hugging-face-ci-sono-centinaia-di-modelli-di-ia-che-installano-backdoor/
如有侵权请联系:admin#unsafe.sh