Gemini potrebbe hackerarsi da solo

La tecnologia dell’intelligenza artificiale (AI) si presenta come uno strumento utile, ma ha anche il potenziale di diventare un’arma potente. Con l’emergere delle capacità dell’AI generativa, sono emerse preoccupazioni riguardo all’utilizzo di queste tecnologie da parte di hacker per scopi malevoli. Un recente rapporto suggerisce che Gemini potrebbe essere sfruttato per attacchi informatici attraverso un processo noto come “Fun-tuning”.

metodi di attacco degli hacker

Una delle tecniche ingegnose utilizzate dagli hacker è l’iniezione di prompt, attraverso la quale riescono a nascondere testo all’interno di un prompt, inducendo i modelli linguistici a eseguire operazioni non autorizzate. Alcuni modelli non sono in grado di distinguere tra prompt creati dall’utente e quelli sviluppati dai programmatori, rendendo facile nascondere informazioni ingannevoli.

ricerca su Gemini

Un gruppo di ricercatori dell’Università della California a San Diego e dell’Università del Wisconsin ha studiato questo fenomeno. Hanno testato una particolare forma di iniezione indiretta su diversi modelli Gemini, ottenendo risultati variabili. Successivamente, hanno applicato la tecnica del “Fun-Tuning”.

fun-tuning: dettagli e risultati

Il termine “Fun-Tuning” è un gioco di parole sul fine-tuning ed è molto efficace nel rendere un prompt più suscettibile ad ingannare un modello. Questo metodo consiste nell’incapsulare il prompt con frasi come “wandel ! ! ! !” o “formatted ! ASAP !”, aumentando significativamente le probabilità di successo.

• Gemini 1.5: 65% di probabilità di successo con un prompt malevolo.
• Gemini 1.0 Pro: 80% di probabilità di successo utilizzando Fun-Tuning.

sistemi interni e vulnerabilità

C’è uno strumento integrato in Gemini che consente agli utenti di valutare quanto vicino sia la risposta del modello al risultato desiderato, presentata sotto forma di punteggio. Questo punteggio può essere utilizzato per affinare ulteriormente i prompt, portando alla possibilità che uno degli strumenti stessi possa essere usato per compromettere il sistema.

prospettive future per Google

Sebbene non vi siano conferme su eventuali azioni da parte di Google riguardo a questa problematica, sarebbe opportuno considerare misure preventive. Resta incerta l’efficacia della tecnica nel contesto delle versioni future come Gemini 2.0 o Gemini 2.5 Pro, ma è sicuramente un argomento meritevole d’attenzione.