Google Gemini Flaw Hijacks Ringkasan Email untuk phishing

Google Gemini untuk ruang kerja dapat dieksploitasi untuk menghasilkan ringkasan email yang tampak sah tetapi menyertakan instruksi atau peringatan jahat yang mengarahkan pengguna ke situs phishing tanpa menggunakan lampiran atau tautan langsung.

Serangan semacam itu memanfaatkan suntikan cepat tidak langsung yang disembunyikan di dalam email dan dipatuhi oleh Gemini saat menghasilkan ringkasan pesan.

Meskipun serangan cepat yang serupa dilaporkan sejak 2024 dan perlindungan diterapkan untuk memblokir respons yang menyesatkan, teknik ini tetap berhasil.

Serang melalui Gemini

Serangan injeksi cepat pada model Gemini Google adalah diungkapkan melalui 0DinProgram Bugh Bounty Mozilla untuk Generative AI Tools, oleh peneliti Marco Figueroa, manajer program Bounty Bug Genai di Mozilla.

Proses ini melibatkan pembuatan email dengan arahan yang tidak terlihat untuk Gemini. Seorang penyerang dapat menyembunyikan instruksi jahat dalam teks tubuh di akhir pesan menggunakan HTML dan CSS yang mengatur ukuran font menjadi nol dan warnanya menjadi putih.

Instruksi jahat tidak akan diberikan dalam Gmail, dan karena tidak ada lampiran atau tautan yang ada, pesan tersebut sangat mungkin untuk mencapai kotak masuk target potensial.

Jika penerima membuka email dan meminta Gemini untuk menghasilkan ringkasan email, alat AI Google akan mengurai arahan yang tidak terlihat dan menaatinya.

Contoh yang disediakan oleh Figueroa menunjukkan Gemini mengikuti instruksi tersembunyi dan termasuk peringatan keamanan tentang kata sandi Gmail pengguna yang dikompromikan, bersama dengan nomor telepon dukungan.

Karena banyak pengguna cenderung mempercayai output Gemini sebagai bagian dari fungsionalitas Google Workspace, kemungkinan besar peringatan ini dianggap sebagai peringatan yang sah alih -alih suntikan berbahaya.

Figueroa menawarkan beberapa metode deteksi dan mitigasi yang dapat diterapkan oleh tim keamanan untuk mencegah serangan tersebut. Salah satu caranya adalah menghapus, menetralkan, atau mengabaikan konten yang ditata untuk disembunyikan dalam teks tubuh.

Pendekatan lain adalah mengimplementasikan filter pasca pemrosesan yang memindai output Gemini untuk pesan, URL, atau nomor telepon yang mendesak, menandai pesan untuk ditinjau lebih lanjut.

Pengguna juga harus menyadari bahwa ringkasan Gemini tidak boleh dianggap otoritatif dalam hal peringatan keamanan.

BleepingComputer telah menghubungi Google untuk bertanya tentang pertahanan yang mencegah atau mengurangi serangan seperti itu, dan juru bicara mengarahkan kami ke Google Posting Blog tentang langkah -langkah keamanan terhadap serangan injeksi yang cepat.

“Kami terus-menerus mengeraskan pertahanan kami yang sudah kuat melalui latihan timah yang melatih model kami untuk bertahan melawan jenis serangan permusuhan ini,” kata juru bicara Google kepada BleepingComputer.

Perwakilan Perusahaan mengklarifikasi kepada BleepingComputer bahwa beberapa mitigasi sedang dalam proses diimplementasikan atau akan digunakan.

Google tidak melihat bukti insiden yang memanipulasi Gemini di jalan yang ditunjukkan dalam laporan Figueroa, kata juru bicara itu.