Google telah memutuskan untuk tidak memperbaiki serangan penyelundupan ASCII baru di Gemini yang dapat digunakan untuk menipu asisten AI agar memberikan informasi palsu kepada pengguna, mengubah perilaku model, dan secara diam -diam meracuni datanya.
Ascii Smuggling adalah serangan di mana karakter khusus dari tag unicode block digunakan untuk memperkenalkan muatan yang tidak terlihat oleh pengguna tetapi masih dapat dideteksi dan diproses oleh model bahasa besar (LLM).
Ini mirip dengan serangan lain yang disajikan oleh para peneliti baru -baru ini terhadap Google Gemini, yang semuanya mengeksploitasi kesenjangan antara apa yang dilihat pengguna dan apa yang dibaca mesin, seperti melakukan Manipulasi CSS atau mengeksploitasi batasan GUI.
Sementara kerentanan LLMS terhadap serangan penyelundupan ASCII bukanlah penemuan baru, karena beberapa peneliti telah mengeksplorasi kemungkinan ini sejak munculnya alat AI generatif, tingkat risikonya sekarang berbeda[[1, 2, 3, 4].
Sebelumnya, chatbots hanya bisa dimanipulasi secara jahat oleh serangan seperti itu jika pengguna tertipu untuk menempel petunjuk yang dibuat khusus. Dengan munculnya alat AI agen seperti Gemini, yang memiliki akses luas ke data pengguna yang sensitif dan dapat melakukan tugas secara mandiri, ancamannya lebih signifikan.
Viktor Markopoulos, seorang peneliti keamanan di Firetail Cybersecurity Company, memiliki penyelundupan ASCII yang diuji Terhadap beberapa alat AI yang banyak digunakan dan menemukan bahwa Gemini (undangan atau email kalender), Deepseek (prompt), dan Grok (X posting), rentan terhadap serangan tersebut.
Claude, Chatgpt, dan Microsoft Copilot terbukti aman terhadap penyelundupan ASCII, menerapkan beberapa bentuk sanitasi input, ditemukan Firetail.
Sumber: Firetail
Mengenai Gemini, integrasinya dengan Google Workspace menimbulkan risiko tinggi, karena penyerang dapat menggunakan penyelundupan ASCII untuk menanamkan teks tersembunyi dalam undangan atau email kalender.
Markopoulos menemukan bahwa dimungkinkan untuk menyembunyikan instruksi pada judul undangan kalender, detail organizer yang ditimpa (spoofing identitas), dan menyelundupkan deskripsi atau tautan pertemuan tersembunyi.
Sumber: Firetail
Mengenai risiko dari email, peneliti menyatakan bahwa “untuk pengguna dengan LLM yang terhubung ke kotak masuk mereka, email sederhana dengan perintah tersembunyi dapat menginstruksikan LLM untuk mencari kotak masuk untuk item sensitif atau mengirim detail kontak, mengubah upaya phishing standar menjadi alat ekstraksi data otonom.”
LLMS yang diinstruksikan untuk menelusuri situs web juga dapat tersandung pada muatan tersembunyi dalam deskripsi produk dan memberi makan mereka dengan URL berbahaya untuk disampaikan kepada pengguna.
Peneliti melaporkan temuan ke Google pada 18 September tetapi raksasa teknologi menolak masalah tersebut sebagai tidak menjadi bug keamanan dan hanya dapat dieksploitasi dalam konteks serangan rekayasa sosial.
Meski begitu, Markopoulos menunjukkan bahwa serangan itu dapat menipu Gemini agar memberikan informasi palsu kepada pengguna. Dalam satu contoh, peneliti mengeluarkan instruksi tak terlihat yang diproses Gemini untuk menyajikan situs yang berpotensi berbahaya sebagai tempat untuk mendapatkan ponsel berkualitas baik dengan diskon.
Namun, perusahaan teknologi lain memiliki perspektif yang berbeda tentang jenis masalah ini. Misalnya, Amazon diterbitkan Panduan Keamanan Detail tentang topik penyelundupan karakter Unicode.
BleepingComputer telah menghubungi Google untuk klarifikasi lebih lanjut tentang bug tetapi kami belum menerima tanggapan.
Acara Validasi Keamanan Tahun Ini: KTT PICUS BAS
Bergabunglah dengan KTT Breach and Attack Simulation dan alami masa depan validasi keamanan. Mendengar dari para ahli top dan lihat caranya BAS bertenaga AI mengubah pelanggaran dan simulasi serangan.
Jangan lewatkan acara yang akan membentuk masa depan strategi keamanan Anda
