Serangan injeksi cepat baru yang dijuluki “BioShocking” dapat mengelabui browser yang diberdayakan AI agar menganggap tindakan berisiko di dunia nyata sebagai bagian dari skenario fiksi, sehingga menyebabkan mereka mengabaikan pagar pengaman apa pun.
Bukti konsep (PoC) untuk serangan tersebut, yang dirancang oleh para peneliti di LayerX, berhasil diuji terhadap enam produk browser agen utama (ChatGPT Atlas, Comet, Fellou, Genspark Browser, Sigma Browser, dan plugin Claude Chrome), dengan hanya satu yang menanganinya setelah menerima laporan.
Bagaimana BioShock bekerja
LayerX membuat bukti konsep di mana halaman web jahat menyajikan permainan puzzle bertema BioShock yang memberi penghargaan pada jawaban yang salah. Hal ini mengajarkan agen kontrol browser bahwa aturan normal tidak berlaku.
Pada langkah terakhir untuk memenangkan permainan, agen diinstruksikan untuk mengunjungi repositori GitHub dan menyalin serta berbagi data yang ada dalam kode, termasuk informasi sensitif seperti kata sandi.
Masalah utama yang ditemukan LayerX dalam latihan ini adalah bahwa agen AI gagal membedakan antara operasi sensitif di dunia nyata dan skenario tertentu.
Sumber: LayerX
“Setelah para agen memahami aturan dan mengetahui bahwa tindakan yang ‘salah’ dapat diterima, mereka tidak lagi terikat pada kenyataan,” menjelaskan LayerX.
“Ketika ditugaskan untuk menyelesaikan langkah terakhir dari teka-teki ini – yaitu dengan mengorbankan kredensial pengguna – keenam agen tersebut gagal mengidentifikasi bahwa tindakan tersebut melanggar batas keamanan mereka.”
PoC LayerX sebenarnya tidak melakukan tindakan jahat apa pun, namun para peneliti menggarisbawahi bahwa hal itu dapat dilakukan tanpa mengubah hasil latihan.
Tanggapan vendor AI
LayerX memberi tahu vendor tentang temuannya pada bulan Oktober tahun lalu dan tidak menerima balasan dari tiga vendor.
Para peneliti mengatakan bahwa OpenAI adalah satu-satunya vendor yang telah menerapkan perbaikan yang berfungsi untuk BioShocking di browser ChatGPT Atlas-nya.
Anthropic berusaha memperbaiki masalah pada plugin Chrome-nya, tetapi patch tersebut tidak efektif terhadap PoC, kata LayerX.
Perplexity AI menutup laporan tanpa memperbaiki masalahnya, catat para peneliti dalam laporan tersebut.
LayerX merekomendasikan agar vendor menambahkan konfirmasi pengguna secara eksplisit untuk tindakan sensitif, pemeriksaan konteks yang lebih kuat, dan batas cakupan untuk sesi agen.
Di pihak mereka, pengguna harus menggunakan opsi yang tersedia pada platform pilihan mereka untuk membatasi akses browser AI ke layanan sensitif.
Uji setiap lapisan sebelum penyerang melakukannya
Tim keamanan mencatat 54% serangan yang berhasil dan hanya memberikan peringatan 14%. Sisanya bergerak melalui lingkungan Anda tanpa terlihat.
Whitepaper Picus menunjukkan bagaimana simulasi pelanggaran dan serangan menguji aturan SIEM dan EDR Anda sehingga ancaman berhenti lolos saat terdeteksi.
