Para peneliti di Google Threat Intelligence Group (GTIG) mengatakan bahwa eksploitasi zero-day yang menargetkan alat administrasi web sumber terbuka yang populer kemungkinan besar dihasilkan menggunakan AI.
Eksploitasi ini dapat dimanfaatkan untuk melewati perlindungan otentikasi dua faktor (2FA) pada alat administrasi sistem berbasis web sumber terbuka dan populer yang masih belum disebutkan namanya.
Meskipun serangan tersebut berhasil digagalkan sebelum fase eksploitasi massal, insiden tersebut menunjukkan bahwa pelaku ancaman lebih mengandalkan bantuan AI untuk upaya penemuan dan eksploitasi kerentanan mereka.
Berdasarkan struktur dan konten kode eksploitasi Python, Google sangat yakin bahwa musuh menggunakan model AI untuk menemukan dan mempersenjatai kerentanan.
“Misalnya, skrip berisi banyak sekali dokumen pendidikan, termasuk skor CVSS yang berhalusinasi, dan menggunakan format Pythonic buku teks terstruktur yang sangat khas dari data pelatihan LLM,” kata GTIG dalam laporannya hari ini.
Model bahasa besar (LLM) yang digunakan untuk tugas jahat ini masih belum jelas, namun Google mengesampingkan kemungkinan bahwa Gemini terlibat dalam proses tersebut.
Bukti tambahan yang menunjukkan penggunaan alat LLM dalam proses penemuan adalah sifat dari cacat tersebut – bug logika semantik tingkat tinggi yang dapat diidentifikasi dengan baik oleh sistem AI, dibandingkan masalah kerusakan memori atau sanitasi masukan yang biasanya ditemukan melalui analisis fuzzing atau statis.
Google memberi tahu pengembang perangkat lunak tentang ancaman signifikan dan tindakan tepat waktu untuk menghentikan serangan tersebut.
“Untuk pertama kalinya, GTIG mengidentifikasi pelaku ancaman menggunakan eksploitasi zero-day yang kami yakini dikembangkan dengan AI,” kata peneliti GTIG.
Terlepas dari kasus ini, Google mencatat bahwa peretas Tiongkok dan Korea Utara, seperti APT27, APT45, UNC2814, UNC5673, dan UNC6201, telah menggunakan model AI untuk penemuan kerentanan dan pengembangan eksploitasi, melanjutkan tren yang diamati di laporan bulan Februari.
Pelaku yang terkait dengan Rusia juga terlihat menggunakan kode umpan yang dihasilkan AI untuk mengaburkan malware seperti CANFAIL dan LONGSTREAM.
Sumber: Google
Google juga menyoroti operasi Rusia dengan nama sandi “Overload,” di mana pelaku ancaman rekayasa sosial menggunakan kloning suara AI untuk menyamar sebagai jurnalis sungguhan dalam video palsu yang mempromosikan narasi anti-Ukraina.
Itu Pintu belakang PromptSpy untuk Androidyang didokumentasikan oleh ESET awal tahun ini, juga disorot dalam laporan Google karena integrasinya dengan API Gemini untuk interaksi perangkat otonom.
Namun, Google juga menemukan modul agen otonom bernama “GeminiAutomationAgent” yang menggunakan perintah hardcode untuk memungkinkan malware berinteraksi dengan perangkat secara otomatis.
Menurut para peneliti, peran prompt adalah untuk menetapkan persona yang ramah sehingga dapat melewati fitur keselamatan LLM. Tujuannya adalah untuk menghitung geometri batas antarmuka pengguna, yang dapat digunakan PromptSpy untuk berinteraksi dengan perangkat dalam berbagai cara.
Selain itu, malware ini memanfaatkan kemampuan berbasis AI untuk memutar ulang autentikasi pada perangkat, baik dalam bentuk pola kunci atau PIN, kata peneliti Google.
Perusahaan ini memperingatkan bahwa pelaku ancaman kini melakukan industrialisasi akses ke model AI premium menggunakan pembuatan akun otomatis, relay proxy, dan infrastruktur pengumpulan akun.
99% Mitos yang Ditemukan Masih Belum Ditambal.
AI menyatukan empat zero-day menjadi satu eksploitasi yang melewati penyaji dan sandbox OS. Gelombang eksploitasi baru akan datang.
Pada Autonomous Validation Summit (12 & 14 Mei), lihat bagaimana validasi yang otonom dan kaya konteks menemukan hal-hal yang dapat dieksploitasi, membuktikan bahwa kontrol tetap berlaku, dan menutup siklus remediasi.
