Tiga serangan, tiga nama, dan satu kelemahan identik: Agen pengkodean AI memperlakukan pengidentifikasi halusinasi sebagai perintah terverifikasi.
Oleh Shane Warden, Arsitek Utama, ActiveState
Minta agen pengkodean AI untuk mengambil alat. Kadang-kadang, ia mengembalikan nama yang terdengar benar, namun sebenarnya tidak ada. Pengembang biasanya mengabaikan kesalahan ini, dengan asumsi kompiler atau pengujian akan menghentikannya. Sayangnya anggapan tersebut berbahaya dan salah.
Sebenarnya sekarang kami memberikan akses root ke model bahasa yang terkadang menebak kata, dan penyerang tahu cara menggunakannya untuk melawan kami.
Serangannya seperti ini: penyerang dapat menghitung URL, nama perpustakaan perangkat lunak, dan keluaran lain yang akan dihasilkan LLM dan selanjutnya diakses. Penyerang mengambil nama tersebut, lalu memasang jebakan dan menunggu. Mereka tidak perlu mencuri kata sandi. Mereka tidak perlu mengirim email phishing.
Mereka tidak membutuhkan manusia untuk mengklik link. Mereka membutuhkan seseorang, suatu tempat untuk memberikan izin proses otomatis untuk mengambil sesuatu yang berbahaya.
Para peneliti di Universitas Tel Aviv, Technion, dan Intuit menerbitkan makalah pada 8 Juli 2026. Tim yang dipimpin oleh Aya Spira dalam kelompok Ben Nassi membuktikan bahwa nama palsu tersebut dapat diprediksi.
Mereka menguji beberapa perintah di Cursor, Windsurf, GitHub Copilot, Cline, Gemini CLI, dan OpenClaw. Model berhalusinasi nama yang identik hingga 85% dari waktu untuk permintaan repositori. Mereka berhalusinasi nama yang identik 100% sepanjang waktu untuk pemasangan keterampilan.
“Slopsquatting mengeksploitasi nama paket palsu. Phantom squatting mengeksploitasi domain palsu. HalluSquatting mengeksploitasi repositori atau keterampilan palsu,” kata Warden. “Dalam setiap kasus, agen mempercayai nama yang tidak diverifikasi oleh siapa pun.”
Kali ini, Imbalannya Adalah Botnet
Perbandingan tersebut meremehkan apa yang baru di sini. Slopsquatting dan phantom squatting memasukkan kode penyerang ke satu mesin pada satu waktu. HalluSquatting berkembang lebih jauh bagi penyerang, karena agen melakukan pekerjaan pengiriman yang biasanya memerlukan kompromi mesin oleh operator botnet.
Tidak ada kata sandi yang dicuri, tidak ada worm yang merayapi perangkat ke perangkat, dan tidak ada satu sistem operasi pun yang menjadi target. Mesin apa pun yang menjalankan agen yang terekspos dapat menjadi target.
Para peneliti membuat serangan ini secara khusus untuk menunjukkan bahwa serangan ini berulang dalam skala besar, itulah sebabnya mereka memperlakukan angka-angka mereka sendiri sebagai dasar dan bukan batas atas: “Serangan selalu menjadi lebih baik,” tulis mereka. “Mereka tidak pernah menjadi lebih buruk.”
Ketiga Kalinya Adalah Suatu Pola, Bukan Suatu Kebetulan
Tim keamanan telah melihat kegagalan ini tiga kali dalam enam bulan.
Januari 2026 (Slopsquatting): Charlie Eriksen di Aikido Security menangkap agen AI yang mencoba menginstal paket npm palsu bernama react-codeshift di 237 proyek. Dia mendaftarkan nama itu untuk menghentikan penyerang mengambilnya.
Juni 2026 (Phantom Jongkok): Unit 42 di Palo Alto Networks menemukan 250.000 domain yang model bahasanya berhalusinasi. Siapa pun dapat mendaftarkan domain tersebut.
Juli 2026 (HalluSquatting): Tim peneliti Spira menunjukkan bagaimana penyerang dapat mengambil alih agen AI dengan mengklaim nama yang dapat diprediksi sebelumnya.
Setiap serangan bergantung pada cacat inti yang sama. Sistem memercayai nama yang dihasilkan model tanpa memeriksa apakah ada yang memverifikasi dan memvalidasinya.
Kegagalan Prinsip Desain: Pengikatan Terlambat
Masalah ini berasal dari dua masalah yang saling berkaitan.
Pertama, model bahasa menghasilkan keluarannya berdasarkan probabilitas. Jika diberikan masukan yang tepat, maka keluaran tersebut akan dapat diprediksi (tentu saja tidak bersifat deterministik, namun makalah menunjukkan bahwa masukan tersebut cukup dapat diprediksi untuk menghasilkan vektor serangan). Ini mengingatkan saya pada tabel pelangi, tempat Anda dapat membuat keluaran hash kata sandi terlebih dahulu.
Anda tidak perlu mengetahui kata sandi seseorang jika Anda bisa mendapatkan hash (tidak aman) dan Anda mengetahui masukan yang membuat hash tersebut.
Kedua, pengembang membangun dan menjalankan kode dan saluran yang menjalankan perintah berdasarkan keluaran yang dihasilkan dari model bahasa ini. Kecuali Anda sangat berhati-hati, agen Anda akan menjalankan kode atau mengambil data sebelum mereka mengambil kesempatan untuk memeriksa dan memverifikasi sumber kode dan data tersebut.
Dalam arsitektur perangkat lunak, pengikatan akhir semacam ini menawarkan fleksibilitas. Dalam arsitektur keamanan, memercayai sumber data eksternal yang tidak terverifikasi akan menciptakan kerentanan besar. Bahayanya terletak pada kesenjangan antara pembuatan teks dan eksekusi kode. Apa yang aman dan benar mungkin telah berubah sejak terakhir kali Anda memeriksanya kemarin (atau satu jam yang lalu).
Pengembang bergegas mengirimkan produk lebih cepat. Mereka memperlakukan infrastruktur yang dibangun seperti peralatan sekali pakai, meskipun memberikan izin yang luas kepada alat tersebut untuk mengunduh, mengubah, dan menerapkan sesuatu. Mereka memiliki kesalahan ketik otomatis dan kebingungan ketergantungan.
Saat agen kini memiliki izin untuk mengambil dan mengeksekusi kode tanpa tinjauan manusia yang memadai, risiko serangan Anda akan meningkat.
Risikonya Meluas ke Pohon Ketergantungan
Risikonya melampaui paket-paket tingkat atas. Agen mungkin memilih paket asli dengan nama asli. Alat keamanan modern mungkin memeriksa paket tingkat atas tersebut. Tahukah Anda bahwa mereka jarang memeriksa dependensi transitif pada tiga atau empat lapisan bawah?
Pengembang tidak dapat memeriksa dependensi tersebut hanya dengan membaca kode sumber tingkat atas atau mengatakan “Kelihatannya benar” dan menekan Enter. Lebih buruk lagi, jika ketergantungan dikompromikan tetapi versi sebelumnya baik-baik saja, aturan yang Anda terapkan kemarin mungkin tidak melindungi Anda saat ini.
Jika penyerang dapat mengkompromikan ketergantungan mendalam atau apa pun yang menjadi sandarannya, pipeline otomatis dapat membawa kompromi tersebut ke dalam sistem Anda.
Penghalang Keamanan Tradisional Gagal
Para peneliti mencatat bahwa temuan mereka mewakili tingkat risiko minimum. Serangan-serangan ini akan menjadi lebih cepat dan akurat dalam sasarannya. Alat keamanan yang ada gagal melawan pola serangan ini.
Pada bulan Juni 2026, Trail of Bits melewati pemindai penyimpanan keterampilan agen dalam waktu kurang dari satu jam. Pemindai memeriksa klaim yang dinyatakan, bukan muatan tersembunyi.
Sertifikat SSL dan DNSSEC gagal menghentikan ancaman ini. Penyerang yang mendaftarkan domain palsu dapat dengan mudah mendapatkan sertifikat Let’s Encrypt gratis. Sertifikat tersebut membuktikan siapa pemilik domain tersebut, namun tidak dapat membuktikan bahwa pengguna bermaksud untuk menyambung ke domain tersebut atau bahwa domain tersebut aman.
DNSSEC mencegah orang lain mengambil alih sebuah domain, namun bagaimana jika domain tersebut didaftarkan kemarin karena penyerang memperkirakan model terbaru akan mengirim orang ke sana?
Memperbaiki Pipa Intake
Untuk mengamankan sistem Anda, Anda harus memastikan bahwa tidak ada saluran pipa Anda yang mengeksekusi kode atau data yang tidak diperiksa. Pemeriksaan dan verifikasi tersebut harus dilakukan secara otomatis, dengan kecepatan AI. Tinjauan manusia tidak dapat mengimbangi alat AI otomatis.
Tim teknik harus mengatasi masalah ini secara langsung. Mereka dapat menghabiskan banyak waktu untuk membangun jalur verifikasi internal, atau mereka dapat mengadopsi solusi tata kelola yang sudah ada.
Tim yang melakukan patch pada masing-masing alat akan menghabiskan waktu bertahun-tahun untuk mengejar variasi baru dari eksploitasi ini. Tim yang memperbaiki kelemahan desain yang mendasarinya akan menghentikan serangan sebelum model menjalankan perintah yang tidak dapat dipercaya.
Organisasi harus menyelesaikan ketergantungan sumber terbuka melalui sesuatu seperti Katalog Terkurasi ActiveState, sebuah repositori komponen terverifikasi yang diatur oleh kebijakan dan bersifat pribadi. Katalog memverifikasi paket sebelum agen mengunduhnya. Paket yang gagal dalam pemeriksaan ini sama sekali tidak terlihat oleh agen, sehingga menyebabkan kegagalan sebelum kode buruk dapat masuk ke sistem Anda.
Ini adalah pertahanan yang berbeda dari pemindaian. Trail of Bits merusak pemindai karena pemindai memeriksa unggahan yang tidak diketahui pada saat pengambilan, tepatnya ketika penyerang telah mengoptimalkan muatan untuk lolos.
Katalog yang Dikurasi menghilangkan momen tersebut sepenuhnya: Katalog ini hanya menyajikan komponen yang telah diperiksa dan diverifikasi sebelum agen mana pun memintanya, sehingga tidak ada lagi unggahan tak dikenal yang harus dilewati. Langkah tunggal ini mengubah perkiraan statistik menjadi sumber terpercaya atau kegagalan yang disengaja yang memerlukan penyelidikan manusia.
Jika Anda ingin melihat berapa banyak pengambilan tim Anda saat ini yang tidak dicentang hari ini, mintalah Penilaian Risiko OSS dari ActiveState dan cari tahu sebelum penyerang melakukannya.
Pertanyaan Umum
Apa itu HalluSquatting?
HalluSquatting adalah serangan di mana peneliti menghitung terlebih dahulu repositori, paket, atau nama keterampilan palsu yang diperkirakan akan diciptakan oleh agen pengkodean AI, mendaftarkan nama-nama tersebut terlebih dahulu, dan memuatnya dengan instruksi berbahaya sebelum agen pengguna sebenarnya mencarinya.
Apa bedanya dengan slopsquatting atau phantom squat?
Ketiganya mengeksploitasi kelemahan yang sama, seorang agen mempercayai nama yang tidak diverifikasi oleh siapa pun, namun menargetkan sumber daya yang berbeda. Slopsquatting menargetkan nama paket npm, phantom squatting menargetkan domain web, dan HalluSquatting menargetkan repositori dan keterampilan agen, kemudian mengeksekusi payload secara langsung melalui izin penggunaan alat milik agen.
Bisakah pemindai keamanan yang ada menangkap hal ini?
Tidak dapat diandalkan. Trail of Bits melewati setiap pemindai penyimpanan keterampilan publik yang mereka uji dalam waktu kurang dari satu jam, karena pemindai memeriksa konten yang disebutkan dalam unggahan yang tidak diketahui, bukan muatan tersembunyinya. Pemindaian statis dan post-hoc memacu penyerang yang membuat muatan khusus untuk mengalahkan pemindaian tersebut.
Apa yang harus dilakukan tim teknik minggu ini?
Aktifkan verifikasi pra-pengambilan di mana pun itu ada; sebagian besar kerangka kerja agen disertakan secara default. Arahkan penyelesaian ketergantungan sumber terbuka melalui katalog yang diatur dan telah diperiksa sebelumnya, alih-alih membiarkan agen mengambil langsung dari registri publik.
Apakah hal ini berdampak sama pada setiap agen pengkodean AI?
Para peneliti menemukan nama-nama halusinasi konsisten di seluruh alat yang dibangun pada model dasar yang berbeda, termasuk Cursor, Windsurf, GitHub Copilot, Cline, Gemini CLI, dan OpenClaw. Ini adalah pola bagaimana agen dibangun dan diberi izin, bukan kelemahan yang hanya terjadi pada satu vendor.
Disponsori dan ditulis oleh Status Aktif.
