Kelas baru serangan rantai pasokan bernama ‘slopquatting’ telah muncul dari peningkatan penggunaan alat AI generatif untuk pengkodean dan kecenderungan model untuk “berhalusinat” nama paket yang tidak ada.
Istilah slopquatting diciptakan oleh peneliti keamanan Seth Larson Sebagai putaran pada pengetik, metode serangan yang menipu pengembang untuk memasang paket berbahaya dengan menggunakan nama yang sangat mirip dengan perpustakaan populer.
Tidak seperti kesalahan ketik, slopsquatting tidak bergantung pada kesalahan ejaan. Sebaliknya, aktor ancaman dapat membuat paket berbahaya pada indeks seperti PYPI dan NPM yang dinamai sesuai dengan yang biasanya dibuat oleh model AI dalam contoh pengkodean.
A Makalah Penelitian Tentang halusinasi paket yang diterbitkan pada Maret 2025 menunjukkan bahwa dalam sekitar 20% dari kasus yang diperiksa (576.000 sampel kode Python dan JavaScript yang dihasilkan, paket yang disarankan tidak ada.
Situasinya lebih buruk pada llms sumber terbuka seperti Codellama, Deepseek, WizardCoder, dan Mistral, tetapi alat komersial seperti ChatGPT-4 masih berhalusinasi pada tingkat sekitar 5%, yang signifikan.
Sumber: arxiv.org
Sementara jumlah nama paket berhalusinasi unik yang dicatat dalam penelitian ini besar, melampaui 200.000, 43% dari mereka secara konsisten diulangi di seluruh petunjuk yang sama, dan 58% muncul kembali setidaknya sekali lagi dalam sepuluh berjalan.
Studi ini menunjukkan bahwa 38% dari nama paket berhalusinasi ini tampak terinspirasi oleh paket nyata, 13% adalah hasil dari kesalahan ketik, dan sisanya, 51%, benar -benar dibuat.
Meskipun tidak ada tanda-tanda bahwa penyerang sudah mulai mengambil keuntungan dari jenis serangan baru ini, para peneliti dari perusahaan cybersecurity open-source Socket memperingatkan bahwa nama paket berhalusinasi adalah umum, dapat diulang, dan masuk akal secara semantik, menciptakan permukaan serangan yang dapat diprediksi yang dapat dengan mudah dipersenjatai.
“Secara keseluruhan, 58% paket berhalusinasi diulang lebih dari satu kali di sepuluh run, menunjukkan bahwa sebagian besar halusinasi bukan hanya kebisingan acak, tetapi artefak berulang tentang bagaimana model menanggapi petunjuk tertentu,” menjelaskan peneliti soket.
“Pengulangan itu meningkatkan nilainya bagi penyerang, membuatnya lebih mudah untuk mengidentifikasi target slopsquatting yang layak dengan mengamati hanya sejumlah kecil output model.”
Sumber: arxiv.org
Satu-satunya cara untuk mengurangi risiko ini adalah dengan memverifikasi nama paket secara manual dan tidak pernah menganggap paket yang disebutkan dalam cuplikan kode yang dihasilkan AI adalah nyata atau aman.
Menggunakan pemindai ketergantungan, lockfile, dan verifikasi hash untuk menyematkan paket ke versi yang dikenal dan tepercaya adalah cara yang efektif untuk meningkatkan keamanan
Penelitian ini telah menunjukkan bahwa menurunkan pengaturan “suhu” AI (lebih sedikit keacakan) mengurangi halusinasi, jadi jika Anda menyukai pengkodean AI atau getaran, ini adalah faktor penting untuk dipertimbangkan.
Pada akhirnya, lebih bijaksana untuk selalu menguji kode yang dihasilkan AI di lingkungan yang aman dan terisolasi sebelum menjalankan atau menggunakannya di lingkungan produksi.
