Vlad Ionescu dan Ariel Herbert-Voss, salah satu pendiri keamanan siber rintisan JalankanSybilsejenak bingung ketika mereka AI alat tersebut, Sybil, memperingatkan mereka tentang kelemahan sistem pelanggan pada bulan November lalu.
Sybil menggunakan campuran AI yang berbeda model—dan juga beberapa trik teknis eksklusif—untuk memindai sistem komputer untuk mencari masalah yang mungkin dieksploitasi oleh peretas, seperti server yang belum dipatch atau database yang salah dikonfigurasi.
Dalam hal ini, Sybil ditandai sebuah masalah dengan penerapan GraphQL gabungan oleh pelanggan, bahasa yang digunakan untuk menentukan bagaimana data diakses melalui web melalui antarmuka pemrograman aplikasi (API). Masalah ini berarti bahwa pelanggan secara tidak sengaja membeberkan informasi rahasia.
Yang membingungkan Ionescu dan Herbert-Voss adalah bahwa untuk menemukan masalah ini diperlukan pengetahuan mendalam tentang beberapa sistem berbeda dan bagaimana sistem tersebut berinteraksi. RunSybil mengatakan mereka telah menemukan masalah yang sama dengan penerapan GraphQL lainnya—sebelum orang lain mempublikasikannya. “Kami menjelajahi internet, dan ternyata tidak ada,” kata Herbert-Voss. “Menemukan hal ini adalah langkah yang masuk akal dalam kaitannya dengan kemampuan model—sebuah langkah perubahan.”
Situasi ini menunjukkan risiko yang semakin besar. Seiring dengan semakin canggihnya model AI, kemampuannya dalam menemukan bug zero-day dan kerentanan lainnya juga terus meningkat. Kecerdasan yang sama yang dapat digunakan untuk mendeteksi kerentanan juga dapat digunakan untuk mengeksploitasinya.
Lagu Fajarseorang ilmuwan komputer di UC Berkeley yang berspesialisasi dalam AI dan keamanan, mengatakan kemajuan terbaru dalam AI telah menghasilkan model yang lebih baik dalam menemukan kelemahan. Penalaran simulasi, yang melibatkan pemecahan masalah menjadi beberapa bagian, dan AI agen, seperti penelusuran web atau menginstal dan menjalankan perangkat lunak, telah meningkatkan kemampuan siber model.
“Kemampuan keamanan siber model frontier telah meningkat secara drastis dalam beberapa bulan terakhir,” katanya. “Ini adalah titik perubahan.”
Tahun lalu, Song menciptakan sebuah benchmark yang disebut CyberGym untuk menentukan seberapa baik model bahasa besar menemukan kerentanan dalam proyek perangkat lunak sumber terbuka yang besar. CyberGym mencakup 1.507 kerentanan yang diketahui ditemukan di 188 proyek.
Pada bulan Juli 2025, Claude Sonnet 4 dari Anthropic mampu menemukan sekitar 20 persen kerentanan dalam benchmark. Pada Oktober 2025, model baru, Claude Sonnet 4.5, mampu mengidentifikasi 30 persen. “Agen AI dapat menemukan zero-day, dan dengan biaya yang sangat rendah,” kata Song.
Song mengatakan tren ini menunjukkan perlunya tindakan penanggulangan baru, termasuk meminta bantuan AI kepada para pakar keamanan siber. “Kita perlu memikirkan bagaimana agar AI dapat lebih membantu dalam bidang pertahanan, dan kita dapat mengeksplorasi pendekatan-pendekatan yang berbeda,” katanya.
Salah satu idenya adalah agar perusahaan AI terdepan berbagi model dengan peneliti keamanan sebelum peluncuran, sehingga mereka dapat menggunakan model tersebut untuk menemukan bug dan mengamankan sistem sebelum rilis umum.
Penanggulangan lainnya, kata Song, adalah memikirkan kembali bagaimana perangkat lunak dibangun. Laboratoriumnya telah menunjukkan bahwa AI dapat digunakan untuk menghasilkan kode yang lebih aman daripada yang digunakan kebanyakan programmer saat ini. “Dalam jangka panjang, kami pikir pendekatan yang dirancang secara aman ini akan sangat membantu para pembela HAM,” kata Song.
Tim RunSybil mengatakan bahwa, dalam waktu dekat, keterampilan pengkodean model AI dapat membuat peretas lebih unggul. “AI dapat menghasilkan tindakan di komputer dan menghasilkan kode, dan itu adalah dua hal yang dilakukan peretas,” kata Herbert-Voss. “Jika kemampuan tersebut meningkat, maka tindakan keamanan ofensif juga akan meningkat.”
Ini adalah edisi Will Knight Buletin Lab AI. Baca buletin sebelumnya Di Sini.
