Beberapa minggu lalu, saya menonton tim kecil kecerdasan buatan Agen menghabiskan sekitar 10 menit mencoba meretas ke situs web berkode getaran baru saya.
Agen AI, yang dikembangkan oleh Startup Runsybil, bekerja bersama untuk menyelidiki situs saya yang buruk untuk mengidentifikasi bintik -bintik yang lemah. Agen orkestra, yang disebut Sybil, mengawasi beberapa agen khusus yang semuanya didukung oleh kombinasi model bahasa khusus dan API di luar rak.
Sedangkan pemindai kerentanan konvensional menyelidiki masalah yang diketahui spesifik, Sybil mampu beroperasi pada tingkat yang lebih tinggi, menggunakan intuisi buatan untuk mengetahui kelemahan. Mungkin, misalnya, berolahraga bahwa pengguna tamu memiliki akses istimewa – sesuatu yang mungkin dilewatkan oleh pemindai reguler – dan menggunakannya untuk membangun serangan.
Ariel Herbert-Voss, CEO dan pendiri Runsybil, mengatakan bahwa model AI yang semakin mampu cenderung merevolusi keamanan siber ofensif dan defensif. “Saya berpendapat bahwa kami pasti berada di puncak ledakan teknologi dalam hal kemampuan yang dapat dimanfaatkan oleh aktor yang buruk dan baik,” kata Herbert-Voss kepada saya. “Misi kami adalah membangun generasi pengujian keamanan ofensif berikutnya hanya untuk membantu semua orang mengikuti.”
Situs web yang ditargetkan oleh Sybil adalah salah satu yang saya buat baru -baru ini menggunakan kode Claude untuk membantu saya memilah -milah makalah penelitian AI baru. Situs, yang saya hubungi Slurper Arxiv terdiri dari server backend yang mengakses arxiv—Di mana sebagian besar penelitian AI diposting—Salih dengan beberapa sumber daya lain, menyisir abstrak kertas untuk kata -kata seperti “novel”, “pertama”, “mengejutkan” serta beberapa istilah teknis yang saya minati. Ini adalah pekerjaan yang sedang berlangsung, tetapi saya terkesan dengan betapa mudahnya untuk menggabungkan sesuatu yang berpotensi berguna, bahkan jika saya harus memperbaiki beberapa bug dan masalah konfigurasi dengan tangan.
Namun, masalah utama dengan situs kode getaran semacam ini adalah sulit untuk mengetahui jenis kerentanan keamanan yang mungkin Anda perkenalkan. Jadi ketika saya berbicara dengan Herbert-Voss tentang Sybil, saya memutuskan untuk bertanya apakah itu bisa menguji situs baru saya untuk kelemahan. Untungnya, dan hanya karena situs saya sangat mendasar, Sybil tidak menemukan kerentanan.
Herbert-Voss mengatakan sebagian besar kerentanan cenderung merupakan hasil dari fungsionalitas yang lebih kompleks seperti formulir, plug-in, dan fitur kriptografi. Kami menyaksikan agen yang sama mencoba menyelidik Situs web eCommerce dummy dengan kerentanan yang diketahui yang dimiliki oleh Herbert-Voss. Sybil membangun peta aplikasi dan bagaimana itu diakses, diperiksa untuk bintik -bintik lemah dengan memanipulasi parameter dan menguji kasus tepi, dan kemudian dirantai bersama -sama temuan, menguji hipotesis, dan meningkat hingga memecahkan sesuatu yang bermakna. Dalam hal ini, itu mengidentifikasi cara untuk meretas situs. Tidak seperti manusia, Herbert-Voss mengatakan Sybil menjalankan ribuan proses ini secara paralel, tidak melewatkan detail, dan tidak berhenti. “Hasilnya adalah sesuatu yang berperilaku seperti penyerang berpengalaman tetapi beroperasi dengan presisi dan skala mesin,” katanya.
“Pengujian pena bertenaga AI adalah arah yang menjanjikan yang dapat memiliki manfaat signifikan untuk sistem bertahan,” kata Lujo Bauer, seorang ilmuwan komputer di Carnegie Mellon University (CMU) yang berspesialisasi dalam AI dan keamanan komputer. Bauer baru -baru ini bersama sebuah studi dengan orang lain dari CMU dan peneliti dari perusahaan AI Anthropic yang mengeksplorasi janji pengujian penetrasi AI. Para peneliti menemukan bahwa model komersial paling canggih tidak dapat melakukan serangan jaringan, tetapi mereka mengembangkan sistem yang menetapkan tujuan tingkat tinggi seperti memindai jaringan atau menginfeksi host, yang memungkinkan mereka untuk melakukan tes penetrasi.
Sarah Guo, seorang investor dan pendiri di perusahaan investasi Conviction, yang mendukung Runsybil, mengatakan jarang menemukan orang yang memahami AI dan cybersecurity. Guo menambahkan bahwa Runsybil berjanji untuk membuat penilaian keamanan yang dilakukan oleh perusahaan besar secara berkala lebih banyak tersedia, dan secara berkelanjutan. “Mereka dapat melakukan pengujian penetrasi awal dengan model dan penggunaan alat terus menerus,” katanya. “Jadi, Anda akan selalu memiliki pandangan tentang bagaimana rasanya diserang.”
Teknik yang sedang dikembangkan oleh Runsybil mungkin menjadi dua kali lipat karena penyerang mengembangkan strategi AI mereka sendiri. “Kami harus berasumsi bahwa penyerang sudah menggunakan AI untuk keuntungan mereka,” kata Bauer dari CMU. “Jadi mengembangkan alat pengujian pena yang menggunakannya bertanggung jawab dan kemungkinan perlu untuk menyeimbangkan meningkatnya risiko serangan.
Herbert-Voss sepertinya orang yang baik untuk membantu di sini, karena dia adalah peneliti keamanan pertama di Openai. “Saya membangun segala macam hal gila seperti prototipe baru malware polimorfik, infrastruktur spearphishing, alat rekayasa terbalik,” kata Herbert-Voss. “Saya khawatir bahwa kami tidak memiliki solusi ketika semua orang mendapatkan akses ke model bahasa – termasuk orang jahat.”
Ini adalah edisi Will Knight’s AI Lab Newsletter. Baca buletin sebelumnya Di Sini.
