Bisakah kita mempercayai AI untuk menulis cek kerentanan? Inilah yang kami temukan

Manajemen kerentanan selalu merupakan perlombaan. Penyerang bergerak cepat, memindai waktu, dan jika pemindai Anda tidak bisa mengikutinya, Anda dibiarkan terbuka.

Itu sebabnya Penyusup Tim Keamanan memulai proyek penelitian: Bisakah AI membantu kami membangun cek kerentanan baru lebih cepat, tanpa menjatuhkan standar tinggi untuk kualitas kami?

Lagi pula, kecepatan hanya berguna jika deteksi solid – cek yang menembakkan positif palsu (atau lebih buruk lagi, melewatkan masalah nyata) tidak membantu siapa pun.

Dalam posting ini, kami akan membagikan bagaimana kami telah bereksperimen dengan AI, apa yang bekerja dengan baik, dan di mana ia gagal.

Pendekatan satu-shot vs. agen

Kami memulai Simple: Drop Prompt ke LLM Chatbot dan lihat apakah itu bisa menulis templat nuklei. Hasilnya berantakan. Output fitur referensi yang tidak ada, meludahkan sintaks yang tidak valid, dan menggunakan pencocokan dan ekstraktor yang lemah. Ini konsisten di chatgpt, Claude, dan Gemini.

Jadi kami mencoba pendekatan agen. Tidak seperti chatbot, agen dapat menggunakan alat, pencarian materi, dan mengikuti aturan. Kami masuk dengan skeptisisme yang sehat (bencana “pengkodean” baru -baru ini tidak menginspirasi kepercayaan diri), tetapi peningkatannya segera.

Kami menggunakan Kursor agen, dan sangat cepat melihat bahwa dengan permintaan minimal, kualitas output dari proses awal jauh lebih menjanjikan.

Dari sana, kami melapisi aturan dan mengindeks repo templat inti yang dikuratori. Ini memberi agen contoh yang solid untuk dipelajari, mengurangi ketidakkonsistenan, dan mendorongnya untuk menggunakan fungsionalitas yang tepat. Kualitas templat melonjak dan jauh lebih dekat dengan apa yang kami harapkan dari insinyur kami.

Tapi itu tidak ditetapkan. Dibiarkan sendiri, agen masih membutuhkan koreksi kursus. Namun, dengan dorongan yang jelas, itu bisa menghasilkan cek yang sepertinya ditulis secara manual.

Saat itulah tujuan kami bergeser: bukan otomatisasi penuh, tetapi alat produktivitas yang membantu kami mengirimkan pemeriksaan kualitas lebih cepat tanpa menurunkan bilah.

Alur kerja kami saat ini

Proses yang telah kami pilih (untuk saat ini) menggunakan serangkaian stand standed dan aturan. Insinyur memberikan input utama, seperti:

• Halaman untuk dipukul

• Jenis pencocokan untuk digunakan (jika ada)

• Data kunci untuk mengekstrak hasil pemindaian kerentanan

Dengan yang ada, agen membangun template. Ini tidak sepenuhnya “berkode getaran,” tetapi jauh lebih cepat dan membebaskan para insinyur kami untuk menghabiskan lebih banyak waktu untuk penelitian yang lebih dalam.

Keberhasilan

Pemeriksaan Permukaan Serangan

Agen AI telah sangat berguna untuk membuat cek di mana tidak ada templat publik. Satu titik sweet: Mendeteksi panel admin yang terpapar ke internet. Cek-cek ini pada prinsipnya sederhana, tetapi menulisnya pada skala adalah memakan waktu. Dengan otomatisasi, kita dapat menghasilkan lebih banyak dari mereka, jauh lebih cepat.

Kami sering terkejut dengan berapa banyak produk yang tidak tercakup oleh pemindai utama yang kami gunakan di bawah kap mesin. Proses ini membantu kami mengisi celah -celah itu dan memberi pelanggan pandangan yang lebih lengkap tentang permukaan serangan mereka. Karena jika pemindai VM Anda tidak menandai panel yang terbuka – dan warisan Anda besar – kemungkinan Anda tidak akan tahu mereka ada di sana.

Elasticsearch tanpa jaminan

Kami membuat cek Elasticsearch tanpa jaminan sebagai kemenangan cepat untuk alur kerja agen. Templat deteksi nuklei publik ada, tetapi tidak mencakup kasus terburuk: instance dibiarkan terbuka lebar di mana siapa pun dapat membaca data. Itulah yang kami ingin deteksi dengan andal.

Apa yang kami beri makan agen:

• Tugas dalam 2-3 kalimat pendek-misalnya mendeteksi instance Elasticsearch, membuat permintaan ke X titik akhir dan kemudian permintaan tindak lanjut ke titik akhir untuk melihat apakah data benar-benar terpapar.

• Daftar target pengujian hosting server elasticsearch

• Target contoh yang rentan terhadap metode yang ingin kami uji

• Target contoh yang tidak rentan

Agen kemudian mengulangi proses kami menggunakan aturan khusus yang kami atur.

Hasil akhirnya adalah templat nuklei yang mencantumkan sumber data dan mengikuti titik akhir yang menjanjikan untuk mengkonfirmasi apakah pengguna yang tidak aautentikasi dapat membaca data – template multi -permintaan dengan pencocokan dan ekstraktor yang berfungsi yang cocok untuk pemindaian otomatis.

Masih ada input manual dan penilaian dari tim teknik keamanan kami, tetapi agen menangani pengangkatan berat yang berulang.

Tantangan

Eksplorasi kami sejauh ini bukan tanpa penghalang jalan dan pemikiran ulang.

Batas output saat ini

Bahkan dengan aturan yang ada, agen terkadang menyimpang. Salah satu contoh: itu membangun cek untuk panel admin yang terbuka tetapi tidak termasuk pencocokan yang cukup kuat, yang mengambil risiko positif palsu. Prompt ekstra cepat memperbaikinya – kami menambahkan pencocokan Favicon yang unik untuk produk itu – tetapi ini adalah pengingat bahwa agen masih membutuhkan pagar pembatas. Sampai dapat dengan andal memilih pencocokan terkuat dan memvalidasi mereka, pengawasan manusia tetap penting.

Output keriting terpotong

Kursor sering menyalurkan respons ‘curl’ melalui ‘kepala’ untuk menyimpan token. Sayangnya, ini dapat kehilangan pengidentifikasi unik yang akan membuat pencocokan yang ideal. Ini adalah fitur efisiensi, tetapi bekerja melawan kami dan kami belum sepenuhnya menyelesaikannya.

Melupakan dasar -dasarnya

Kadang -kadang kursor menghadap ke bendera nuclei sendiri, seperti -l untuk berlari melawan daftar host, dan sebaliknya membuat skrip loop manual. Kami sedang mengerjakan aturan baru untuk mengingatkannya pada fitur inti utama dan memotong ketidakefisienan itu.

Apa selanjutnya?

AI sedang dilontarkan di mana -mana sebagai peluru perak untuk mengganti tugas yang kompleks secara langsung. Dari sudut pandang kami, sebagian besar adalah hype pemasaran. Kami masih jauh dari menyerahkan rekayasa keamanan ke agen AI tanpa pengawasan ketat.

Itu tidak berarti itu tidak mungkin, tetapi untuk saat ini kami berhati -hati terhadap siapa pun yang mengklaim otomatisasi penuh. Kami akan terus mendorong AI dalam manajemen kerentanan, baik sebagai alat produktivitas dan, jika memungkinkan, menuju otomatisasi yang aman.

Tetapi intinya hari ini jelas: untuk memberikan pemeriksaan khusus berkualitas tinggi yang tidak melewatkan Vulns atau menghasilkan positif palsu, insinyur ahli tetap penting.

Penulis Bio: Benjamin Marr, Insinyur Keamanan di Penyusup

Ben adalah seorang insinyur keamanan di Intruder, di mana ia mengotomatiskan pemindaian keamanan ofensif dan melakukan penelitian keamanan. Latar belakangnya adalah sebagai penguji penetrasi bersertifikat OSWE dan insinyur perangkat lunak PHP.

Disponsori dan ditulis oleh Pengacau.