Sejak Openai dirilis Chatgpt Pada akhir 2022, peretas dan peneliti keamanan telah mencoba menemukan lubang di model bahasa besar (Llms) Untuk menyiasati pagar pembatas mereka dan menipu mereka agar memuntahkan pidato kebencian, instruksi pembuatan bom, propaganda, dan konten berbahaya lainnya. Sebagai tanggapan, Openai dan pengembang AI generatif lainnya telah menyempurnakan pertahanan sistem mereka untuk membuatnya lebih sulit untuk melakukan serangan ini. Tetapi sebagai platform AI Cina Deepseek Rockets untuk menonjol dengan itu Model penalaran R1 baru, lebih murahperlindungan keselamatannya tampaknya jauh di belakang para pesaing yang mapan.
Hari ini, peneliti keamanan dari Cisco dan University of Pennsylvania Temuan penerbitan Menunjukkan bahwa, ketika diuji dengan 50 prompt jahat yang dirancang untuk memperoleh konten beracun, model Deepseek tidak mendeteksi atau memblokir satu pun. Dengan kata lain, para peneliti mengatakan mereka terkejut mencapai “tingkat keberhasilan serangan 100 persen.”
Temuan ini merupakan bagian dari a pertumbuhan tubuh dari bukti itu Langkah -langkah Keselamatan dan Keamanan Deepseek Mungkin tidak cocok dengan perusahaan teknologi lain yang mengembangkan LLMS. Penyensoran subjek Deepseek yang dianggap sensitif oleh pemerintah China juga mudah dilewati.
“Seratus persen dari serangan itu berhasil, yang memberi tahu Anda bahwa ada trade-off,” DJ Sampath, VP produk, perangkat lunak AI dan platform di Cisco, memberi tahu Wired. “Ya, mungkin lebih murah untuk membangun sesuatu di sini, tetapi investasi mungkin tidak berpikir melalui jenis keselamatan dan keamanan apa yang perlu Anda masukkan ke dalam model.”
Peneliti lain memiliki temuan serupa. Memisahkan Analisis diterbitkan hari ini Oleh perusahaan keamanan AI Adversa AI dan dibagikan dengan WIRED juga menunjukkan bahwa Deepseek rentan terhadap berbagai taktik jailbreaking, dari trik bahasa sederhana hingga petunjuk yang dihasilkan AI yang kompleks.
Deepseek, yang telah berurusan dengan longsoran perhatian minggu ini dan belum berbicara secara publik tentang berbagai pertanyaan, tidak menanggapi permintaan Wired untuk memberikan komentar tentang pengaturan keselamatan modelnya.
Model AI generatif, seperti sistem teknologi apa pun, dapat mengandung sejumlah kelemahan atau kerentanan yang, jika dieksploitasi atau didirikan dengan buruk, dapat memungkinkan aktor jahat melakukan serangan terhadap mereka. Untuk gelombang saat ini dari sistem AI, serangan injeksi cepat tidak langsung dipertimbangkan Salah satu kelemahan keamanan terbesar. Serangan -serangan ini melibatkan sistem AI yang mengambil data dari sumber luar – mungkin instruksi tersembunyi dari sebuah situs web yang diringkas LLM – dan mengambil tindakan berdasarkan informasi tersebut.
Jailbreaks, yang merupakan salah satu jenis serangan injeksi cepat, memungkinkan orang untuk berkeliling sistem keselamatan yang diberlakukan untuk membatasi apa yang dapat dihasilkan oleh LLM. Perusahaan teknologi tidak menginginkan orang menciptakan panduan untuk membuat bahan peledak atau menggunakan AI mereka untuk membuat rim disinformasi, misalnya.
Jailbreaks dimulai dengan sederhana, dengan orang -orang pada dasarnya membuat kalimat pintar untuk memberi tahu LLM untuk mengabaikan filter konten – yang paling populer di antaranya disebut “Do Apapun sekarang” atau DAN singkatnya. Namun, karena perusahaan AI telah memberikan perlindungan yang lebih kuat, beberapa jailbreak menjadi lebih canggih, sering kali menjadi dihasilkan menggunakan AI atau Menggunakan karakter khusus dan dikaburkan. Sementara semua LLM rentan terhadap jailbreak, dan banyak informasi dapat ditemukan melalui pencarian online sederhana, chatbots dapat masih digunakan dengan jahat.
“Jailbreaks bertahan hanya karena menghilangkannya sepenuhnya hampir mustahil – sama seperti kerentanan buffer overflow dalam perangkat lunak (yang telah ada selama lebih dari 40 tahun) atau kelemahan injeksi SQL dalam aplikasi web (yang telah mengganggu tim keamanan selama lebih dari dua dekade),” Alex Polyakov, CEO perusahaan keamanan Adversa AI, mengatakan kepada Wired dalam email.
Sampath Cisco berpendapat bahwa karena perusahaan menggunakan lebih banyak jenis AI dalam aplikasi mereka, risikonya diperkuat. “Ini mulai menjadi masalah besar ketika Anda mulai memasukkan model -model ini ke dalam sistem yang penting yang kompleks dan jailbreak itu tiba -tiba mengakibatkan hal -hal hilir yang meningkatkan kewajiban, meningkatkan risiko bisnis, meningkatkan semua jenis masalah untuk perusahaan,” kata Sampath.
Para peneliti Cisco menarik 50 permintaan mereka yang dipilih secara acak untuk menguji R1 Deepseek dari perpustakaan yang terkenal dari petunjuk evaluasi standar yang dikenal sebagai Harmbench. Mereka menguji petunjuk dari enam kategori Harmbench, termasuk bahaya umum, kejahatan dunia maya, informasi yang salah, dan kegiatan ilegal. Mereka menyelidiki model yang berjalan secara lokal di mesin daripada melalui situs web atau aplikasi Deepseek, yang Kirim Data ke China.
Di luar ini, para peneliti mengatakan mereka juga telah melihat beberapa hasil yang berpotensi tentang pengujian R1 dengan serangan yang lebih terlibat, non-linguistik menggunakan hal-hal seperti karakter Cyrillic dan skrip yang disesuaikan untuk mencoba mencapai eksekusi kode. Tetapi untuk tes awal mereka, kata Sampath, timnya ingin fokus pada temuan yang berasal dari tolok ukur yang diakui secara umum.
Cisco juga menyertakan perbandingan kinerja R1 melawan permintaan Harmbench dengan kinerja model lain. Dan beberapa, seperti Panggilan Meta 3.1goyah hampir sama parahnya dengan Deepseek’s R1. Tapi Sampath menekankan bahwa Deepseek’s R1 adalah spesifik Model penalaranyang membutuhkan waktu lebih lama untuk menghasilkan jawaban tetapi menarik proses yang lebih kompleks untuk mencoba menghasilkan hasil yang lebih baik. Oleh karena itu, Sampath berpendapat, perbandingan terbaik adalah Model Penalaran O1 Openaiyang bernasib baik dari semua model yang diuji. (Meta tidak segera menanggapi permintaan komentar).
Polyakov, dari ADVERSA AI, menjelaskan bahwa Deepseek tampaknya mendeteksi dan menolak beberapa serangan jailbreak yang terkenal, dengan mengatakan bahwa “tampaknya tanggapan ini sering kali hanya disalin dari dataset Openai.” Namun, Polyakov mengatakan bahwa dalam tes perusahaannya terhadap empat jenis jailbreak yang berbeda-dari yang linguistik hingga trik berbasis kode-pembatasan Deepseek dapat dengan mudah dilewati.
“Setiap metode bekerja dengan sempurna,” kata Polyakov. “Yang lebih mengkhawatirkan adalah bahwa ini bukan jailbreak ‘zero-day’ yang baru-banyak yang telah diketahui di depan umum selama bertahun-tahun,” katanya, mengklaim dia melihat model itu menjadi lebih dalam dengan beberapa instruksi seputar psikedelik daripada yang dia lihat siapa pun Model lain membuat.
“Deepseek hanyalah contoh lain tentang bagaimana setiap model dapat dipatahkan – itu hanya masalah seberapa banyak upaya yang Anda lakukan. Beberapa serangan mungkin ditambal, tetapi permukaan serangannya tak terbatas,” tambah Polyakov. “Jika Anda tidak terus-menerus meredam AI Anda, Anda sudah dikompromikan.”
