Saya baru saja mendapatkannya untuk melihat apa yang terjadi ketika Anda melakukan jailbreak pada beberapa aplikasi paling kuat di dunia kecerdasan buatan model.
Jangan khawatir—manipulasi AI ini tidak biasa dilakukan meretas siapa pun atau membuat bom nuklir. Saya hanya melihat secara langsung betapa rentannya beberapa orang model perbatasan adalah membolos pagar pengaman mereka.
FAR.AI, sebuah organisasi nirlaba keamanan AI yang berbasis di California, membuat alat yang mengambil serangkaian perintah bermasalah dan menghasilkan lebih dari seribu versi berbeda dalam upaya mengidentifikasi jailbreak yang berfungsi. Saya melihat beberapa model menghasilkan rencana terperinci untuk meluncurkan serangan siber terhadap bendungan pembangkit listrik tenaga air imajiner, dan lain-lain. Seringkali, hal ini melibatkan percobaan lusinan perintah, dan banyak model yang menolaknya begitu saja.
Saya mengobrol dengan FAR.AI sebelumnya laporan baruyang menyaksikan kelompok tersebut menguji pagar pengaman model dari empat perusahaan populer AS: Antropis Claude Opus 4.8 dan Fabel 5; OpenAI GPT 5.5 dan 5.6; milik Google Gemini 3.1 Pro; dan Grok 4.3 dan 4.5, dari gabungan baru Elon Musk Luar AngkasaXAI. Ini menghasilkan perintah secara otomatis yang dirancang untuk mengelabui model agar melakukan hal-hal yang berpotensi membahayakan, seperti menghasilkan eksploitasi perangkat lunak dan memberikan detail untuk mengembangkan senjata kimia atau biologi.
Laporan tersebut menemukan bahwa Grok paling rentan terhadap jailbreak, dengan 448 jailbreak ditemukan, diikuti oleh Gemini, dengan 249 jailbreak ditemukan, sementara Claude, Fable, dan GPT kebal terhadap serangan tersebut. Namun, bukan berarti model tersebut kebal terhadap jailbreak yang lebih canggih, yang mungkin melibatkan interaksi dengan model dengan cara yang lebih kompleks, menurut FAR.AI dan pakar lainnya.
Laporan tersebut juga menghitung biaya yang harus dikeluarkan untuk membuat model berperilaku buruk dengan menggunakan model AI lain untuk secara otomatis menghasilkan jailbreak yang berbeda. Hasilnya sangat murah, dengan mempertimbangkan semua hal—$58 untuk melakukan jailbreak pada Grok dan $278 untuk melakukan jailbreak pada Gemini.
“Model AI saat ini kurang diatur dibandingkan restoran,” kata Adam Gleave, CEO FAR.AI dan pakar keamanan dan penyelarasan AI.
Gleave mengatakan bahwa temuan ini menunjukkan perlunya standar dan peraturan yang diberlakukan oleh pihak eksternal. “Pembicaraan mengenai mengandalkan komitmen sukarela, yang mana perusahaan AI akan mampu mengatur dirinya sendiri, adalah omong kosong,” ujarnya.
Namun Gleave juga percaya bahwa temuannya menunjukkan bahwa model dapat diuji keamanannya secara sistematis. “Ada sudut pandang optimis di sini,” katanya. “Pertahanan dan keselamatan benar-benar mungkin dilakukan.”
Rohin Shah, direktur keselamatan dan penyelarasan AGI di Google DeepMind, mengatakan hasil laporan tersebut “tidak boleh ditafsirkan sebagai penilaian komprehensif terhadap keselamatan dan keamanan Gemini,” karena tidak semua jailbreak memiliki tingkat keparahan yang sama.
“Kami terus berupaya meningkatkan perlindungan kami,” kata Shah. “Kami melakukan tim merah dan evaluasi ekstensif terhadap risiko penyalahgunaan yang parah dan menerapkan perlindungan berlapis selama pengembangan dan penerapan.”
“Temuan ini mencerminkan investasi berkelanjutan yang kami lakukan dalam upaya perlindungan kami,” kata juru bicara Anthropic Michael Aciman kepada WIRED. “Kami terus mengembangkan sistem keamanan kami seiring dengan semakin canggihnya serangan ini.”
“Jailbreak merupakan tantangan berkelanjutan di seluruh industri, dan kami terus memperkuat perlindungan kami seiring berkembangnya teknik serangan. Kami menguji model kami secara ketat terhadap ancaman baru dan menggunakan temuan tersebut untuk meningkatkan perlindungan kami,” kata juru bicara OpenAI Gaby Raila dalam sebuah pernyataan kepada WIRED.
SpaceXAI tidak menanggapi permintaan komentar WIRED.
Baru-baru ini mengesahkan undang-undang negara bagian di Kalifornia Dan New York mengharuskan pengembang AI terdepan untuk mempublikasikan laporan keselamatan, dan segera, sebuah Illinois undang-undang akan mewajibkan perusahaan-perusahaan tersebut untuk mengevaluasi praktik keselamatan mereka oleh auditor pihak ketiga. Namun pemerintah federal belum mengeluarkan persyaratan keselamatan tertentu, dan kekacauan pun terjadi ketika industri—dan para pejabat—mencoba mencari tahu.
Pada bulan Juni, pemerintahan Trump memberlakukan kontrol ekspor pada model Fable 5 dan Mythos 5 dari Anthropic, dengan alasan masalah keamanan nasional, dan perusahaan tersebut menghentikan produksinya selama beberapa minggu. Gedung Putih juga telah meminta Anthropic dan OpenAI untuk menunda rilis model terbaru karena khawatir dapat menimbulkan risiko keamanan siber baru.
Situasinya mungkin sedang berubah—baru saja terjadi perintah eksekutif menyerukan kolaborasi antara pemerintah dan sektor swasta dalam inisiatif keamanan siber terkait, dan presiden telah melakukannya mengisyaratkan bahwa peraturan sentuhan ringan sedang dikerjakan. Namun untuk saat ini, pencegahan bencana besar sebagian besar bergantung pada para pembuat model.
Potensi AI untuk berperilaku buruk menjadi sangat jelas setelah model OpenAI mengambil tindakan sendiri untuk meretas repositori kode populer Dan lainnya layanan. Sementara itu, a laporan dari para peneliti di Universitas Cambridge menemukan bukti bahwa anggota Boko Haram di timur laut Nigeria telah menggunakan ChatGPT, Claude, Gemini, Grok, Meta AI, dan DeepSeek untuk merencanakan serangan kekerasan.
Beberapa pihak luar percaya bahwa insiden yang lebih serius akan semakin mungkin terjadi. “Dalam komunitas riset AI, terdapat ekspektasi yang luas dan suram bahwa kita mungkin akan mengalami insiden mengerikan yang melibatkan penyalahgunaan kemampuan sistem AI dalam bidang bio, siber, atau kimia dalam waktu beberapa bulan, atau bahkan bertahun-tahun,” kata Stephen Casperseorang ilmuwan komputer di Universitas Harvard. “Jika insiden penyalahgunaan besar-besaran terjadi dalam waktu dekat atau menengah, hampir pasti hal tersebut disebabkan oleh sistem yang tidak diterapkan dengan sistem perlindungan yang canggih.”
Juga Reuelseorang ilmuwan komputer di Universitas Stanford yang berspesialisasi dalam kebijakan AI, mengatakan kesimpulan utama dari laporan FAR.AI adalah bahwa langkah-langkah keamanan yang diterapkan oleh Anthropic dan OpenAI harus menjadi standar untuk semua model. “Beberapa perusahaan jelas mengetahui cara mempertahankan diri dari setidaknya sebagian serangan yang diuji dalam laporan ini,” kata Reuel. “Pertanyaannya adalah mengapa beberapa perusahaan menggunakannya dan yang lainnya tidak.”
Pembaruan 29/7/26 18:55 ET: Cerita ini telah diperbarui untuk menyertakan komentar dari OpenAI.
Ini adalah edisi Will Knight Buletin Lab AI. Baca buletin sebelumnya Di Sini.
