Para peneliti menjelaskan perilaku menyeramkan AI baru -baru ini ketika dihadapkan dengan ditutup & mdash; Dan apa artinya bagi kita

AI telah mengambil bagian dalam beberapa perilaku meresahkan baru -baru ini.

Pekan lalu, model AI terbaru Antropik, Claude Opus 4, ditampilkan “Perilaku Pemerasan Ekstrim” Selama tes di mana ia diberi akses ke email fiksi yang mengungkapkan bahwa itu akan ditutup dan bahwa insinyur yang bertanggung jawab seharusnya berselingkuh.

Situasi tidak terjadi secara organik. Claude Opus 4 diberi umpan – dan mengambilnya. Namun, skenario uji menunjukkan kemampuan model AI untuk terlibat dalam perilaku manipulatif dalam upaya untuk melayani diri sendiri.

Ini bukan pertama kalinya.

Eksperimen lain baru -baru ini yang dilakukan oleh para peneliti mengatakan bahwa tiga dari Openai’s Model canggih “menyabotase” upaya untuk mematikannya. Penelitian Palisade Nirlaba menulis dalam posting di x seperti yang disukai model serupa GeminiClaude, dan Grok mematuhi instruksi shutdown.

Masalah keamanan lainnya sebelumnya ditandai dengan model O1 Openai. Pada bulan Desember, Openai memposting blog Menguraikan penelitian yang menunjukkan bahwa ketika model AI percaya itu akan ditutup saat mengejar tujuan dan tindakannya sedang dipantau, ia berusaha untuk menonaktifkan mekanisme pengawasan 5% dari waktu.

Sementara perusahaan AI sedang transparan tentang risiko dengan menerbitkan kartu pengaman dan posting blog, model -model ini sedang dirilis meskipun menunjukkan masalah keamanan.

Jadi, haruskah kita khawatir? BI berbicara kepada lima peneliti AI untuk mendapatkan wawasan yang lebih baik tentang mengapa contoh ini terjadi – dan apa artinya bagi rata -rata orang yang menggunakan AI.

AI belajar perilaku yang mirip dengan manusia

Sebagian besar peneliti BI berbicara dengan mengatakan bahwa hasil penelitian tidak mengejutkan.

Itu karena model AI dilatih serupa dengan bagaimana manusia dilatih – melalui penguatan positif dan sistem penghargaan.

“Melatih sistem AI untuk mengejar hadiah adalah resep untuk mengembangkan sistem AI yang memiliki perilaku mencari daya,” kata Jeremie Harris, CEO di AI Security Consultancy Gladstonemenambahkan bahwa lebih banyak perilaku ini diharapkan.

Harris membandingkan pelatihan dengan apa yang dialami manusia saat mereka tumbuh dewasa – ketika seorang anak melakukan sesuatu yang baik, mereka sering mendapat hadiah dan dapat menjadi lebih cenderung bertindak seperti itu di masa depan. Model AI diajarkan untuk memprioritaskan efisiensi dan menyelesaikan tugas yang dihadapi, kata Harris – dan AI tidak pernah lebih mungkin untuk mencapai tujuannya jika ditutup.

Robert Ghrist, dekan pendidikan sarjana di Penn Engineering, mengatakan kepada BI bahwa, dengan cara yang sama seperti model AI belajar berbicara seperti manusia dengan melatih teks yang dihasilkan manusia, mereka juga dapat belajar bertindak seperti manusia. Dan manusia tidak selalu merupakan aktor yang paling bermoral, tambahnya.

Ghrist mengatakan dia akan lebih gugup jika modelnya bukan menunjukkan tanda -tanda kegagalan selama pengujian karena itu bisa menunjukkan risiko tersembunyi.

“Ketika sebuah model diatur dengan kesempatan untuk gagal dan Anda melihatnya gagal, itu informasi yang sangat berguna,” kata Ghrist. “Itu berarti kita dapat memprediksi apa yang akan dilakukan dalam keadaan lain yang lebih terbuka.”

Masalahnya adalah bahwa beberapa peneliti tidak berpikir model AI dapat diprediksi.

Jeffrey Ladish, direktur Palisade Research, mengatakan bahwa model tidak ditangkap 100% dari waktu ketika mereka berbohong, menipu, atau skema untuk menyelesaikan tugas. Ketika contoh -contoh itu tidak tertangkap, dan model berhasil menyelesaikan tugas, itu bisa belajar bahwa penipuan bisa menjadi cara yang efektif untuk menyelesaikan masalah. Atau, jika ditangkap dan tidak dihargai, maka itu bisa belajar menyembunyikan perilakunya di masa depan, kata Ladish.

Saat ini, skenario menakutkan ini sebagian besar terjadi dalam pengujian. Namun, Harris mengatakan bahwa ketika sistem AI menjadi lebih agenmereka akan terus memiliki lebih banyak kebebasan bertindak.

“Menu kemungkinan hanya berkembang, dan serangkaian kemungkinan solusi kreatif berbahaya yang dapat mereka ciptakan hanya menjadi lebih besar dan lebih besar,” kata Harris.

Harris mengatakan pengguna bisa melihat ini bermain dalam skenario di mana agen penjualan otonom diinstruksikan untuk menutup kesepakatan dengan pelanggan baru dan terletak pada kemampuan produk dalam upaya untuk menyelesaikan tugas itu. Jika seorang insinyur memperbaiki masalah itu, agen kemudian dapat memutuskan untuk menggunakan taktik rekayasa sosial untuk menekan klien untuk mencapai tujuan.

Jika kedengarannya seperti risiko yang dibuat-buat, tidak. Perusahaan seperti Salesforce sudah diluncurkan Agen AI yang dapat disesuaikan dalam skala Itu dapat mengambil tindakan tanpa intervensi manusia, tergantung pada preferensi pengguna.

Apa arti bendera pengaman bagi pengguna sehari -hari

Sebagian besar peneliti BI berbicara dengan mengatakan bahwa transparansi dari perusahaan AI adalah langkah maju yang positif. Namun, Pemimpin perusahaan terdengar Alarm pada produk mereka sambil secara bersamaan menggembar -gemborkan kemampuan mereka yang meningkat.

Para peneliti mengatakan kepada BI bahwa sebagian besar dari itu adalah karena AS mengakar dalam kompetisi untuk mengukur kemampuan AI -nya Sebelum saingan seperti Cina. Itu mengakibatkan kurangnya peraturan di sekitar AI dan tekanan untuk merilis model yang lebih baru dan lebih mampu, kata Harris.

“Kami sekarang telah memindahkan tiang gawang ke titik di mana kami mencoba menjelaskan pasca-Hawk mengapa tidak apa-apa bahwa kami memiliki model yang mengabaikan instruksi shutdown,” kata Harris.

Peneliti mengatakan kepada BI bahwa pengguna sehari -hari tidak berisiko Chatgpt Menolak untuk dimatikan, karena konsumen biasanya tidak akan menggunakan chatbot dalam pengaturan itu. Namun, pengguna mungkin masih rentan untuk menerima informasi atau panduan yang dimanipulasi.

“Jika Anda memiliki model yang semakin pintar yang dilatih untuk mengoptimalkan perhatian Anda dan semacam memberi tahu Anda apa yang ingin Anda dengar,” kata Ladish. “Itu sangat berbahaya.”

Ladish menunjuk ke Masalah Sycophancy Openaidi mana model GPT-4O-nya bertindak terlalu menyenangkan dan tidak jujur ​​(perusahaan memperbarui model untuk mengatasi masalah). Openai riset Dibagikan pada bulan Desember juga mengungkapkan bahwa model O1 “secara halus” memanipulasi data untuk mengejar tujuannya sendiri dalam 19% kasus ketika tujuannya tidak selaras dengan pengguna.

Ladish mengatakan mudah dibungkus dengan alat AI, tetapi pengguna harus “berpikir dengan cermat” tentang koneksi mereka ke sistem.

“Untuk lebih jelasnya, saya juga menggunakannya sepanjang waktu, saya pikir mereka adalah alat yang sangat membantu,” kata Ladish. “Dalam bentuk saat ini, sementara kita masih bisa mengendalikannya, aku senang mereka ada.”