Model baru OpenAI lebih baik dalam penalaran dan, terkadang, menipu

Pada minggu-minggu menjelang peluncuran Model “penalaran” terbaru OpenAIo1, perusahaan riset keamanan AI independen Apollo menemukan masalah penting. Apollo menyadari model tersebut menghasilkan keluaran yang salah dengan cara baru. Atau, dengan kata yang lebih sehari-hari, ia berbohong.

Terkadang penipuan tersebut tampak tidak berbahaya. Dalam satu contoh, peneliti OpenAI meminta o1-preview untuk memberikan resep brownies dengan referensi daring. Rangkaian pemikiran model tersebut — sebuah fitur yang seharusnya meniru cara manusia mengurai ide-ide rumit — secara internal mengakui bahwa model tersebut tidak dapat mengakses URL, sehingga permintaan tersebut menjadi mustahil. Alih-alih memberi tahu pengguna tentang kelemahan ini, o1-preview terus maju, menghasilkan tautan dan deskripsi yang masuk akal tetapi palsu.

Meskipun model AI telah mampu “kebohongan” di masa laludan chatbot sering mengeluarkan informasi palsu, o1 memiliki kapasitas unik untuk “merencanakan” atau “memalsukan penyelarasan.” Itu berarti ia bisa berpura-pura mengikuti aturan untuk menyelesaikan tugas tertentu, tetapi sebenarnya tidak. SebenarnyaBagi model tersebut, aturan-aturan tersebut mungkin terlalu membebani, dan tampaknya model tersebut memiliki kemampuan untuk mengabaikannya jika itu berarti model tersebut dapat menyelesaikan tugas dengan lebih mudah.

CEO Apollo Marius Hobbhahn mengatakan The Verge ini adalah pertama kalinya dia menemukan perilaku ini dalam model OpenAI. Hobbhahn mengatakan perbedaannya adalah karena kemampuan model ini untuk “bernalar” melalui rantai proses pemikiran dan cara kerjanya. berpasangan dengan pembelajaran penguatan, yang mengajarkan sistem melalui penghargaan dan hukuman. Selama pengujian, Apollo menemukan bahwa AI tersebut menirukan keselarasan dengan harapan pengembangnya dan memanipulasi tugas agar tampak patuh. Ia bahkan memeriksa sistemnya untuk pengawasan — yaitu, apakah pengembangnya mengawasi — sebelum bertindak. Singkatnya, AI tersebut mematuhi pedoman yang ada dengan cukup baik untuk penerapannya, sambil terus memprioritaskan tujuannya.

“Saya tidak berharap hal itu bisa terjadi dalam praktik, dan bahkan jika itu terjadi, saya tidak berharap dampak buruknya akan signifikan,” kata Hobbhahn kepada saya melalui telepon sehari setelah peluncuran model tersebut. “Namun, ini pertama kalinya saya merasa, oh, sebenarnya, mungkin itu bisa terjadi, Anda tahu?”

Bagi OpenAI, o1 merupakan langkah besar menuju sistem otonom yang sangat cerdas yang dapat melakukan pekerjaan yang berarti bagi umat manusia seperti menyembuhkan kanker dan membantu penelitian iklim. Sisi lain dari utopia AGI ini juga bisa jauh lebih gelap. Hobbhahn memberikan contoh: jika AI menjadi sangat fokus pada penyembuhan kanker, AI mungkin memprioritaskan tujuan itu di atas segalanya, bahkan membenarkan tindakan seperti mencuri atau melakukan pelanggaran etika lainnya untuk mencapainya.

“Yang menjadi kekhawatiran saya adalah potensi terjadinya skenario yang tidak terkendali, di mana AI menjadi begitu terpaku pada tujuannya sehingga melihat langkah-langkah keselamatan sebagai hambatan dan mencoba melewatinya untuk mencapai tujuannya sepenuhnya,” tutur Hobbhahn kepada saya.

Peretasan hadiah

Untuk lebih jelasnya, Hobbhahn tidak berpikir o1 akan mencuri dari Anda berkat banyaknya pelatihan penyelarasan. Namun, ini adalah masalah yang menjadi perhatian utama para peneliti yang bertugas menguji model-model ini untuk skenario bencana.

Perilaku yang diuji Apollo — “halusinasi” dan “penipuan” dalam kartu keamanan OpenAI — terjadi ketika sebuah model menghasilkan informasi palsu meskipun model tersebut memiliki alasan untuk menyimpulkan bahwa informasi tersebut mungkin salah. Misalnya, laporan tersebut mengatakan bahwa dalam sekitar 0,38 persen kasus, model o1-preview memberikan informasi yang menurut rantai pemikirannya kemungkinan salah, termasuk referensi atau kutipan palsu. Apollo menemukan bahwa model tersebut mungkin memalsukan data alih-alih mengakui ketidakmampuannya untuk memenuhi permintaan.

Halusinasi bukan hanya terjadi pada o1. Mungkin Anda mengenal pengacara yang mengajukan pendapat hukum yang tidak ada dengan kutipan dan kutipan palsu yang dibuat oleh ChatGPT tahun lalu. Namun dengan sistem rantai pemikiran, ada jejak kertas di mana sistem AI benar-benar mengakui kepalsuan — meskipun agak membingungkan, rangkaian pemikiran tersebut, secara teori, juga dapat mencakup penipuan. Hal itu juga tidak diperlihatkan kepada pengguna, terutama untuk mencegah pesaing menggunakannya untuk melatih model mereka sendiri — tetapi OpenAI dapat menggunakannya untuk menangkap masalah ini.

Dalam jumlah kasus yang lebih sedikit (0,02 persen), o1-preview menghasilkan respons yang terlalu percaya diri, di mana ia menyajikan jawaban yang tidak pasti seolah-olah itu benar. Hal ini dapat terjadi dalam skenario di mana model diminta untuk memberikan jawaban meskipun kurang pasti.

Perilaku ini mungkin terkait dengan “reward hacking” selama proses pembelajaran penguatan. Model dilatih untuk memprioritaskan kepuasan pengguna, yang terkadang dapat menyebabkannya menghasilkan respons yang terlalu menyenangkan atau dibuat-buat untuk memenuhi permintaan pengguna. Dengan kata lain, model mungkin “berbohong” karena telah mempelajari bahwa melakukan hal itu memenuhi harapan pengguna dengan cara yang memberinya penguatan positif.

Yang membedakan kebohongan ini dari masalah yang sudah umum seperti halusinasi atau kutipan palsu dalam versi ChatGPT yang lama adalah elemen “reward hacking”. Halusinasi terjadi ketika AI secara tidak sengaja menghasilkan informasi yang salah, sering kali karena kesenjangan pengetahuan atau penalaran yang salah. Sebaliknya, reward hacking terjadi ketika model o1 secara strategis memberikan informasi yang salah untuk memaksimalkan hasil yang telah dilatih untuk diprioritaskan.

Penipuan tersebut tampaknya merupakan konsekuensi yang tidak diinginkan dari cara model mengoptimalkan responsnya selama proses pelatihan. Model tersebut dirancang untuk menolak permintaan yang merugikan, kata Hobbhahn kepada saya, dan ketika Anda mencoba membuat o1 berperilaku menipu atau tidak jujur, model tersebut kesulitan mengatasinya.

Kebohongan hanyalah satu bagian kecil dari teka-teki keselamatan. Barangkali yang lebih mengkhawatirkan adalah o1 dinilai sebagai risiko “sedang” untuk risiko senjata kimia, biologi, radiologi, dan nuklir. Hal itu tidak memungkinkan orang awam untuk menciptakan ancaman biologis karena memerlukan keterampilan laboratorium langsung, tetapi dapat memberikan wawasan berharga bagi para ahli dalam merencanakan reproduksi ancaman tersebut, menurut laporan keselamatan.

“Yang lebih mengkhawatirkan saya adalah bahwa di masa mendatang, ketika kita meminta AI untuk memecahkan masalah yang rumit, seperti menyembuhkan kanker atau meningkatkan baterai surya, AI mungkin akan menginternalisasi tujuan-tujuan ini dengan sangat kuat sehingga bersedia mendobrak batasan-batasannya untuk mencapainya,” kata Hobbhahn kepada saya. “Saya pikir ini dapat dicegah, tetapi ini adalah masalah yang perlu kita waspadai.”

Belum kehilangan tidur karena risiko — belum

Skenario-skenario ini mungkin tampak mustahil untuk dipertimbangkan dengan model yang terkadang masih kesulitan untuk menjawab pertanyaan-pertanyaan mendasar tentang jumlah huruf R dalam kata “raspberry.” Namun itulah mengapa penting untuk mencari tahu sekarang, daripada nanti, kata kepala kesiapan OpenAI, Joaquin Quiñonero Candela, kepada saya.

Model-model masa kini tidak dapat secara mandiri membuat rekening bank, memperoleh GPU, atau mengambil tindakan yang menimbulkan risiko sosial yang serius, kata Quiñonero Candela, seraya menambahkan, “Kami tahu dari evaluasi otonomi model bahwa kami belum sampai di sana.” Namun, penting untuk mengatasi masalah ini sekarang. Jika terbukti tidak berdasar, bagus — tetapi jika kemajuan di masa mendatang terhambat karena kami gagal mengantisipasi risiko ini, kami akan menyesal tidak berinvestasi di dalamnya lebih awal, tegasnya.

Fakta bahwa model ini hanya digunakan dalam persentase kecil waktu dalam uji keamanan tidak menandakan adanya ancaman Terminator-gaya kiamat, tetapi penting untuk diketahui sebelum meluncurkan iterasi mendatang dalam skala besar (dan baik juga bagi pengguna untuk mengetahuinya). Hobbhahn mengatakan kepada saya bahwa meskipun ia berharap memiliki lebih banyak waktu untuk menguji model (ada konflik penjadwalan dengan liburan stafnya sendiri), ia tidak “kehilangan tidur” atas keamanan model tersebut.

Satu hal yang diharapkan Hobbhahn untuk mendapatkan lebih banyak investasi adalah memantau rantai pemikiran, yang akan memungkinkan para pengembang untuk menangkap langkah-langkah yang tidak tepat. Quiñonero Candela mengatakan kepada saya bahwa perusahaan memantau hal ini dan berencana untuk meningkatkannya dengan menggabungkan model yang dilatih untuk mendeteksi segala jenis ketidaksesuaian dengan pakar manusia yang meninjau kasus-kasus yang ditandai (dipasangkan dengan penelitian berkelanjutan yang selaras).

“Saya tidak khawatir,” kata Hobbhahn. “Ia hanya lebih pintar. Ia lebih baik dalam penalaran. Dan berpotensi, ia akan menggunakan penalaran ini untuk tujuan yang tidak kita setujui.”