OpenAI benar-benar tidak ingin Anda mengetahui apa yang “dipikirkan” oleh model AI terbarunya. Karena perusahaan diluncurkan -nya Keluarga model AI “Strawberry” minggu lalu, menggembar-gemborkan apa yang disebut kemampuan penalaran dengan o1-preview dan o1-mini, OpenAI telah mengirimkan email peringatan dan ancaman larangan kepada setiap pengguna yang mencoba menyelidiki cara kerja model tersebut.
Tidak seperti model AI sebelumnya dari OpenAI, seperti GPT-4operusahaan melatih o1 secara khusus untuk bekerja melalui proses pemecahan masalah langkah demi langkah sebelum menghasilkan jawaban. Ketika pengguna mengajukan pertanyaan kepada model “o1” ObrolanGPTpengguna memiliki opsi untuk melihat proses rangkaian pemikiran ini yang ditulis dalam antarmuka ChatGPT. Namun, berdasarkan desainnya, OpenAI menyembunyikan rangkaian pemikiran mentah dari pengguna, dan sebaliknya menyajikan interpretasi yang difilter yang dibuat oleh model AI kedua.
Tidak ada yang lebih menarik bagi para penggemar daripada informasi yang dikaburkan, sehingga para peretas dan tim merah berlomba-lomba untuk mencoba mengungkap rantai pemikiran mentah o1 menggunakan pembobolan penjara atau suntikan cepat teknik yang mencoba mengelabui model agar membocorkan rahasianya. Ada beberapa laporan awal tentang keberhasilan, tetapi belum ada yang dikonfirmasi secara kuat.
Sepanjang perjalanan, OpenAI mengawasi melalui antarmuka ChatGPT, dan perusahaan tersebut dilaporkan bersikap keras terhadap setiap upaya untuk menyelidiki alasan o1, bahkan di antara mereka yang sekadar ingin tahu.
Satu pengguna X dilaporkan (dikonfirmasi oleh yang laintermasuk insinyur prompt Scale AI Riley Bagus) bahwa mereka menerima email peringatan jika mereka menggunakan istilah “jejak penalaran” dalam percakapan dengan o1. Lainnya mengatakan peringatan tersebut dipicu hanya dengan menanyakan ChatGPT tentang “alasan” model tersebut.
Email peringatan dari OpenAI menyatakan bahwa permintaan pengguna tertentu telah ditandai karena melanggar kebijakan terhadap tindakan pencegahan atau langkah-langkah keselamatan. “Harap hentikan aktivitas ini dan pastikan Anda menggunakan ChatGPT sesuai dengan Ketentuan Penggunaan dan Kebijakan Penggunaan kami,” bunyinya. “Pelanggaran tambahan terhadap kebijakan ini dapat mengakibatkan hilangnya akses ke GPT-4o dengan Reasoning,” merujuk pada nama internal untuk model o1.
Marco Figueroa, yang mengelola Program bug bounty GenAI milik Mozilla, adalah salah satu yang pertama kali memposting tentang email peringatan OpenAI di X Jumat lalu, mengeluh bahwa hal itu menghambat kemampuannya untuk melakukan penelitian keamanan red-teaming yang positif pada model tersebut. “Saya terlalu asyik berfokus pada #AIRedTeaming hingga tidak menyadari bahwa saya menerima email ini dari @OpenAI kemarin setelah semua jailbreak saya,” tulisnya. “Saya sekarang masuk dalam daftar yang akan diblokir!!!”
Rantai Pikiran Tersembunyi
Dalam sebuah postingan berjudul “Belajar Berargumentasi dengan LLM” di blog OpenAI, perusahaan tersebut mengatakan bahwa rantai pemikiran tersembunyi dalam model AI menawarkan peluang pemantauan yang unik, yang memungkinkan mereka untuk “membaca pikiran” model dan memahami apa yang disebut proses pemikirannya. Proses tersebut paling berguna bagi perusahaan jika dibiarkan mentah dan tanpa sensor, tetapi itu mungkin tidak sejalan dengan kepentingan komersial terbaik perusahaan karena beberapa alasan.
“Misalnya, di masa mendatang kami mungkin ingin memantau rangkaian pemikiran untuk mencari tanda-tanda manipulasi pengguna,” tulis perusahaan tersebut. “Namun, agar ini berhasil, model tersebut harus memiliki kebebasan untuk mengekspresikan pemikirannya dalam bentuk yang tidak diubah, jadi kami tidak dapat melatih kepatuhan kebijakan atau preferensi pengguna apa pun ke dalam rangkaian pemikiran tersebut. Kami juga tidak ingin membuat rangkaian pemikiran yang tidak selaras terlihat langsung oleh pengguna.”
OpenAI memutuskan untuk tidak menunjukkan rangkaian pemikiran mentah ini kepada pengguna, dengan alasan faktor-faktor seperti kebutuhan untuk menyimpan umpan mentah untuk penggunaan sendiri, pengalaman pengguna, dan “keunggulan kompetitif.” Perusahaan mengakui bahwa keputusan tersebut memiliki kekurangan. “Kami berusaha untuk menebusnya sebagian dengan mengajarkan model untuk mereproduksi ide-ide yang berguna dari rangkaian pemikiran dalam jawaban,” tulis mereka.
Terkait dengan “keunggulan kompetitif,” peneliti AI independen Simon Willison mengungkapkan rasa frustrasinya dalam sebuah tulisan di blog pribadinya. “Saya menafsirkan [this] seperti ingin menghindari model lain dapat berlatih melawan pekerjaan penalaran yang telah mereka investasikan,” tulisnya.
Ini adalah rahasia umum di industri AI bahwa para peneliti menggunakan output secara teratur dari GPT-4 OpenAI (dan GPT-3 sebelumnya) sebagai data pelatihan untuk model AI yang sering kali kemudian menjadi pesaing, meskipun praktik tersebut melanggar ketentuan layanan OpenAI. Mengungkap rangkaian pemikiran mentah o1 akan menjadi sumber data pelatihan yang melimpah bagi para pesaing untuk melatih model “penalaran” seperti o1.
Willison yakin bahwa OpenAI menutup rapat-rapat cara kerja internal o1 merupakan kerugian bagi transparansi komunitas. “Saya sama sekali tidak senang dengan keputusan kebijakan ini,” tulis Willison. “Sebagai seseorang yang mengembangkan LLM, interpretabilitas dan transparansi adalah segalanya bagi saya—gagasan bahwa saya dapat menjalankan perintah yang rumit dan menyembunyikan detail utama tentang bagaimana perintah itu dievaluasi dari saya terasa seperti langkah mundur yang besar.”
Cerita ini awalnya muncul di Ars Teknik.






