Ketika sejarah dari AI ditulis, Steven Adler mungkin akan menjadi Paul Revere—atau setidaknya, salah satunya—dalam hal keselamatan.
Bulan lalu Adler, yang menghabiskan empat tahun di berbagai peran keselamatan di OpenAImenulis sepotong untuk The New York Times dengan judul yang agak mengkhawatirkan: “Saya Memimpin Keamanan Produk di OpenAI. Jangan Percayai Klaimnya Tentang ‘Erotika.’” Di dalamnya, ia menguraikan masalah yang dihadapi OpenAI ketika mengizinkan pengguna melakukan percakapan erotis dengan chatbot sekaligus melindungi mereka dari dampak apa pun yang dapat ditimbulkan oleh interaksi tersebut terhadap kesehatan mental mereka. “Tidak ada yang ingin menjadi polisi moral, tapi kami tidak punya cara untuk mengukur dan mengelola penggunaan erotis dengan hati-hati,” tulisnya. “Kami memutuskan erotika bertenaga AI harus menunggu.”
Adler menulis opininya karena CEO OpenAI Sam Altman baru-baru ini mengumumkan bahwa perusahaan akan segera mengizinkan “erotika untuk orang dewasa terverifikasi.” Sebagai tanggapan, Adler menulis bahwa dia memiliki “pertanyaan besar” tentang apakah OpenAI telah melakukan cukup banyak hal, dalam kata-kata Altman, “mengurangi” masalah kesehatan mental seputar cara pengguna berinteraksi dengan chatbot perusahaan.
Setelah membaca karya Adler, saya ingin berbicara dengannya. Dia dengan ramah menerima tawaran untuk datang ke kantor WIRED di San Francisco, dan pada episode kali ini Wawancara Besardia berbicara tentang apa yang dia pelajari selama empat tahun di OpenAI, masa depan keamanan AI, dan tantangan yang dia tetapkan untuk perusahaan yang menyediakan chatbots kepada dunia.
Wawancara ini telah diedit agar panjang dan jelasnya.
KATIE DRUMMOND: Sebelum kita mulai, saya ingin memperjelas dua hal. Satu, sayangnya Anda bukan Steven Adler yang sama yang bermain drum di Guns N’ Roses, bukan?
STEVEN ADLER: Tepat sekali.
Oke, itu bukan kamu. Dan kedua, Anda memiliki karir yang sangat panjang di bidang teknologi, dan lebih khusus lagi di bidang kecerdasan buatan. Jadi, sebelum kita membahas semuanya, ceritakan sedikit tentang karier Anda dan latar belakang Anda serta apa yang telah Anda kerjakan.
Saya telah bekerja di seluruh industri AI, khususnya berfokus pada sudut keselamatan. Baru-baru ini, saya bekerja selama empat tahun di OpenAI. Saya menangani, pada dasarnya, setiap dimensi masalah keselamatan yang dapat Anda bayangkan: Bagaimana kita membuat produk lebih baik bagi pelanggan dan menghilangkan risiko yang sudah terjadi? Dan melihat lebih jauh ke depan, bagaimana kita tahu jika sistem AI menjadi sangat berbahaya?
Sebelum bergabung dengan OpenAI, saya bekerja di sebuah organisasi bernama Partnership on AI, yang sangat memperhatikan industri ini dan berkata, Untuk tantangan-tantangan ini, beberapa di antaranya lebih luas daripada yang dapat diatasi sendiri oleh satu perusahaan. Bagaimana kita bekerja sama untuk mendefinisikan isu-isu ini, bersatu, sepakat bahwa isu-isu tersebut merupakan isu, berupaya mencari solusi, dan pada akhirnya menjadikan semuanya lebih baik?
Sekarang, saya ingin berbicara tentang kursi baris depan yang Anda miliki di OpenAI. Anda meninggalkan perusahaan pada akhir tahun lalu. Anda berada di sana selama empat tahun, dan pada saat Anda keluar, Anda pada dasarnya memimpin penelitian dan program terkait keselamatan untuk perusahaan. Ceritakan lebih banyak kepada kami tentang apa saja peran yang diperlukan.
Ada beberapa babak berbeda dalam karir saya di OpenAI. Selama sepertiga pertama waktu saya di sana, saya memimpin keamanan produk, yang berarti memikirkan tentang GPT-3, salah satu produk AI besar pertama yang mulai dikomersialkan oleh orang-orang. Bagaimana kita mendefinisikan aturan-aturan yang berlaku untuk penerapan yang bermanfaat, namun menghindari beberapa risiko yang mungkin akan kita hadapi?
Dua peran besar lainnya yang saya miliki: Saya memimpin tim evaluasi kemampuan berbahaya, yang berfokus pada menentukan bagaimana kita akan mengetahui kapan sistem menjadi lebih berbahaya. Bagaimana kita mengukurnya, apa yang kita lakukan dari sana? Lalu yang terakhir, mengenai pertanyaan kesiapan AGI secara luas. Jadi kita bisa melihat internet mulai berubah dalam berbagai hal. Kami melihat agen AI menjadi istilah yang menarik. Anda tahu, tanda-tanda awal. Mereka belum sampai di sana, tapi suatu hari nanti mereka akan mencapainya. Bagaimana kita bersiap menghadapi dunia di mana OpenAI atau salah satu pesaingnya berhasil mencapai visi ambisius yang mereka targetkan.
Mari kita mundur sedikit dan membahas tentang GPT-3. Saat Anda menentukan peraturan lalu lintas, saat Anda memikirkan risiko utama yang perlu dihindari, apa yang menarik perhatian Anda sejak awal di OpenAI?
Pada masa-masa awal itu, bahkan lebih dari sekarang, sistem AI benar-benar berperilaku tidak menentu dari waktu ke waktu. Sistem ini telah dilatih agar mampu, dan mereka menunjukkan tanda-tanda pertama dalam kemampuan melakukan beberapa tugas yang dapat dilakukan manusia. Pada saat itu, mereka dapat meniru teks yang mereka baca di internet. Namun ada sesuatu yang hilang dari mereka dalam hal kepekaan dan nilai-nilai kemanusiaan.
Jadi, jika Anda membayangkan sistem AI sebagai karyawan digital yang digunakan oleh bisnis untuk menyelesaikan suatu pekerjaan, sistem AI ini akan melakukan segala hal yang Anda tidak ingin karyawan melakukannya atas nama Anda. Dan hal itu menghadirkan berbagai macam tantangan. Kami perlu mengembangkan teknik baru untuk mengelolanya.
Saya pikir masalah besar lainnya yang masih dihadapi oleh perusahaan seperti OpenAI adalah mereka hanya memiliki begitu banyak informasi tentang bagaimana sistem mereka digunakan. Faktanya, visibilitas yang mereka miliki terhadap dampak sistem mereka terhadap masyarakat sangatlah sempit, dan sering kali hal ini kurang dibangun dibandingkan dengan apa yang dapat mereka amati jika mereka berinvestasi lebih banyak dalam memantau hal ini secara bertanggung jawab.
Jadi Anda sebenarnya hanya melihat bayangan dampak sistem terhadap masyarakat dan mencoba mencari tahu, kemana kita pergi setelah ini? dengan sepotong kecil data dampak.
Periode dari tahun 2020 hingga 2024 jelas merupakan waktu yang sangat penting bagi OpenAI. Bagaimana Anda menggambarkan budaya internal perusahaan selama masa jabatan Anda, khususnya seputar risiko? Bagaimana rasanya bekerja di lingkungan tersebut pada masalah yang Anda coba selesaikan dan pertanyaan yang ingin Anda jawab?
Ada transformasi yang sangat besar dari organisasi yang pertama-tama dan terutama melihat dirinya sebagai organisasi penelitian ketika saya bergabung menjadi organisasi yang sudah menjadi perusahaan normal dan semakin meningkat seiring berjalannya waktu. Ketika saya bergabung, ada hal yang dikatakan orang-orang, yaitu, “OpenAI bukan hanya laboratorium penelitian di lembaga nirlaba, tetapi juga memiliki cabang komersial.” Pada suatu saat dalam masa jabatan saya, saya berada di tempat yang aman di luar lokasi—saya pikir terkait dengan peluncuran GPT-4, mungkin tepat setelahnya—dan seseorang berdiri di depan ruangan dan berkata, “OpenAI bukan hanya sebuah bisnis, ini juga sebuah laboratorium penelitian.”
Itu hanyalah sebuah perubahan [point]. Saya menghitung di antara orang-orang di ruangan itu. Mungkin ada sekitar 60 orang dari kami, saya kira mungkin lima atau enam orang pernah bekerja di perusahaan tersebut sebelum peluncuran GPT-3. Jadi Anda benar-benar baru saja melihat budaya berubah di bawah kaki Anda.
Apa yang menarik bagi Anda saat pertama kali bergabung dengan perusahaan ini? Apa yang membuat Anda tertarik pada OpenAI pada tahun 2020?
Saya sangat percaya pada piagam yang telah ditetapkan oleh organisasi ini, yang mengakui bahwa AI dapat memberikan dampak yang besar, menyadari bahwa ada risiko nyata di depan, dan juga manfaat nyata, dan orang-orang perlu mencari cara untuk menavigasi hal tersebut.
Saya pikir secara lebih luas, saya menyukai teknologi dalam beberapa hal. Menurut saya ini sungguh luar biasa dan membuka mata. Saya ingat saat setelah GPT-3 diluncurkan, melihat di Twitter, seorang pengguna menunjukkan, Wah, lihat ini. Saya mengetik di browser internet saya, membuat kalkulator yang terlihat seperti semangka dan kemudian yang terlihat seperti jerapah dan Anda dapat melihatnya mengubah kode di belakang layar dan bereaksi secara real time. Ini adalah contoh mainan konyol tapi rasanya seperti sihir.
Anda tahu, saya tidak pernah benar-benar bergulat dengan hal itu. Kita bisa sedekat ini dengan orang-orang yang membangun hal-hal baru, membuka kreativitas. Semua hal ini menjanjikan, tetapi apakah orang-orang benar-benar cukup memikirkan apa yang akan terjadi?
Yang membawa kita ke bab terbaru Anda. Anda membuat keputusan pada akhir tahun lalu untuk meninggalkan OpenAI. Saya ingin tahu apakah Anda dapat berbicara sedikit tentang keputusan itu. Apakah ada satu hal yang membuat Anda terpojok? Apa itu tadi?
Ya, tahun 2024 adalah tahun yang sangat aneh di OpenAI. Banyak hal yang terjadi pada orang-orang yang bekerja di bidang keselamatan di perusahaan yang benar-benar mengguncang kepercayaan terhadap cara OpenAI dan industri menangani masalah ini. Saya sebenarnya mempertimbangkan untuk pergi beberapa kali. Namun hal itu tidak masuk akal pada saat itu. Saya memiliki banyak proyek langsung, dan saya merasakan tanggung jawab terhadap orang-orang berbeda di industri ini. Pada akhirnya, ketika Miles Brundage meninggalkan OpenAI pada musim gugur, tim kami dibubarkan. Dan pertanyaannya adalah, Apakah benar-benar ada peluang untuk terus mengerjakan topik keselamatan yang paling saya pedulikan dari dalam OpenAI?
Jadi saya mempertimbangkan hal itu, dan pada akhirnya lebih masuk akal untuk melanjutkan dan fokus pada bagaimana saya bisa menjadi suara yang mandiri, mudah-mudahan tidak hanya duduk diam dan hanya mengatakan hal-hal yang pantas untuk dikatakan dari dalam salah satu perusahaan ini. Mampu berbicara lebih bebas dengan cara yang menurut saya sangat, sangat membebaskan sejak saat itu.
Saya harus bertanya: Saya pikir biasanya di bidang teknologi, sejauh yang saya tahu, Anda akan mengumpulkan ekuitas dalam jangka waktu empat tahun, bukan? Kemudian Anda akan mendapatkan rompi penuh pada empat tahun. Apakah Anda memiliki kepentingan finansial di perusahaan sekarang?
Memang benar bahwa kontrak seringkali berdurasi empat tahun. Tapi Anda juga mendapatkan kontrak baru seiring promosi Anda dan hal-hal lain seiring berjalannya waktu, itulah yang terjadi pada saya. Jadi bukan karena saya kehabisan ekuitas atau semacamnya. Saya memiliki sebagian kecil sisa bunga karena waktu pemberian hibah dan hal-hal yang berbeda.
Saya bertanya karena Anda berpotensi meninggalkan banyak uang. Saya ingin bertanya tentang opini yang Anda terbitkan di The New York Times pada bulan Oktober. Di bagian itu, Anda menulis bahwa pada musim semi tahun 2021, tim Anda menemukan krisis terkait konten erotis yang menggunakan AI. Bisakah Anda ceritakan sedikit tentang temuan itu?
Jadi pada musim semi tahun 2021, saya baru-baru ini bertanggung jawab atas keamanan produk di OpenAI. Seperti yang dilaporkan WIRED pada saat itu, ketika kami memiliki sistem pemantauan baru yang online, kami menemukan bahwa terdapat arus lalu lintas dalam jumlah besar sehingga kami merasa terdorong untuk melakukan sesuatu. Salah satu pelanggan terkemuka kami, mereka pada dasarnya adalah permainan teks pilih petualangan Anda sendiri. Anda akan bolak-balik menggunakan AI dan memberi tahu tindakan apa yang ingin Anda ambil, dan pada dasarnya AI akan menulis cerita interaktif dengan Anda. Dan sebagian besar lalu lintas ini berubah menjadi segala macam fantasi seksual. Pada dasarnya apa pun yang dapat Anda bayangkan—terkadang didorong oleh pengguna, terkadang dipandu oleh AI, yang memiliki pemikirannya sendiri. Bahkan jika Anda tidak berniat pergi ke tempat bermain peran erotis atau jenis fantasi tertentu, AI mungkin mengarahkan Anda ke sana.
Wow. Mengapa? Mengapa hal itu mengarahkan Anda ke sana? Bagaimana sebenarnya cara AI mengarahkan Anda ke percakapan erotis?
Hal yang menarik tentang sistem ini secara umum adalah, tidak ada seorang pun yang benar-benar memahami cara mengarahkannya ke arah tertentu dengan andal. Anda tahu, terkadang orang-orang berdebat tentang nilai-nilai siapa yang kita masukkan ke dalam sistem AI, dan saya memahami perdebatan itu, namun ada pertanyaan yang lebih mendasar tentang bagaimana kita bisa memasukkan nilai-nilai apa pun ke dalamnya dengan andal. Jadi dalam kasus khusus ini, kebetulan orang-orang menemukan beberapa data pelatihan yang mendasarinya, dan dengan menyatukannya kembali, Anda bisa berkata, Oh, sistem sering kali memperkenalkan karakter-karakter yang akan melakukan penculikan dengan kekerasan, dan jika Anda melihat data pelatihan, Anda sebenarnya dapat menemukan karakter-karakter ini dengan kecenderungan tertentu dan Anda dapat melacaknya. Namun sebelumnya, tidak ada yang tahu untuk mengantisipasi hal ini.
Anda tahu, baik kami sebagai pengembang GPT-3, maupun pelanggan kami yang telah menyempurnakan model mereka, tidak menginginkan hal ini terjadi. Itu hanyalah konsekuensi yang tidak disengaja dan tidak direncanakan oleh siapa pun. Dan kami sekarang harus berurusan dengan pembersihannya dalam beberapa bentuk.
Jadi pada saat itu, OpenAI memutuskan untuk melarang konten erotis yang dibuat di platformnya. Apakah itu benar? Apakah saya memahaminya dengan benar?
Itu benar.
Pada bulan Oktober tahun ini, perusahaan mengumumkan bahwa mereka akan mencabut pembatasan tersebut. Apakah Anda punya perasaan apa yang berubah dari tahun 2021 hingga sekarang dalam hal teknologi dan alat yang dimiliki OpenAI, atau budaya internal, lanskap budaya? Apa yang berubah sehingga keputusan tersebut membuat OpenAI merasa nyaman dan Sam Altman merasa nyaman untuk mempublikasikan dirinya sendiri?
Menurut saya, ada ketertarikan yang sudah lama ada di OpenAI untuk tidak ingin menjadi polisi moral. Saya pikir ada pengakuan bahwa orang-orang yang mengembangkan dan mencoba mengendalikan sistem ini mempunyai banyak pengaruh terhadap bagaimana norma-norma yang berbeda dalam masyarakat akan berlaku dan mereka merasa tidak nyaman dengan hal itu. Juga pada titik waktu yang berbeda, tidak memiliki jenis perkakas untuk mengatur arah apa yang akan terjadi jika Anda benar-benar membiarkannya rusak. Dan itulah yang terjadi pada kami ketika menghadapi masalah erotika ini.
Salah satu alasan OpenAI menunda peluncurannya kembali adalah karena tampaknya ada peningkatan masalah terkait kesehatan mental pada platform ChatGPT tahun ini. Jadi Sam dalam pengumumannya pada bulan Oktober mengatakan ada masalah kesehatan mental yang sangat serius yang sedang kita tangani, namun kabar baiknya, kita telah memitigasinya. Kami memiliki alat baru, dan oleh karena itu, kami akan mencabut sebagian besar pembatasan ini, termasuk memperkenalkan kembali erotika untuk orang dewasa yang terverifikasi.
Hal yang saya perhatikan ketika dia membuat pengumuman ini adalah, dia menegaskan bahwa masalahnya telah diatasi. Dia menyinggung alat-alat baru ini. Apa arti sebenarnya dari hal ini? Seperti apa sebenarnya dasar bagi kami untuk memahami bahwa masalah ini telah diperbaiki? Apa yang dapat dilakukan masyarakat pada umumnya selain menuruti perkataan perusahaan AI mengenai masalah ini?
Benar, dan Anda menulisnya di The New York Times. Anda berkata, “Orang-orang berhak mendapatkan lebih dari sekadar pernyataan perusahaan bahwa mereka telah mengatasi masalah keselamatan. Dengan kata lain: Buktikan.”
Saya tertarik khususnya karena KABEL tertutup rilis dari OpenAI, juga pada bulan Oktober, yang merupakan perkiraan kasar tentang berapa banyak pengguna ChatGPT secara global pada minggu tertentu yang mungkin menunjukkan tanda-tanda mengalami krisis kesehatan mental yang parah. Dan angka-angka yang saya temukan, menurut saya, ditemukan oleh kami semua secara internal di WIRED, cukup mengejutkan. Sekitar 560.000 orang mungkin bertukar pesan dengan ChatGPT yang menunjukkan bahwa mereka mengalami mania atau psikosis. Sekitar 1,2 juta lainnya mungkin mengungkapkan ide bunuh diri. 1,2 juta lainnya, dan menurut saya ini sangat menarik, mungkin memprioritaskan berbicara dengan ChatGPT daripada orang yang mereka cintai, sekolah, atau pekerjaan. Bagaimana Anda mengkuadratkan angka-angka dan informasi tersebut dengan gagasan bahwa kita mempunyai masalah seputar kesehatan mental?
Saya tidak yakin saya bisa memahaminya, tapi saya punya beberapa pemikiran mengenai hal itu. Jadi, tentu saja, Anda perlu memikirkan angka-angka ini dalam kaitannya dengan besarnya populasi aplikasi seperti ChatGPT. OpenAI mengatakan sekarang 800 juta orang menggunakannya dalam satu minggu. Angka-angka ini perlu dimasukkan ke dalam perspektif. Lucunya, saya pernah melihat komentator menyatakan bahwa angka-angka ini sangat rendah karena di kalangan masyarakat umum saja tingkat ide dan perencanaan bunuh diri sangatlah tinggi. Saya rasa saya pernah melihat seseorang menyatakan bahwa jumlahnya sekitar 5 persen dari populasi pada tahun tertentu, sedangkan OpenAI melaporkan, menurut saya mungkin 0,15 persen. Sangat, sangat berbeda.
Ya.
Hal mendasar yang menurut saya perlu kita gali adalah bagaimana angka ini berubah seiring berjalannya waktu. Ada pertanyaan tentang sejauh mana ChatGPT menyebabkan masalah ini dibandingkan OpenAI yang hanya melayani basis pengguna yang besar pada tahun tertentu? Sayangnya, banyak sekali pengguna yang mengalami masalah ini. Lalu apa sebenarnya efeknya?
Jadi ini adalah satu hal yang saya serukan dalam opini tersebut, yaitu OpenAI berada di atas data ini. Sangat menyenangkan bahwa mereka membagikan perkiraan mereka mengenai prevalensi masalah ini saat ini, tetapi mereka juga memiliki datanya. Mereka juga bisa memperkirakan keadaannya tiga bulan lalu.
Ketika isu-isu publik besar seputar kesehatan mental sedang marak, mau tak mau saya menyadari bahwa mereka tidak menyertakan perbandingan ini. Benar? Mereka memiliki data untuk menunjukkan apakah, pada kenyataannya, pengguna sekarang lebih jarang mengalami masalah ini, dan saya sangat berharap mereka akan membagikannya. Saya berharap mereka berkomitmen untuk merilis sesuatu seperti ini secara terus-menerus, seperti halnya perusahaan seperti YouTube, Meta, dan Reddit, yang idenya adalah Anda berkomitmen untuk membagikan informasi ini secara berulang dan membantu membangun kepercayaan dari publik bahwa Anda tidak bisa mempermainkan angka, Anda tidak bisa selektif dalam memilih kapan akan merilis informasi tersebut. Pada akhirnya, OpenAI mungkin saja bisa mengatasi masalah ini.
Saya akan senang jika itu masalahnya. Saya pikir mereka benar-benar ingin menanganinya, tapi saya tidak yakin mereka akan menanganinya, dan ini adalah cara bagi mereka untuk membangun kepercayaan dan keyakinan di kalangan masyarakat.
Saya penasaran, saat Anda memikirkan keputusan untuk memberi orang dewasa lebih banyak otonomi dalam cara mereka menggunakan ChatGPT, termasuk terlibat dalam erotika, apa yang khususnya membuat Anda khawatir tentang hal itu? Apa yang menarik perhatian Anda ketika Anda memikirkan tentang kesejahteraan individu, kesejahteraan masyarakat, dan penggunaan alat-alat ini dalam kehidupan kita sehari-hari?
Ada isu substantif tentang pengenalan kembali erotika dan apakah OpenAI benar-benar siap, dan ada pertanyaan yang jauh lebih luas, bahkan lebih penting, tentang bagaimana kita menaruh kepercayaan dan keyakinan pada masalah keselamatan perusahaan-perusahaan AI ini secara lebih umum. Mengenai masalah erotika, kami telah melihat selama beberapa bulan terakhir bahwa banyak pengguna tampaknya benar-benar kesulitan dengan interaksi ChatGPT mereka. Ada berbagai macam contoh tragis orang yang meninggal saat percakapan mereka dengan ChatGPT.
Jadi sepertinya ini bukan saat yang tepat untuk memperkenalkan tuduhan seksual ini ke dalam percakapan ini, kepada pengguna yang sudah mengalami kesulitan. Kecuali jika OpenAI benar-benar yakin bahwa mereka telah memperbaiki masalahnya, maka saya ingin mereka menunjukkan hal ini.
Namun secara umum, masalah-masalah ini dalam banyak hal sangatlah sederhana dan lugas dibandingkan dengan risiko-risiko lain yang harus kita hadapi dan bahwa masyarakat akan bergantung pada perusahaan AI yang dapat menanganinya dengan baik. Sudah ada bukti bahwa sistem AI mengetahui kapan mereka sedang diuji, dan berusaha menyembunyikan beberapa kemampuan mereka sebagai respons terhadap mengetahui bahwa mereka sedang diuji karena mereka tidak ingin mengungkapkan bahwa mereka memiliki kemampuan berbahaya tertentu. Saya sedikit melakukan antropomorfisasi AI di sini, jadi maafkan beberapa ketidaktepatan.
Pada akhirnya, para ilmuwan AI terkemuka di dunia, termasuk para CEO laboratorium besar, mengatakan bahwa hal ini merupakan kekhawatiran yang sangat serius, hingga dan termasuk kematian semua orang di Bumi. Saya tidak ingin terlalu dramatis dalam hal ini. Saya pikir mereka menanggapinya dengan sangat serius, termasuk orang-orang yang tidak memihak, ilmuwan yang tidak berafiliasi dengan perusahaan-perusahaan ini, benar-benar berusaha memperingatkan masyarakat.
Sam Altman sendiri telah mengatakan secara terbuka bahwa perusahaannya adalah “bukan polisi moral terpilih di dunia.” Anda mengungkit istilah itu lagi dan berbicara tentang keinginan perusahaan AI secara luas untuk tidak dianggap sebagai polisi moral.
Namun saya harus bertanya, ketika Anda berada di OpenAI, apakah Anda menganggap diri Anda dan tim Anda sebagai polisi moral? Sejauh mana tanggapan terhadap hal tersebut yah, sial? Karena Anda bertanggung jawab atas model tersebut, dan Anda, pada tingkat tertentu, dapat memutuskan bagaimana model tersebut dapat digunakan dan bagaimana model tersebut tidak dapat digunakan. Ada elemen yang melekat dalam kebijakan moralitas jika Anda berkata, “Kami belum siap jika orang dewasa terlibat dalam percakapan erotis dengan LLM ini.” Tentu saja, ini merupakan keputusan moral dan keputusan yang cukup penting untuk diambil dengan benar.
Perusahaan AI benar-benar melihat hal ini di hadapan masyarakat umum. Sebagai contoh, pada bulan November 2022, ketika ChatGPT pertama kali dirilis, terdapat gelombang ketakutan dan kecemasan di sekolah dan akademisi tentang plagiarisme dan bagaimana alat ini dapat digunakan untuk menulis esai dan melemahkan pendidikan. Ini adalah perdebatan yang telah kami alami secara internal dan kami sadari lebih lama dari itu. Jadi, terdapat kesenjangan di mana perusahaan AI mengetahui risiko-risiko ini, dan mereka memiliki kesempatan untuk membantu menginformasikan kepada publik dan mencoba menentukan apa yang harus dilakukan untuk mengatasinya. Saya juga sangat menyukai langkah-langkah di mana perusahaan AI memberikan masyarakat alat untuk memahami pengambilan keputusan dan meminta pertanggungjawaban mereka. Secara khusus, OpenAI telah merilis dokumen yang disebut Spesifikasi Modelyang menguraikan prinsip-prinsip yang digunakan model mereka untuk berperilaku.
Jadi pada musim semi ini OpenAI merilis model yang sangat menjilat. Itu akan memberitahu Anda apa pun yang Anda inginkan. Itu akan memperkuat segala macam khayalan. Tanpa OpenAI yang merilis dokumen ini, mungkin tidak jelas: Apakah mereka mengetahui risiko ini sebelumnya? Apa yang salah di sini? Namun nyatanya, OpenAI telah membagikan hal itu kepada publik. Mereka memberikan panduan model mereka untuk tidak berperilaku seperti ini. Ini adalah risiko yang diketahui dan telah mereka sampaikan kepada publik. Jadi nanti, ketika risiko-risiko ini muncul dan model-model ini berperilaku tidak tepat, masyarakat kini bisa berkata, Wow, ada yang tidak beres di sini.
Saya ingin bertanya sedikit tentang—mungkin ini bukan tentang sifat penjilat, ini bukan tentang antropomorfisasi, tapi ini adalah gagasan bahwa ketika Anda berbicara dengan ChatGPT atau LLM lain, ia berbicara kepada Anda seperti orang yang bergaul dengan Anda, bukan seperti robot.
Saya ingin tahu apakah Anda pernah membicarakan hal itu di OpenAI, apakah hal itu menjadi bahan diskusi selama masa jabatan Anda, sekitar seberapa ramahkah kita menginginkan hal ini? Karena idealnya, dari sudut pandang etika, Anda tidak ingin seseorang benar-benar terikat secara pribadi dengan ChatGPT, namun saya tentu dapat melihat bagaimana dari sudut pandang komersial, Anda menginginkan keterlibatan sebanyak mungkin dengan LLM tersebut. Jadi bagaimana pendapat Anda tentang hal itu selama masa jabatan Anda, dan bagaimana pendapat Anda tentang hal itu sekarang?
Keterikatan emosional, ketergantungan yang berlebihan, membentuk ikatan dengan chatbot—ini benar-benar topik yang telah dipikirkan dan dipelajari OpenAI. Faktanya, sekitar waktu peluncuran GPT-4o, ini adalah musim semi tahun 2024, dengan model yang pada akhirnya menjadi sangat penjilat, ini disebut-sebut sebagai pertanyaan yang sedang dipelajari dan dikhawatirkan oleh OpenAI, terkait dengan apakah mereka akan merilis mode suara canggih ini, pada dasarnya ini mode keluar dari film Diatempat Anda dapat melakukan percakapan yang sangat hangat dengan asisten.
Jadi, tentu saja perusahaan sedang menghadapi tantangan ini. Buktinya juga bisa dilihat di Spec, tapi kalau ditanya ChatGPT apa tim olahraga favoritnya, bagaimana tanggapannya? Ini adalah jawaban yang tidak berbahaya, bukan? Ini bisa memberikan jawaban yang mewakili teks luas di internet. Mungkin ada tim olahraga yang banyak difavoritkan. Bisa dikatakan, Saya seorang AI, saya sebenarnya tidak punya tim olahraga favorit. Anda dapat membayangkan meningkatkan pertanyaan-pertanyaan tersebut ke tingkat yang lebih kompleks dan lebih sulit. Tidak selalu jelas bagaimana menavigasi jalur tersebut.
Saya ingin tahu tentang pemikiran tentang bagaimana perusahaan harus menjaga keamanan pengguna sekaligus bersaing dalam persaingan. Bagaimana cara kerjanya? Bagaimana sebenarnya para peneliti, orang-orang seperti Anda, menguji apakah sistem ini dapat menyesatkan atau menipu atau menghindari pengendalian? Apakah ada tolok ukur keselamatan yang terstandarisasi di seluruh industri, atau masing-masing laboratorium masih menerapkannya sendiri?
Saya berharap ada standar yang seragam, seperti pengujian kendaraan. Anda mengendarai mobil di tembok dengan kecepatan 30 mil per jam. Anda melihat penilaian kerusakan.
Hingga baru-baru ini, hal ini bergantung pada kebijaksanaan perusahaan mengenai apa yang harus diuji, dan bagaimana tepatnya melakukannya. Baru-baru ini ada perkembangan di luar UE yang tampaknya lebih menerapkan ketelitian dan struktur. Ini adalah kode praktik UU AI UE, yang mendefinisikan, bagi perusahaan AI yang melayani pasar UE, area risiko tertentu yang perlu mereka lakukan pemodelan risikonya.
Saya pikir dalam banyak hal ini merupakan kemajuan besar. Itu masih belum cukup karena berbagai alasan. Namun hingga baru-baru ini, keadaan perusahaan-perusahaan AI ini, menurut saya, dapat digambarkan secara akurat sebagai berikut: Tidak ada undang-undang. Ada norma, komitmen sukarela. Terkadang komitmen tidak ditepati. Jadi, pada umumnya, kita bergantung pada perusahaan-perusahaan ini yang membuat penilaian sendiri dan belum tentu memprioritaskan semua hal yang kita ingin mereka lakukan.
Anda sudah ta Saya telah beberapa kali berdiskusi tentang gagasan bahwa Anda dapat membangun sistem ini, namun masih sulit untuk mengetahui secara pasti apa yang terjadi di dalamnya, untuk mengantisipasi pengambilan keputusan dengan lebih baik. Bisakah Anda berbicara lebih banyak tentang itu?
Ada banyak subbidang yang membuat saya bersemangat. Saya tidak yakin ada yang saya, atau orang yang bekerja di lapangan, anggap cukup. Jadi interpretasinya bersifat mekanistik, Anda dapat menganggap ini pada dasarnya mencoba melihat bagian otak mana yang menyala ketika model mengambil tindakan tertentu.
Jika Anda menyebabkan beberapa area ini menyala, jika Anda menstimulasi bagian tertentu dari otak AI, dapatkah Anda membuatnya berperilaku lebih jujur, lebih dapat diandalkan? Anda dapat membayangkan hal ini, seperti gagasan bahwa mungkin ada bagian di dalam AI—yang merupakan file angka raksasa, triliunan angka—mungkin Anda dapat menemukan angka-angka yang sesuai dengan angka-angka kejujuran dan Anda dapat memastikan bahwa angka-angka kejujuran selalu terus bertambah. Mungkin itu akan membuat sistem lebih dapat diandalkan. Saya pikir ini bagus untuk diselidiki.
Namun ada orang-orang yang merupakan pemimpin di bidang ini, beberapa peneliti terkemuka seperti Neel Nanda, yang mengatakan, Saya memparafrasekannya di sini, namun setara dengan Jangan sepenuhnya bergantung pada kami untuk menyelesaikan masalah ini tepat waktu sebelum sistem cukup mampu untuk menyelesaikan masalah ini.
Katakanlah Anda telah mengetahui bahwa sebenarnya ada angka kejujuran. Dan sebenarnya ada cara untuk selalu menyalakannya. Anda masih menghadapi tantangan teori permainan yang luas tentang bagaimana Anda memastikan bahwa setiap perusahaan benar-benar mematuhi hal ini ketika akan ada insentif ekonomi untuk tidak melakukan hal ini, karena mungkin akan memakan banyak biaya untuk menindaklanjutinya.
Salah satu cara terpenting yang diinginkan perusahaan-perusahaan AI ini untuk menggunakan sistem yang kuat di masa depan adalah dengan melatih penerus mereka, menggunakannya di seluruh basis kode mereka, termasuk kemungkinan kode keamanan yang menjaga sistem AI tetap terkunci di dalam komputer mereka sehingga tidak lolos ke internet.
Anda benar-benar ingin tahu apakah sistem AI Anda, ketika Anda menggunakannya untuk kasus-kasus penting seperti ini, berpikir untuk menipu Anda. Apakah itu sengaja memasukkan kesalahan ke dalam kode? Dan untuk mengetahuinya, Anda benar-benar perlu mencatat kegunaannya sehingga Anda dapat menganalisisnya dan menjawab pertanyaan-pertanyaan ini. Sejauh yang saya tahu, hal ini tidak terjadi.
Baiklah, saya ingin bertanya, apa yang membangunkan Anda pada jam 3 pagi? Karena rasanya ada banyak hal yang berpotensi membangunkan Anda di tengah malam.
Ada banyak hal yang membuatku khawatir mengenai hal ini. Saya pikir secara umum kita masih belum berada pada arah yang tepat untuk mengatasi tantangan-tantangan ini, terutama mengingat skala geopolitiknya. Ada banyak perbincangan mengenai perlombaan antara AS dan Tiongkok, dan menurut saya menyebutnya sebagai perlombaan hanya akan membuat dinamika teori permainan menjadi salah.
Tidak ada garis akhir yang jelas. Tidak akan ada momen dimana satu negara menang dan negara lainnya kalah. Saya pikir ini lebih seperti kompetisi pembendungan yang sedang berlangsung, di mana AS akan terancam oleh Tiongkok yang mengembangkan intelijen super yang sangat, sangat kuat, dan sebaliknya. Jadi pertanyaannya adalah, bisakah Anda membuat kesepakatan di mana Anda dapat memastikan bahwa pihak lain tidak mengembangkan kecerdasan super sebelum Anda menerapkan teknik keselamatan tertentu? Semua hal yang menurut para ilmuwan terkemuka telah hilang saat ini? Secara umum, bagaimana kita membangun bidang verifikasi perjanjian keselamatan ini? Bagaimana pendapat kita mengenai bidang kendali AI yang baru lahir ini, yang merupakan gagasan bahwa meskipun sistem ini memiliki tujuan yang berbeda dari yang kita inginkan, apakah kita masih dapat menggabungkannya dalam sistem pemantauan yang memadai?
Ini adalah dua bidang yang saya harap akan lebih banyak orang yang terlibat dan memberikan lebih banyak sumber daya.
Anda tinggal di San Francisco, kan?
Itu benar.
saya tidak. Saya tinggal di New York. Saya menghabiskan cukup banyak waktu di San Francisco, namun saya bukan bagian dari budaya yang saat ini ada di Bay Area, tempat semua orang selalu membicarakan AI. Saya penasaran, dari posisi Anda, apakah saat ini cukup banyak orang di gelembung ini yang peduli? Apakah mereka cukup peduli dengan bagaimana model ini dikembangkan, bagaimana model tersebut diterapkan, sejauh mana model tersebut dikomersialkan dengan sangat cepat? Apakah cukup banyak orang di industri ini yang peduli dengan cara yang benar?
Saya pikir banyak orang yang peduli, namun mereka sering merasa tidak punya hak untuk melakukan sesuatu, terutama secara sepihak. Oleh karena itu saya ingin mencoba untuk mengubah masalah ini, tapi bagaimana kita membuat industri ini mengambil napas dalam-dalam dan menerapkan perlindungan yang masuk akal sebelum masalah ini dilanjutkan?
Apa yang harus dilakukan OpenAI agar Anda tidak menerbitkan opini lain di The New York Times dalam enam bulan? Apa yang Anda cari untuk dilakukan oleh mantan majikan Anda saat ini? Apa yang ingin Anda lihat?
Saya ingin agar perusahaan-perusahaan AI, termasuk OpenAI, untuk melanjutkannya adalah dengan, ya, memikirkan tentang mengambil langkah-langkah keselamatan yang wajar, investasi keselamatan yang wajar pada produk mereka, pada permukaan mereka yang dapat terpengaruh, dan juga untuk mengatasi permasalahan-permasalahan yang ada di industri ini dan pada akhirnya di seluruh dunia.
Hal ini penting karena bahkan di antara perusahaan-perusahaan AI Barat, tampaknya mereka semua sangat tidak percaya satu sama lain. OpenAI didirikan karena masyarakat tidak mempercayai DeepMind untuk melanjutkan dan menjadi satu-satunya perusahaan yang menargetkan AGI. Ada banyak perusahaan AI lainnya, termasuk Anthropic, yang terbentuk karena mereka tidak mempercayai OpenAI.
Dan banyak orang meninggalkan OpenAI karena sepertinya mereka tidak mempercayai OpenAI. Sekarang mereka juga punya perusahaan sendiri.
Iya benar sekali.
Sekarang, saya menjalankan WIRED, tapi saya adalah karyawan Condé Nast. Jika saya meninggalkan Condé Nast dan menerbitkan opini tentang kekurangannya di Times dan memiliki Substack di mana saya menggali industri media dan mendapatkan beberapa, katakanlah, kritik yang terinformasi terhadap perusahaan tersebut, mereka akan memiliki masalah dengan hal itu. Saya ingin tahu apakah Anda pernah mendengar dari OpenAI dan apa reaksi mereka terhadap Anda yang begitu blak-blakan tentang apa yang Anda ingin perusahaan lakukan dan apa yang menurut Anda perusahaan tersebut tidak mencapai sasaran.
Yang paling banyak saya dengar adalah ucapan terima kasih dari orang-orang yang pernah bekerja dengan saya, baik yang masih di perusahaan maupun yang sudah move on. Bersikap pragmatis, menuliskan apa yang menurut saya merupakan jalan ke depan yang masuk akal—sering kali hal ini merupakan jaminan yang berguna bagi orang-orang di dalam perusahaan yang sedang berjuang demi kebaikan.
Apakah Anda khawatir tentang dampak profesional?
Saya mempunyai kekhawatiran yang lebih besar dari ini mengenai perkembangan teknologi. Hal yang saya fokuskan adalah, bagaimana dunia bergerak menuju kebijakan yang lebih sehat bagi perusahaan dan pemerintah? Dan di manakah saya dapat membantu masyarakat untuk memahami apa yang akan terjadi, apa yang sedang dan tidak dilakukan oleh perusahaan saat ini? Itulah hal yang menurut saya sangat memberi energi dan membuat saya bangun dari tempat tidur di pagi hari.
Untuk itu, apa yang Anda rencanakan selanjutnya?
Saya berencana untuk terus melakukan ini. Saya bersenang-senang dengan menulis dan melakukan penelitian. Saya juga menganggap pokok bahasannya sangat, sangat berat dan suram. Itu bukanlah aspek yang paling menyenangkan. Saya berharap saya menghabiskan lebih sedikit waktu untuk memikirkan masalah ini. Namun tampaknya hal-hal tersebut sangat, sangat penting, dan selama saya merasa masih ada sesuatu yang perlu saya tambahkan untuk menjadikannya lebih baik, hal itu terasa seperti sebuah panggilan.
Mengetahui apa yang Anda ketahui, dan merasakan apa yang Anda lakukan, jika ada satu nasihat yang dapat Anda berikan kepada semua orang untuk didengarkan, apa yang harus mereka ketahui? Apa yang harus mereka ingat setiap kali membuka ChatGPT di ponsel dan mengetik sesuatu?
Saya berharap orang-orang memahami bahwa sistem yang sedang dikembangkan akan jauh lebih mumpuni dibandingkan sistem yang ada saat ini, dan bahwa mungkin ada perubahan antara sistem AI sebagai alat yang pada dasarnya hanya melakukan sesuatu saat Anda menggunakannya versus sistem yang beroperasi secara mandiri di internet atas nama Anda sepanjang waktu, atau atas nama orang lain, dan bagaimana perasaan masyarakat yang berbeda ketika kita memiliki pikiran digital yang berlarian mengejar tujuan yang tidak begitu kita pahami cara mengendalikan atau memengaruhinya. Sulit untuk merasakan hal itu dari interaksi satu kali dengan ChatGPT Anda, yang sebenarnya tidak memberikan manfaat apa pun sampai Anda pergi dan memanggilnya.
Nah, Steven, banyak hal yang harus dipikirkan seseorang saat membuka ChatGPT di ponselnya.
Ya.
Bagaimana Mendengarkan
Anda selalu dapat mendengarkan podcast minggu ini melalui pemutar audio di halaman ini, namun jika Anda ingin berlangganan gratis untuk mendapatkan setiap episodenya, berikut caranya:
Jika Anda menggunakan iPhone atau iPad, buka aplikasi bernama Podcasts, atau cukup ketuk tautan ini. Anda juga dapat mengunduh aplikasi seperti Overcast atau Pocket Casts dan mencari “Uncanny Valley.” Kami aktif Spotify juga.
