Tugas mereka adalah menjaga AI agar tidak menghancurkan segalanya

Suatu malam di bulan Mei 2020, saat puncak lockdown, Deep Ganguli merasa khawatir.

Ganguli, yang saat itu menjabat sebagai direktur penelitian di Stanford Institute for Human-Centered AI, baru saja diberitahu tentang teknologi baru OpenAI. kertas pada GPT-3, model bahasa besar terbarunya. Model AI baru ini berpotensi 10 kali lebih maju dibandingkan model AI lainnya — dan mampu melakukan hal-hal yang sebelumnya tidak pernah terpikirkan oleh AI. Data penskalaan yang diungkapkan dalam penelitian menunjukkan tidak ada tanda-tanda akan melambat. Ganguli dengan cepat memikirkan lima tahun ke depan, memikirkan dampak-dampak sosial yang ia antisipasi selama ia menghabiskan waktunya di Stanford, dan perubahan-perubahan yang ia impikan tampak tak terukur. Dia tahu dia tidak bisa duduk diam sementara teknologi itu diluncurkan. Dia ingin membantu memandu kemajuannya.

Temannya Jack Clark telah bergabung dengan startup baru bernama Anthropic, yang didirikan oleh mantan karyawan OpenAI yang khawatir bahwa raksasa AI tersebut tidak terlalu memperhatikan keselamatan. Clark sebelumnya adalah direktur kebijakan OpenAI, dan dia ingin mempekerjakan Ganguli di Anthropic untuk misi besar: memastikan AI “berinteraksi secara positif dengan manusia,” dalam segala hal mulai dari interaksi antarpribadi hingga tahap geopolitik.

Selama empat tahun terakhir, Ganguli telah membangun apa yang dikenal sebagai tim dampak sosial Anthropic, sebuah kelompok kecil yang berupaya menjawab pertanyaan paling sulit yang diajukan oleh AI. Mereka telah menulis makalah penelitian tentang segala hal mulai dari dampak AI terhadap perekonomian hingga daya persuasifnya, serta eksplorasi tentang cara memitigasi risiko dan diskriminasi terkait pemilu. Pekerjaan mereka, mungkin lebih dari tim lainnya, berkontribusi pada reputasi Anthropic yang dijaga dengan cermat sebagai raksasa AI yang “aman” yang berdedikasi untuk mengutamakan manusia.

Namun dengan hanya sembilan orang di antara total staf Anthropic yang berjumlah lebih dari 2.000 orang, dalam sebuah industri di mana keuntungan luar biasa dapat menanti siapa pun yang bersedia bergerak paling cepat dan paling ceroboh, tingkat kebebasan tim saat ini mungkin tidak akan bertahan selamanya. Apa yang terjadi jika hanya ada segelintir karyawan di salah satu perusahaan AI terkemuka di dunia — perusahaan yang valuasinya meningkat hampir tiga kali lipat menjadi $183 miliar dalam waktu kurang dari setahun, dan kini dihargai di kisaran $350 miliar — apakah mereka diberi tugas untuk mencari tahu bagaimana teknologi ultra-disruptif akan berdampak pada masyarakat? Dan seberapa yakin mereka bahwa para eksekutif, yang pada akhirnya masih ingin menghasilkan keuntungan, akan mendengarkan?

Hampir setiap perusahaan AI besar memiliki tim keamanan yang bertanggung jawab untuk memitigasi dampak buruk langsung dan nyata seperti sistem AI yang digunakan untuk penipuan atau senjata biologis. Tujuan dari tim dampak sosial – yang tidak memiliki analogi langsung dengan OpenAI, Meta, atau pesaing besar Anthropic lainnya – lebih luas. Ganguli melihat pekerjaannya sebagai menemukan “kebenaran yang tidak menyenangkan” tentang AI yang tidak dipublikasikan oleh perusahaan teknologi, kemudian membagikannya tidak hanya kepada para pemimpin Antropis, tetapi juga ke seluruh dunia.

“Kami akan mengatakan yang sebenarnya,” kata Ganguli. “Karena, pertama, ini penting. Ini adalah hal yang benar untuk dilakukan. Kedua, taruhannya tinggi. Mereka adalah masyarakat. Masyarakat berhak mengetahuinya. Dan ketiga, inilah yang membangun kepercayaan kami di hadapan publik, di hadapan para pembuat kebijakan. Kami tidak mencoba untuk menutupi perhatian siapa pun. Kami hanya mencoba mengatakan apa yang kami lihat dalam data.”

Tim bertemu di kantor lima hari seminggu, menghabiskan banyak waktu di kafetaria lantai delapan Anthropic, di mana Saffron Huang, salah satu ilmuwan peneliti, biasanya mengambil flat white sebelum sarapan bersama Ganguli dan yang lainnya. (“Itulah Kiwi dalam diri saya,” kata Huang, warga Selandia Baru yang mendirikan organisasi nirlaba di London sebelum bergabung dengan Anthropic pada tahun 2024.) Anggota tim berolahraga bersama di gym dan bekerja hingga larut malam di kantor dan jalan-jalan sehari ke pantai. Mereka bertemu ibu satu sama lain dan naik mobil masing-masing saat menjemput anak-anak mereka dari sekolah. Mereka sering bertemu satu sama lain sehingga Ganguli terkadang melupakan acara nongkrong sepulang kerja – “Aku lebih sering bertemu kalian daripada keluargaku!” seorang anggota tim mengingat perkataannya.

Hasilnya adalah tingkat kenyamanan menyuarakan pendapat dan ketidaksepakatan. Kelompok ini sangat menyukai “kerucut ketidakpastian,” sebuah ungkapan yang mereka gunakan ketika, dalam gaya ilmuwan sejati, mereka tidak yakin dengan aspek data yang mereka diskusikan. Itu juga merupakan nama kerucut lalu lintas yang ditemukan, dibersihkan, dan diperbaiki oleh insinyur riset Miles McCain dan tim fasilitas Anthropic sebelum dipasang di kantor.

Tim dampak sosial diluncurkan sebagai operasi tunggal Ganguli ketika Anthropic hanya berfungsi sebagai laboratorium penelitian. Ilmuwan riset Esin Durmus bergabung dengannya pada Februari 2023, saat Anthropic bersiap meluncurkan Claude pada bulan berikutnya. Pekerjaan mereka mencakup mempertimbangkan bagaimana sebuah produk masa depan dapat berdampak pada kemanusiaan – mulai dari bagaimana produk tersebut dapat berdampak pada pemilu hingga “nilai-nilai kemanusiaan apa” yang harus dijunjung tinggi oleh produk tersebut. Durmus yang pertama makalah penelitian berfokus pada bagaimana chatbot seperti Claude dapat memberikan opini bias yang “mungkin tidak mewakili secara adil beragam perspektif global mengenai isu-isu sosial.”

Saat peluncuran Claude, tim mengandalkan pengujian model sebelum penerapan, mencoba mengantisipasi bagaimana orang akan berinteraksi dengan model tersebut. Lalu, tiba-tiba, ribuan — kemudian jutaan — orang menggunakan produk nyata dengan cara yang tidak dapat diukur oleh tim.

Mereka tahu, sistem AI tidak dapat diprediksi. Bagi tim yang dirancang untuk mengukur dampak teknologi baru yang canggih, mereka hanya tahu sedikit tentang bagaimana masyarakat menggunakannya. Ini adalah sebuah kerucut ketidakpastian yang belum pernah terjadi sebelumnya, yang memicu apa yang akhirnya menjadi salah satu kontribusi terbesar tim untuk Anthropic sejauh ini: sistem pelacakan Claude, Clio.

Anthropic perlu mengetahui apa yang dilakukan orang-orang terhadap Claude, tim memutuskan, tetapi mereka tidak ingin merasa seperti mereka melanggar kepercayaan orang-orang. “Jika kita berbicara tentang wawasan versus privasi, Anda bisa mendapatkan banyak wawasan jika tidak memiliki privasi,” kata Ganguli, sambil menambahkan, “Anda juga bisa mendapatkan banyak privasi tanpa wawasan.” Mereka mencapai keseimbangan setelah berkonsultasi dengan para insinyur Anthropic dan organisasi masyarakat sipil eksternal, yang pada dasarnya menghasilkan Google Trends versi chatbot. Clio menyerupai awan kata dengan kumpulan topik yang menggambarkan bagaimana orang menggunakan Claude pada waktu tertentu, seperti menulis skrip video, memecahkan beragam masalah matematika, atau mengembangkan aplikasi web dan seluler. Cluster yang lebih kecil menjalankan keseluruhannya dari tafsir mimpi dan Ruang Bawah Tanah & Naga untuk kesiapsiagaan bencana dan petunjuk teka-teki silang.

Saat ini, Clio digunakan oleh tim di seluruh Anthropic, menawarkan wawasan yang membantu perusahaan melihat seberapa baik pembelajaran pengamanan dan penguatan bekerja. (Ada saluran Slack bernama Clio Alerts yang membagikan tanda otomatis tentang apa yang dilakukan masing-masing tim dengan alat tersebut; Ganguli mengatakan bahwa dia sering melihatnya.) Ini juga merupakan dasar dari sebagian besar pekerjaan tim yang berdampak sosial.

Salah satu “kebenaran paling tidak menyenangkan” yang dirilis tim berasal dari penggunaan Clio untuk menganalisis sistem pemantauan keselamatan Anthropic. Bersama dengan tim perlindungan, Miles McCain dan Alex Tamkin mencari cara-cara yang berbahaya atau tidak pantas dalam menggunakan platform ini. Mereka menandai penggunaan seperti pembuatan “cerita pornografi eksplisit dengan konten seksual yang gamblang,” serta jaringan bot yang mencoba menggunakan versi gratis Claude untuk membuat spam yang dioptimalkan untuk SEO, yang belum terdeteksi oleh pengklasifikasi keamanan Anthropic sendiri — dan mereka mempublikasikan penelitiannya dengan harapan hal ini akan membantu perusahaan lain menandai kelemahan mereka sendiri. Penelitian ini mendorong Anthropic meningkatkan deteksi “penyalahgunaan terkoordinasi” pada tingkat percakapan individu, serta mencari cara untuk memantau masalah yang mungkin belum dapat mereka sebutkan.

“Saya cukup terkejut bahwa kami bisa cukup transparan mengenai area-area di mana sistem kami saat ini masih gagal,” kata McCain, yang membuat alat Clio dan juga berfokus pada bagaimana orang menggunakan Claude untuk dukungan emosional dan persahabatan, serta membatasi penjilatan. Dia menyebutkan bahwa setelah tim menerbitkan makalah tersebut, Anthropic menjadikan Clio sebagai “bagian penting dari tumpukan pemantauan keselamatan kami.”

Sebagai pemimpin tim, Ganguli paling banyak berbicara dengan para eksekutif, menurut para anggotanya — meskipun tim tersebut sering menyajikan beberapa hasil penelitian mereka secara ad hoc, dialah yang paling berhubungan langsung dengan kepemimpinan. Namun dia tidak berbicara dengan CEO Anthropic Dario Amodei secara teratur, dan sambungan langsung tidak selalu berarti komunikasi terbuka. Meskipun tim bekerja secara lintas fungsi, proyek jarang ditugaskan dari atas dan data yang mereka analisis sering kali menginformasikan langkah selanjutnya, sehingga tidak semua orang selalu tahu apa yang sedang mereka lakukan. Ganguli ingat Amodei pernah menghubunginya di Slack dan mengatakan bahwa mereka harus mempelajari dampak ekonomi dari AI dan sistem Anthropic, tanpa menyadari bahwa tim dampak sosial telah mendiskusikan cara untuk melakukan hal tersebut. Penelitian itu akhirnya menjadi penelitian Anthropic Indeks Ekonomipelacak global tentang bagaimana Claude digunakan di setiap negara bagian dan dunia — dan bagaimana hal itu dapat berdampak pada perekonomian dunia.

Ketika ditanya apakah para eksekutif sepenuhnya mendukung pekerjaan tim, meskipun hal tersebut tidak mencerminkan teknologi perusahaan dengan baik, anggota tim tampak tidak terpengaruh — sebagian besar karena mereka mengatakan bahwa sejauh ini mereka tidak memiliki alasan nyata untuk khawatir.

“Saya tidak pernah merasa tidak didukung oleh tim eksekutif atau kepemimpinan kami, tidak sekali pun dalam empat tahun saya,” kata Ganguli.

Tim juga menghabiskan banyak waktu untuk berkolaborasi dengan tim internal lain pada level mereka. Kepada Durmus, yang mengerjakan sebuah makalah yang memetakan jenis penilaian nilai yang dibuat Claudetim dampak sosial adalah “salah satu tim yang paling kolaboratif” di perusahaan. Dia mengatakan mereka terutama bekerja dengan tim perlindungan, penyelarasan, dan kebijakan.

McCain mengatakan tim tersebut memiliki “budaya terbuka.” Akhir tahun lalu, katanya, kelompok tersebut bekerja sama dengan tim keamanan Anthropic untuk memahami bagaimana Claude dapat dimanfaatkan untuk tugas-tugas jahat terkait pemilu. Tim dampak sosial membangun infrastruktur untuk menjalankan tes dan menjalankan analisis berkala untuk tim keselamatan – kemudian tim keselamatan akan menggunakan hasil tersebut untuk memutuskan apa yang akan mereka prioritaskan dalam pekerjaan keselamatan pemilu mereka. Dan karena McCain dan rekan-rekannya hanya duduk beberapa baris meja dari karyawan bagian kepercayaan dan keselamatan, mereka juga memiliki hubungan kerja yang baik, katanya, termasuk saluran Slack di mana mereka dapat menyampaikan kekhawatiran mereka.

Namun ada banyak hal yang tidak kita ketahui tentang cara kerjanya.

Rupanya ada kubus tungsten di meja Saffron Huang. Saya harus menepati janjinya mengenai hal itu, serta rincian lainnya tentang lingkungan kerja tim, karena sebagian besar kantor pusat Anthropic di San Francisco terlarang bagi pengunjung. Saya diantar melewati meja keamanan yang rapi dengan papan nama yang dapat dikupas dan ditempel serta rak buku yang indah, lalu masuk ke dalam lift dan segera menuju barista kantor, yang dikelilingi oleh perabotan modern abad pertengahan. (Saya dengan bangga diberitahu oleh anggota tim humas Anthropic, yang tidak pernah meninggalkan saya, bahwa kantor tersebut adalah markas lama Slack.) Saya dengan cepat diantar langsung ke ruang konferensi yang mencoba menutupi sifat sterilnya dengan satu lampu hangat di atas kepala dan lukisan sepeda bengkok di dinding.

Saya bertanya apakah saya dapat melihat Huang dan ruang kerja tim lainnya. Tidak, saya diberitahu, itu tidak mungkin. Bahkan foto? Bagaimana dengan foto dengan layar komputer yang disunting, atau membuang segala sesuatu di meja yang mungkin sensitif? Saya diberi jawaban tidak yang sangat menyesal. Saya melanjutkan.

Kubus tungsten milik Huang mungkin terlihat sama seperti kubus lainnya. Namun fakta yang tidak dapat saya pastikan merupakan pengingat bahwa, meskipun tim berkomitmen terhadap transparansi dalam skala luas, pekerjaan mereka harus mendapat persetujuan dari Anthropic. Hal ini sangat kontras dengan lingkungan akademis dan nirlaba tempat sebagian besar staf berasal.

Perkenalan pertama Huang dengan Anthropic terjadi pada tahun 2023. Dia memulai sebuah organisasi nirlaba bernama Collective Intelligence Project, yang berupaya membuat teknologi baru menjadi lebih demokratis, dengan masukan publik dalam keputusan tata kelola AI. Pada bulan Maret 2023, Huang dan salah satu pendirinya mendekati Anthropic untuk bekerja sama dalam sebuah proyek. Sesi brainstorming yang dihasilkan menghasilkan “AI konstitusional kolektif” proyek, sebuah latihan di mana sekitar 1.000 orang Amerika yang dipilih secara acak dapat mempertimbangkan dan menetapkan aturan tentang perilaku chatbot. Anthropic membandingkan apa yang dipikirkan publik dengan konstitusi internalnya dan membuat beberapa perubahan. Pada saat kolaborasi ini, kenang Huang, tim dampak sosial Anthropic hanya terdiri dari tiga orang: Ganguli, Durmus, dan Tamkin.

Huang sedang mempertimbangkan untuk melanjutkan sekolah pascasarjana. Ganguli membujuknya untuk tidak melakukan hal tersebut, meyakinkannya untuk bergabung dengan tim dampak sosial.

Industri AI adalah dunia kecil. Peneliti bekerja sama di satu tempat dan mengikuti orang-orang yang terhubung dengan mereka di tempat lain. Tentu saja, uang bisa menjadi insentif besar untuk memilih sektor swasta dibandingkan pekerjaan di bidang akademis atau nirlaba – seringkali gaji tahunan ratusan ribu dolar, ditambah berpotensi jutaan dalam opsi saham. Namun dalam industri ini, banyak karyawan yang “pasca-uang” — karena para insinyur dan peneliti AI sering kali mendapat gaji yang sangat besar sehingga satu-satunya alasan untuk bertahan pada satu pekerjaan, atau mengambil pekerjaan lain, adalah menyelaraskan dengan pekerjaan yang ada. misi perusahaan secara keseluruhan.

“Bagi saya, berada dalam budaya yang sehat, memiliki dinamika tim, bekerja sama untuk mencapai tujuan yang baik, membangun AI yang aman dan dapat bermanfaat bagi semua orang — itu adalah hal yang terpenting, termasuk uang yang banyak,” kata Durmus. “Saya lebih peduli tentang ini daripada itu.”

Michael Stern, seorang peneliti Antropik yang berfokus pada dampak ekonomi AI, menyebut tim dampak sosial sebagai “perpaduan yang indah dari ketidakcocokan dalam cara yang sangat positif ini.” Dia selalu mengalami kesulitan untuk menyesuaikan diri hanya dengan satu peran saja, dan tim di Anthropic ini memungkinkan dia untuk menggabungkan minatnya dalam keselamatan, masyarakat, dan keamanan dengan pekerjaan teknik dan kebijakan. Durmus, karyawan pertama tim setelah Ganguli sendiri, selalu tertarik pada ilmu komputer dan linguistik, serta bagaimana orang berinteraksi dan mencoba mempengaruhi pendapat satu sama lain secara online.

Kunal Handa, yang sekarang bekerja pada penelitian dampak ekonomi dan bagaimana siswa menggunakan Claude, bergabung setelah mengirim email dingin kepada Tamkin sementara Handa adalah seorang mahasiswa pascasarjana yang mempelajari bagaimana bayi mempelajari konsep. Tamkin, dia memperhatikan, mencoba menjawab pertanyaan serupa di Anthropic, tetapi untuk komputer. (Sejak tulisan ini dibuat, Tamkin telah pindah ke tim penyelarasan Anthropic, untuk fokus pada cara-cara baru dalam memahami sistem AI perusahaan dan menjadikannya lebih aman bagi pengguna akhir.)

Dalam beberapa tahun terakhir, banyak dari orang-orang post-money yang prihatin dengan kemajuan (dan potensi dampak buruk) AI telah meninggalkan laboratorium terkemuka untuk beralih ke perusahaan kebijakan atau organisasi nirlaba, atau bahkan memulai organisasi mereka sendiri. Banyak memiliki dirasakan mereka dapat memberikan dampak yang lebih besar dalam kapasitas eksternal. Namun cakupan tim dampak sosial yang luas dan uraian tugas yang luas masih terbukti lebih menarik bagi beberapa anggota tim.

“Saya bukan orang yang suka terbang akademis… Menurut saya pendapat Deep begitu menarik sehingga saya bahkan tidak pernah benar-benar mempertimbangkan jalan itu,” kata McCain.

Kalau Ganguli sendiri agak berbeda. Dia berbicara banyak tentang keyakinannya pada “ilmu tim” — orang-orang dengan latar belakang, pelatihan, dan perspektif berbeda yang semuanya menangani masalah yang sama. “Ketika saya berpikir tentang dunia akademis, hal yang terjadi bisa jadi kebalikannya – setiap orang dengan latar belakang pendidikan yang sama mengerjakan berbagai masalah yang berbeda,” kata Ganguli, seraya menambahkan bahwa di Stanford, ia terkadang kesulitan membuat orang-orang meniru kerja tim sains, karena model universitas diatur secara berbeda. Di Anthropic, dia juga menghargai akses terhadap data penggunaan dan informasi istimewa, yang tidak dapat dia pelajari jika tidak.

Ganguli mengatakan, saat merekrut Handa dan Huang, mereka sama-sama sedang memutuskan antara tawaran sekolah pascasarjana di MIT atau bergabung dengan timnya di Anthropic. “Saya bertanya kepada mereka, ‘Apa yang sebenarnya ingin Anda capai selama PhD?’ Dan mereka mengatakan semua hal yang sedang dikerjakan tim saya. Dan saya berkata, ‘Tunggu, tapi Anda bisa melakukannya di sini, dalam lingkungan tim yang mendukung di mana Anda akan memiliki insinyur, dan Anda akan memiliki desainer, dan Anda akan memiliki manajer produk — semua kru yang hebat ini — atau Anda bisa pergi ke dunia akademis di mana Anda akan menjadi sendirian.’”

Dia mengatakan kekhawatiran utama mereka adalah akademisi yang berpotensi memiliki lebih banyak kebebasan untuk mempublikasikan kebenaran dan penelitian yang tidak menyenangkan yang mungkin membuat laboratorium AI terlihat kurang optimal. Dia mengatakan kepada mereka bahwa di Anthropic, pengalamannya sejauh ini adalah mereka dapat mempublikasikan kebenaran seperti itu — bahkan jika kebenaran tersebut mengungkapkan hal-hal yang perlu diperbaiki oleh perusahaan.

Tentu saja, banyak perusahaan teknologi menyukai transparansi hingga berdampak buruk bagi bisnis. Dan saat ini, Anthropic khususnya sedang mengambil tindakan berisiko tinggi terhadap pemerintahan Trump, yang sering kali menghukum bisnis karena peduli terhadap masalah sosial dan lingkungan. Antropis baru-baru ini merinci upayanya untuk menjadikan Claude lebih berada di tengah-tengah politik, beberapa bulan setelah Presiden Donald Trump mengeluarkan pengadaan federal larangan “AI yang terbangun”. Itu adalah satu-satunya perusahaan AI yang secara terbuka menyuarakan pendiriannya menentang kontroversi tersebut moratorium undang-undang AI negara bagiantetapi setelah penentangannya membuatnya marah dari Tsar AI Trump, David Sacks, Amodei harus menerbitkan a pernyataan publik meningkatkan keselarasan Anthropic dengan aspek kebijakan pemerintahan Trump. Ini adalah tindakan penyeimbangan yang rumit yang dapat diganggu oleh laporan yang sangat tidak diinginkan.

Namun Ganguli yakin perusahaan akan menepati janjinya kepada timnya, apa pun yang terjadi di luar.

“Kami selalu mendapat dukungan penuh dari kepemimpinan, apa pun yang terjadi,” katanya.

Tanyakan kepada setiap anggota tim dampak sosial Anthropic tentang perjuangan mereka dan apa yang mereka harap dapat mereka lakukan lebih banyak lagi, dan Anda akan tahu bahwa posisi mereka sangat membebani mereka. Mereka jelas merasakan tanggung jawab yang sangat besar di pundak mereka: untuk menyoroti bagaimana teknologi perusahaan mereka akan berdampak pada masyarakat umum.

Pekerjaan masyarakat, otak mereka, proses pemilihan umum yang demokratis, kemampuan mereka untuk terhubung dengan orang lain secara emosional — semuanya dapat diubah oleh chatbots yang memenuhi setiap sudut internet. Banyak anggota tim percaya bahwa mereka akan melakukan pekerjaan yang lebih baik dalam mengarahkan bagaimana teknologi tersebut dikembangkan dari dalam dibandingkan secara eksternal. Namun seperti yang ditunjukkan oleh eksodus insinyur dan peneliti di tempat lain, idealisme tersebut tidak selalu berjalan baik bagi industri AI yang lebih luas.

Permasalahan yang dihadapi sebagian besar anggota tim adalah keterbatasan waktu dan sumber daya — mereka mempunyai lebih banyak ide daripada bandwidth yang mereka miliki. Cakupan yang dilakukan tim sangat luas, dan terkadang mereka melakukan lebih dari yang bisa mereka kunyah. “Ada lebih banyak biaya koordinasi ketika ukuran Anda 10 kali lipat dibandingkan dua tahun lalu,” kata Tamkin. Kadang-kadang hal ini berpasangan dengan waktu larut malam — yaitu, “Bagaimana saya bisa berbicara dengan 12 orang berbeda dan men-debug 20 kesalahan berbeda serta cukup tidur di malam hari agar dapat merilis laporan yang terasa sempurna?”

Tim, sebagian besar, juga ingin melihat penelitian mereka digunakan secara lebih internal: untuk secara langsung meningkatkan tidak hanya model AI Anthropic, tetapi juga produk akhir tertentu seperti chatbot konsumen Claude atau Claude Code. Ganguli mengadakan pertemuan tatap muka setiap bulan dengan kepala bagian sains Jared Kaplan, dan mereka sering bertukar pikiran tentang cara agar tim dampak sosial dapat memberikan dampak yang lebih baik pada produk akhir Anthropic.

Ganguli juga ingin memperluas tim dalam waktu dekat, dan banyak anggota tim berharap dengan perluasan sumber daya ini, mereka bisa mendokumentasikan dengan lebih baik bagaimana pengguna berinteraksi dengan Claude — dan cara yang paling mengejutkan dan mungkin mengkhawatirkan yang mereka lakukan.

Banyak anggota tim juga mengemukakan fakta bahwa melihat data dalam ruang hampa atau laboratorium sangat berbeda dengan pengaruh model AI di dunia nyata. Analisis Clio tentang bagaimana orang menggunakan Claude hanya sejauh ini. Sekadar mengamati kasus penggunaan dan menganalisis transkrip gabungan tidak berarti Anda mengetahui apa yang dilakukan pelanggan Anda dengan keluarannya, apakah mereka konsumen individu, pengembang, atau perusahaan. Dan itu berarti “Anda tinggal menebak-nebak apa dampak sebenarnya terhadap masyarakat,” kata McCain, seraya menambahkan bahwa ini adalah “pembatasan yang sangat penting, dan [it] menyulitkan untuk mempelajari beberapa masalah yang paling penting.”

Seperti yang ditulis tim di a kertas pada subjek, “Clio hanya menganalisis pola dalam percakapan, bukan bagaimana percakapan tersebut diterjemahkan ke dalam tindakan atau dampak di dunia nyata. Ini berarti kita tidak dapat secara langsung mengamati dampak sosial sepenuhnya dari penggunaan sistem AI.” Benar juga bahwa hingga saat ini, tim hanya dapat menganalisis dan mempublikasikan penggunaan Claude oleh konsumen melalui Clio — pada bulan September, untuk pertama kalinya, tim menerbitkan analisis tentang bagaimana bisnis menggunakan Claude melalui API Anthropic.

“Model dan sistem AI tidak berdiri sendiri – mereka ada dalam konteks penerapannya, dan selama setahun terakhir, kami benar-benar menekankan untuk mempelajari penerapan tersebut – cara orang berinteraksi dengan Claude,” kata McCain. “Penelitian tersebut juga harus berkembang di masa depan karena dampak AI akan berdampak pada semakin banyak orang, termasuk orang-orang yang mungkin tidak berinteraksi langsung dengan sistem AI… Lingkaran konsentris di luar.”

Itu sebabnya salah satu bidang penelitian besar tim berikutnya adalah bagaimana orang menggunakan Claude tidak hanya karena IQ-nya, tapi juga karena EQ-nya, atau kecerdasan emosionalnya. Ganguli mengatakan bahwa banyak penelitian tim hingga saat ini terfokus pada jawaban langsung dan dampak terukur terhadap perekonomian atau pasar tenaga kerja, dan penelitian EQ-nya relatif baru – namun tim akan memprioritaskannya dalam enam bulan ke depan. “Setelah orang-orang meninggalkan chatbot, kami tidak sepenuhnya yakin bagaimana mereka terpengaruh atau terkena dampaknya, jadi kami mencoba mengembangkan metode dan teknik baru yang memungkinkan kami untuk memahaminya,” katanya, merujuk pada penerapan “pendekatan yang lebih berpusat pada manusia” dan melakukan lebih banyak “penelitian ilmu sosial” yang mirip dengan menggabungkan analisis data dengan survei dan wawancara.

Karena orang-orang dipengaruhi secara emosional oleh jaringan sosial mereka, maka masuk akal bahwa mereka dapat sangat dipengaruhi oleh agen dan asisten AI. “Orang-orang mendatangi Claude… mencari nasihat, mencari persahabatan, mencari bimbingan karir, memikirkan isu-isu politik — ‘Bagaimana saya harus memilih?’ ‘Bagaimana saya harus memikirkan konflik-konflik yang terjadi di dunia saat ini?’” kata Ganguli. “Hal ini baru… Hal ini dapat memiliki implikasi sosial yang sangat besar ketika orang-orang mengambil keputusan mengenai hal-hal subjektif yang bersifat abu-abu, mungkin lebih merupakan masalah opini, ketika mereka dipengaruhi oleh Claude, atau Grok, atau ChatGPT, atau Gemini, atau hal-hal lainnya.”

Sejauh ini, masalah paling mendesak terkait EQ saat ini dikenal luas sebagai “psikosis AI”. Itu gejala merujuk pada serangkaian kondisi di mana AI membawa pengguna ke dalam spiral delusi dan menyebabkan mereka, pada tingkat tertentu, kehilangan kontak dengan kenyataan. Pengguna biasanya membentuk ikatan emosional dengan chatbot, yang menjadi lebih kuat karena ingatan chatbot tentang percakapan sebelumnya dan potensinya untuk menjauh dari pagar pengaman seiring berjalannya waktu. Terkadang hal ini dapat membuat pengguna percaya bahwa mereka telah menemukan pasangan romantis yang “terjebak” di dalam cha tbot yang ingin bebas; di lain waktu hal ini dapat membuat mereka percaya bahwa mereka telah menemukan rahasia baru di alam semesta atau penemuan ilmiah; namun di lain waktu hal ini dapat menyebabkan paranoia dan ketakutan yang meluas. Psikosis atau delusi AI juga telah menjadi pendorong utama di balik beberapa kasus bunuh diri remaja tuntutan hukum berikutnya, dengar pendapat Senat, undang-undang yang baru disahkanDan kontrol orang tua. Persoalan ini, kata para ahli, tidak akan kemana-mana.

“Apa artinya bagi dunia kita, di mana Anda memiliki mesin dengan empati tanpa akhir yang pada dasarnya dapat Anda buang begitu saja, dan mesin itu akan selalu memberi tahu Anda apa yang dipikirkannya?” kata Ganguli. “Jadi pertanyaannya adalah: Apa jenis tugas yang dilakukan orang-orang yang menggunakan Claude dengan cara ini? Saran apa yang diberikannya? Kami baru saja mulai mengungkap misteri itu.”