Itu akan terjadi sulit untuk melebih -lebihkan dampaknya Peter Thiel telah memiliki karier Sam Altman. Setelah Altman menjual startup pertamanya pada tahun 2012, Thiel membiayai dana usaha pertamanya, Hydrazine Capital. Thiel melihat Altman sebagai optimis yang lazim yang berdiri di “pusat gempa absolut, mungkin bukan dari lembah silikon, tetapi dari zeitgeist lembah silikon.” Seperti yang dikatakan Thiel, “Jika Anda harus mencari satu orang yang mewakili orang teknologi milenial, itu akan menjadi Altman.”
Setiap tahun, Altman akan menunjuk Thiel ke startup yang paling menjanjikan di Y Combinator–Airbnb Pada 2012, Stripe pada tahun 2013, Zenefits pada tahun 2014 – dan Thiel akan menelan keras dan berinvestasi, meskipun dia kadang -kadang merasa seperti dia tersapu dalam siklus hype. Mengikuti saran Altman membawa pendiri Thiel mendanai beberapa pengembalian besar.
Thiel, sementara itu, menjadi suara paling keras yang mengkritik kurangnya kemajuan teknologi sejati di tengah -tengah semua hype. “Lupakan mobil terbang,” gurunya selama kuliah Stanford 2012. “Kami masih duduk di lalu lintas.”
Pada saat Altman mengambil alih Y Combinator pada tahun 2014, ia telah menginternalisasi kritik Thiel tentang “stagnasi teknologi” dan menyalurkannya untuk membuat kembali YC sebagai investor dalam minuman keras “teknologi keras” seperti energi nuklir, pesawat supersonik – dan kecerdasan buatan. Sekarang Altman yang semakin mengambil isyarat dari Thiel.
Dan jika sulit untuk membesar-besarkan efek Thiel pada Altman, sama mudahnya untuk mengecilkan pengaruh yang diobsesi dengan autodidak AI-AI-AI-Obsession bernama Eliezer Yudkowsky melakukan investasi awal Thiel di AI.
Meskipun sejak itu ia menjadi mungkin nabi AI Doomsday terkemuka di dunia, Yudkowsky memulai sebagai wunderkind yang magnetis, techno-optimistic yang unggul dalam menggalang investor, peneliti, dan eksentrik di sekitar pencarian untuk “mempercepat singularitas.”
Dalam kutipan ini dari buku yang akan datang Yang optimis, Keach Hagey menggambarkan bagaimana hubungan Thiel dengan Yudkowsky mengatur panggung untuk revolusi AI generatif: bagaimana Yudkowsky yang pertama kali mengilhami salah satu pendiri DeepMind untuk membayangkan dan membangun “pengawasan,” dan Yudkowsky yang memperkenalkan para pendiri Deepmind kepada Thiel, salah satu investor pertama mereka. Bagaimana percakapan Thiel dengan Altman tentang DeepMind akan membantu menginspirasi penciptaan Openai. Dan bagaimana Thiel, sebagai salah satu pendukung Yudkowsky yang paling penting, secara tidak sengaja diunggulkan subkultur AI-apokaliptik yang pada akhirnya akan memainkan peran dalam pemecatan Sam Altman, bertahun-tahun kemudian, sebagai CEO Openai.
Seperti Sam Altman, Peter Thiel telah lama terobsesi dengan kemungkinan bahwa suatu hari komputer akan menjadi lebih pintar daripada manusia dan melepaskan siklus penguatan diri sendiri dari kemajuan teknologi eksponensial, kiasan fiksi ilmiah lama yang sering disebut sebagai “singularitas.” Istilah ini pertama kali diperkenalkan oleh penasihat matematikawan dan Proyek Manhattan John Von Neumann pada 1950-an, dan dipopulerkan oleh penulis fiksi ilmiah terkenal Vernor Vinge pada 1980-an. Teman Vinge, Marc Stiegler, yang bekerja pada keamanan siber untuk orang-orang seperti DARPA saat menyusun novel-novel futuristik, ingat pernah menghabiskan sore dengan Vinge di sebuah restoran di luar konvensi sci-fi “bertukar cerita yang tidak akan pernah kami tulis karena benar-benar mengerikan dan sangat mungkin. Kami terlalu takut nutjob akan mengambil salah satu dari mereka dan benar-benar melakukannya.”
Di antara banyak orang lain yang dipengaruhi oleh fiksi Vinge adalah Eliezer Yudkowsky. Terlahir dari keluarga Yahudi Ortodoks pada tahun 1979 di Chicago, Yudkowsky adalah putra seorang ibu psikiater dan seorang ayah fisikawan yang kemudian bekerja di Bell Labs dan Intel atas pengakuan ucapan, dan dirinya sendiri adalah penggemar sci-fi yang setia. Yudkowsky mulai membaca fiksi ilmiah pada usia 7 dan menulisnya pada usia 9 tahun. Pada usia 11, ia mencetak 1410 pada SAT. Pada kelas tujuh, dia memberi tahu orang tuanya bahwa dia tidak bisa lagi mentolerir sekolah. Dia tidak bersekolah di sekolah menengah. Pada saat dia berusia 17 tahun, dia sangat sadar bahwa dia tidak seperti orang lain, memposting halaman web yang menyatakan bahwa dia adalah seorang “jenius” tetapi “bukan seorang Nazi.” Dia menolak didefinisikan sebagai “remaja pria,” alih -alih lebih suka mengklasifikasikan dirinya sebagai “Algernon,” referensi untuk cerita pendek Daniel Keyes yang terkenal tentang tikus lab yang mendapatkan kecerdasan yang ditingkatkan. Berkat Vinge, dia telah menemukan arti hidup. “Satu -satunya tujuan halaman ini, satu -satunya tujuan situs ini, satu -satunya tujuan apa pun yang pernah saya lakukan sebagai seorang Algernon adalah untuk mempercepat singularitas,” tulisnya.
Sekitar waktu ini, Yudkowsky menemukan milis yang tidak jelas dari suatu masyarakat yang menyebut dirinya ekstropian, yang merupakan subjek dari a 1994 Artikel di Wired Itu kebetulan memasukkan alamat email mereka di akhir. Didirikan oleh filsuf Max lebih pada 1980-an, ekstropianisme adalah bentuk super-optimisme pro-sains yang berupaya melawan entropi-hukum universal yang mengatakan hal-hal berantakan, semuanya cenderung ke arah kekacauan dan kematian-di semua bidang. Dalam istilah praktis, ini berarti mendaftar untuk memiliki tubuh mereka – atau setidaknya kepala – bekas di negatif 321 derajat Fahrenheit di Alcor Life Extension Foundation di Scottsdale, Arizona, setelah mereka meninggal. Mereka akan dihidupkan kembali begitu umat manusia cukup maju secara teknologi untuk melakukannya. Lebih filosofis, entropi yang memerangi berarti tinggal oleh lima prinsip: ekspansi tanpa batas, transformasi diri, optimisme dinamis, teknologi cerdas, dan tatanan spontan. (Optimisme dinamis, misalnya, melibatkan teknik yang disebut fokus selektif, di mana Anda hanya berkonsentrasi pada aspek positif dari situasi yang diberikan.)
Robin Hanson, yang bergabung dengan gerakan ini dan menjadi terkenal karena menciptakan pasar prediksi, menggambarkan menghadiri partai -partai ekstropian bertingkat di rumah -rumah besar di Palo Alto pada saat itu. “Dan saya diberi energi oleh mereka, karena mereka berbicara tentang semua ide menarik ini. Dan istri saya ditunda karena mereka tidak disajikan dengan baik, dan sedikit aneh,” katanya. “Kita semua menganggap diri kita sebagai orang yang melihat di mana masa depan akan berada, dan orang lain tidak mendapatkannya. Akhirnya – akhirnya – kita benar, tetapi siapa yang tahu persis kapan.”
Salah satu pendiri Extropy Jurnal, Tom Bell, alias untuk Morrow (Bell mengklaim bahwa Morrow adalah kepribadian yang berbeda dan bukan hanya nama pena), menulis tentang sistem “hukum polisentrik” yang dapat muncul secara organik dari transaksi sukarela antara agen yang bebas dari gangguan pemerintah, dan “Free Oceana,” potensi pemukiman ekstropian di sebuah pemukiman ekstropian potensial di sebuah pulau internasional yang melayang di internasional. ; Artikel kabel dibuka di salah satu pertemuan ekstropian seperti itu, di mana seorang peserta muncul berpakaian seperti “negara bagian,” mengenakan bustier vinyl, rok mini, dan rantai harness top dan membawa tanaman berkuda, menyeret peserta lain yang berpakaian sebagai “wajib pajak” dengan tali pengikat.
Milis dan komunitas ekstropian yang lebih luas hanya memiliki beberapa ratus anggota, tetapi di antaranya adalah sejumlah nama terkenal, termasuk Hanson; Marvin Minsky, ilmuwan pemenang penghargaan Turing yang mendirikan MIT’s AI Lab pada akhir 1950 -an; Ray Kurzweil, ilmuwan komputer dan futuris yang bukunya akan mengubah “singularitas” menjadi kata rumah tangga; Nick Bostrom, filsuf Swedia yang tulisannya akan melakukan hal yang sama untuk “risiko eksistensial” yang diduga ditimbulkan oleh AI; Julian Assange, satu dekade sebelum ia mendirikan Wikileaks; Dan tiga orang – Nick Szabo, Wei Dai, dan Hal Finney – ditrumor untuk menjadi atau berdekatan dengan pencipta pseudonim Bitcoin, Satoshi Nakamoto.
“Jelas bahkan dari arsip kasual dari Extropians Archive (dikelola oleh Wei Dai) bahwa dalam beberapa bulan, remaja Eliezer Yudkowsky menjadi salah satu dari suara hiruk -pikofon yang luar biasa ini,” tulis jurnalis Jon Evans dalam sejarah gerakannya. Pada tahun 1996, pada usia 17, Yudkowsky berpendapat bahwa pengawasan akan menjadi peningkatan besar atas manusia, dan bisa berada di sini pada tahun 2020.
Dua anggota komunitas ekstropian, wirausahawan internet Brian dan Sabine Atkins – yang bertemu di milis ekstropian pada tahun 1998 dan menikah segera setelah itu – diambil dengan pesan ini sehingga pada tahun 2000 mereka membiayai sebuah think tank untuk Yudkowsky, Institut Singularitas untuk Kecerdasan Buatan. Pada usia 21, Yudkowsky pindah ke Atlanta dan mulai menggambar gaji nirlaba sekitar $ 20.000 per tahun untuk mengkhotbahkan pesannya tentang Superintelligence yang baik hati. “Saya pikir hal -hal yang sangat cerdas akan secara otomatis baik,” katanya. Namun dalam delapan bulan, dia mulai menyadari bahwa dia salah – salah. AI, dia memutuskan, bisa menjadi bencana.
“Saya mengambil Uang orang lain, dan saya adalah orang yang merasakan kewajiban yang cukup mendalam terhadap mereka yang membantu saya, “Yudkowsky menjelaskan.” Pada titik tertentu, alih -alih berpikir, ‘Jika pengawasan tidak secara otomatis menentukan apa hal yang benar dan melakukan hal itu berarti tidak ada benar atau salah, dalam hal mana, siapa yang peduli?’ Saya seperti, ‘Yah, tetapi Brian Atkins mungkin lebih suka untuk tidak dibunuh oleh pengawas.’ “Dia pikir Atkins mungkin ingin memiliki” rencana mundur, “tetapi ketika dia duduk dan mencoba untuk menyelesaikannya, dia menyadari dengan ngeri bahwa itu tidak mungkin.” Itu menyebabkan saya benar -benar terlibat dengan masalah yang mendasarinya, dan kemudian saya menyadari bahwa saya benar -benar salah tentang segalanya. “
Atkins adalah pemahaman, dan misi Institut diputar dari membuat kecerdasan buatan menjadi membuat kecerdasan buatan yang ramah. “Bagian di mana kami perlu menyelesaikan masalah AI yang ramah memang menempatkan hambatan di jalur pengisian langsung untuk mempekerjakan peneliti AI, tetapi juga kami pasti tidak memiliki dana untuk melakukan itu,” kata Yudkowsky. Sebaliknya, ia menyusun kerangka kerja intelektual baru yang dijuluki “rasionalisme.” (While on its face, rationalism is the belief that humankind has the power to use reason to come to correct answers, over time it came to describe a movement that, in the words of writer Ozy Brennan, includes “reductionism, materialism, moral non-realism, utilitarianism, anti-deathism and transhumanism.” Scott Alexander, Yudkowsky’s intellectual heir, jokes that the movement’s true distinguishing trait is the Keyakinan bahwa “Eliezer Yudkowsky adalah California yang sah.”)
Dalam makalah 2004, “kemauan ekstrapolasi yang koheren,” Yudkowsky berpendapat bahwa AI yang ramah harus dikembangkan berdasarkan tidak hanya pada apa yang kami pikir kami ingin AI lakukan sekarang, tetapi apa yang sebenarnya akan menjadi kepentingan terbaik kami. “Tujuan teknik adalah bertanya apa yang dimiliki umat manusia, ‘atau lebih tepatnya apa yang akan kami putuskan jika kami tahu lebih banyak, pikir lebih cepat, lebih banyak orang yang kami harapkan, telah tumbuh lebih jauh bersama, dll.,” Tulisnya. Di koran, ia juga menggunakan metafora yang mengesankan, berasal dari Bostrom, untuk bagaimana AI bisa salah: jika AI Anda diprogram untuk menghasilkan klip kertas, jika Anda tidak hati -hati, itu mungkin akhirnya mengisi tata surya dengan klip kertas.
Pada tahun 2005, Yudkowsky menghadiri makan malam pribadi di sebuah restoran San Francisco yang dipegang oleh The Foresight Institute, sebuah think tank teknologi yang didirikan pada 1980 -an untuk mendorong nanoteknologi ke depan. (Banyak anggota aslinya berasal dari L5 Society, yang didedikasikan untuk mendesak untuk penciptaan koloni luar angkasa yang melayang tepat di belakang bulan, dan berhasil melobi untuk menjaga Amerika Serikat dari menandatangani perjanjian bulan PBB tahun 1979 karena ketentuannya akan terjadi pada Tank yang akan ada di Tank yang akan ada di Tank yang ada di Tank. setelah. Yudkowsky, tidak tahu siapa Thiel, berjalan menghampirinya setelah makan malam. “Jika teman Anda adalah sinyal yang dapat diandalkan tentang kapan suatu aset akan turun, mereka perlu melakukan semacam kognisi yang mengalahkan pasar yang efisien agar mereka dapat berkorelasi dengan stok ke bawah,” kata Yudkowsky, yang pada dasarnya mengingatkan kepada Thiel tentang no-mome hipotesis, yang berpendapat bahwa semua faktor risiko sudah disertakan. Thiel terpesona.
Thiel dan Yudkowsky mulai sesekali makan malam bersama. Yudkowsky menganggap Thiel “sebagai sosok mentor,” katanya. Pada 2005, t Hiel mulai mendanai Singularity Institute Yudkowsky, dan tahun berikutnya mereka bekerja sama dengan Ray Kurzweil – yang bukunya Singularitas sudah dekat telah menjadi buku terlaris – untuk membuat KTT Singularity di Stanford University. Selama enam tahun ke depan, ini diperluas menjadi forum terkemuka bagi para futuris, transhumanis, ekstropian, peneliti AI, dan penulis fiksi ilmiah, termasuk Bostrom, More, Hanson, Stanford AI Profesor Sebastian Thrun, yang diklaim oleh pendiri Peter Diamandis. Pendiri Skype Jaan Tallinn, yang berpartisipasi dalam KTT, terinspirasi oleh Yudkowsky untuk menjadi salah satu penyandang dana utama penelitian yang didedikasikan untuk mengurangi risiko eksistensial dari AI. Peserta KTT lainnya, fisikawan Max Tegmark, akan ikut mendirikan Future of Life Institute.
Vernor Vinge sendiri bahkan muncul, tampak seperti guru kimia sekolah umum dengan kacamata putih Walter dan janggut abu -abu yang rapi, dengan riang mengingatkan penonton bahwa ketika singularitas datang, “Kami tidak lagi berada di kursi pengemudi.”
Pada tahun 2010, salah satu peneliti AI yang diundang Yudkowsky untuk berbicara di puncak adalah Shane Legg, seorang matematikawan, ilmuwan komputer, dan penari balet yang telah terobsesi dengan membangun pengawasan sejak Yudkowsky telah memperkenalkannya pada gagasan itu satu dekade sebelumnya. Legg telah bekerja di Intelligenesis, sebuah startup berbasis di New York yang didirikan oleh ilmuwan komputer Ben Goertzel yang mencoba mengembangkan AI pertama di dunia. Produknya yang paling terkenal adalah WebMind, sebuah proyek perangkat lunak ambisius yang berusaha memprediksi tren pasar saham. Goertzel, yang memiliki gelar PhD dalam bidang matematika, telah menjadi poster aktif di milis ekstropian selama bertahun -tahun, berdebat dengan Yudkowsky tentang transhumanisme dan libertarianisme. (Dia mendukung yang pertama tetapi tidak begitu banyak yang terakhir.) Kembali pada tahun 2000, Yudkowsky datang untuk berbicara di perusahaan Goertzel (yang akan bangkrut dalam setahun). Legg menunjuk pada pembicaraan sebagai saat ketika ia mulai menganggap gagasan tentang Superintelligence dengan serius, melampaui karikatur di film. Goertzel dan Legg mulai menyebut konsep itu sebagai “kecerdasan umum buatan.”
Legg melanjutkan untuk mendapatkan PhD sendiri, menulis disertasi, “mesin super intelijen,” yang mencatat teknologi itu bisa menjadi ancaman eksistensial, dan kemudian pindah ke beasiswa postdoctoral di universitas neuroscience computational gatsby universitas London, sebuah laboratorium yang mencakup ilmu saraf, pembelajaran mesin, dan AI. Di sana, ia bertemu dengan seorang pemain bermain game dari London bernama Demis Hassabis, putra seorang ibu Singapura dan ayah Siprus Yunani. Hassabis pernah menjadi pemain catur peringkat kedua di dunia di bawah usia 14 tahun. Sekarang ia fokus membangun AI yang diilhami oleh otak manusia. Legg dan Hassabis berbagi visi yang umum dan tidak modis. “Itu pada dasarnya adalah wilayah yang bergulir mata,” kata Legg kepada jurnalis Cade Metz. “Jika Anda berbicara dengan siapa pun tentang AI Jenderal, Anda akan dianggap paling eksentrik, paling buruk beberapa jenis khas, karakter nonscientific.” Legg berpikir itu bisa dibangun di akademi, tetapi Hassabis, yang sudah mencoba startup dan gagal, tahu lebih baik. Satu -satunya cara untuk melakukannya adalah melalui industri. Dan ada satu investor yang akan menjadi tempat yang jelas untuk memulai: Peter Thiel.
Tambahkan dan Hazabis Datang ke KTT Singularitas 2010 sebagai presenter, ya, tetapi benar -benar bertemu Thiel, yang sering mengundang peserta Summit ke townhouse -nya di San Francisco, menurut akun Metz. Hassabis berbicara pada hari pertama puncak, yang telah pindah ke sebuah hotel di pusat kota San Francisco, menguraikan visinya untuk AI yang mengambil inspirasi dari otak manusia. Legg mengikuti hari berikutnya dengan ceramah tentang bagaimana AI perlu diukur untuk bergerak maju. Setelah itu, mereka pergi untuk koktail di rumah Distrik Marina Thiel, dengan pemandangan Jembatan Golden Gate dan Istana Seni Rupa, dan senang melihat papan catur di atas meja. Mereka menelusuri kerumunan dan menemukan Yudkowsky, yang membawa mereka ke Thiel untuk diperkenalkan. Mencoba memainkannya dengan keren, Hassabis melewatkan penjualan keras dan mulai dengan catur, topik yang dia tahu sayang di hati Thiel. Permainan telah teruji oleh waktu, kata Hassabis, karena ksatria dan uskup memiliki ketegangan yang begitu menarik – nilainya sama, tetapi sangat berbeda dalam kekuatan dan kelemahan. Thiel mengundang mereka untuk kembali keesokan harinya untuk memberitahunya tentang startup mereka.
Di pagi hari, mereka melempar Thiel, segar dari latihan, di seberang meja ruang makannya. Hassabis mengatakan mereka membangun AGI yang terinspirasi oleh otak manusia, pada awalnya akan mengukur kemajuannya dengan melatihnya untuk bermain game, dan yakin bahwa kemajuan dalam kekuatan komputasi akan mendorong terobosan mereka. Thiel menolak keras pada awalnya, tetapi selama berminggu-minggu sepakat untuk menginvestasikan $ 2,25 juta, menjadi investor besar pertama perusahaan yang belum disebutkan namanya. Beberapa bulan kemudian, Hassabis, Legg, dan teman mereka, pengusaha Mustafa Suleyman, secara resmi didorong oleh DeepMind, referensi untuk rencana perusahaan untuk menggabungkan “pembelajaran mendalam,” jenis pembelajaran mesin yang menggunakan lapisan jaringan saraf, dengan ilmu saraf yang sebenarnya. Sejak awal, mereka mengatakan kepada investor bahwa tujuan mereka adalah mengembangkan AGI, meskipun mereka takut suatu hari nanti akan mengancam keberadaan manusia.
Melalui jaringan Thiel, Deepmind merekrut sesama veteran Paypal Elon Musk sebagai investor. Thiel’s Founders Fund, yang telah berinvestasi di perusahaan roket Musk, SpaceX, mengundang Hassabis untuk berbicara di sebuah konferensi pada tahun 2012, dan Musk hadir. Hassabis meletakkan rencananya 10 tahun untuk DeepMind, menggembar-gemborkan sebagai “proyek Manhattan” selama AI bertahun-tahun sebelum Altman menggunakan frasa tersebut. Thiel ingat salah satu investornya bercanda di jalan keluar bahwa pidato itu mengesankan, tetapi dia merasa perlu untuk menembak Hassabis untuk menyelamatkan umat manusia.
Tahun berikutnya, Luke Nosek, salah satu pendiri PayPal dan Founders Fund yang berteman dengan Musk dan duduk di papan SpaceX, memperkenalkan Hassabis ke Musk. Musk membawa Hassabis dalam tur markas SpaceX di Los Angeles. Ketika keduanya duduk untuk makan siang di kafetaria perusahaan, mereka melakukan percakapan kosmik. Hassabis mengatakan kepada Musk bahwa dia sedang mengerjakan hal terpenting di dunia, AI yang superintelligent. Musk menjawab bahwa ia, pada kenyataannya, sedang mengerjakan hal terpenting di dunia: mengubah manusia menjadi spesies antarplanet dengan menjajah Mars. Hassabis menjawab bahwa itu terdengar hebat, selama AI nakal tidak mengikuti Musk ke Mars dan menghancurkan umat manusia di sana juga. Musk menjadi sangat sunyi. Dia tidak pernah benar -benar memikirkan hal itu. Dia memutuskan untuk mengawasi teknologi DeepMind dengan berinvestasi di dalamnya.
Pada bulan Desember 2013, Hassabis berdiri di atas panggung di sebuah konferensi pembelajaran mesin di Harrah’s di Lake Tahoe dan mendemonstrasikan terobosan besar pertama Deepmind: agen AI yang bisa belajar bermain dan kemudian dengan cepat menguasai video game Atari klasik ATAR Kesuksesan besar Tanpa instruksi dari manusia. Deepmind telah melakukan ini dengan kombinasi jaringan saraf dalam dan pembelajaran penguatan, dan hasilnya sangat menakjubkan sehingga Google membeli perusahaan dengan harga $ 650 juta yang dilaporkan sebulan kemudian.
Implikasi dari pencapaian DeepMind-yang merupakan langkah besar menuju kecerdasan tujuan umum yang dapat memahami dunia yang kacau di sekitarnya dan bekerja menuju tujuan-tidak dipahami secara luas sampai perusahaan menerbitkan makalah tentang temuannya di jurnal alam lebih dari setahun kemudian. Tetapi Thiel, sebagai investor DeepMind, memahaminya dengan baik, dan mendiskusikannya dengan Altman. Pada bulan Februari 2014, sebulan setelah Google membeli DeepMind, Altman menulis sebuah posting di blog pribadinya berjudul “AI” yang menyatakan teknologi tren teknologi paling penting yang tidak cukup memperhatikan orang.
“Untuk lebih jelasnya, AI (di bawah definisi ilmiah umum) kemungkinan tidak akan berhasil. Anda dapat mengatakan itu tentang teknologi baru apa pun, dan itu adalah pernyataan yang umumnya benar. Tapi saya pikir kebanyakan orang terlalu pesimis tentang peluangnya,” tulisnya, menambahkan bahwa “kecerdasan umum buatan mungkin berhasil, dan jika itu terjadi, itu akan menjadi perkembangan terbesar dalam teknologi.” ”
Sedikit lagi Dari setahun kemudian, Altman bekerja sama dengan Elon Musk ke Cofound Openai sebagai penyeimbang non -perusahaan untuk Google DeepMind. Dan dengan itu, perlombaan untuk membangun kecerdasan umum buatan.
Ini adalah perlombaan yang telah membantu Yudkowsky berangkat. Tetapi ketika menambah kecepatan, Yudkowsky sendiri semakin khawatir tentang apa yang dilihatnya sebagai bahaya tingkat kepunahan yang ditimbulkannya. Dia masih berpengaruh di antara investor, peneliti, dan Eksentriktetapi sekarang sebagai suara kehati -hatian yang ekstrem.
Yudkowsky tidak secara pribadi terlibat dalam Openai, tetapi blognya, Lesswrong, secara luas dibacakan di antara para peneliti dan insinyur AI yang bekerja di sana. (Saat masih di Stripe, salah satu pendiri Openai Greg Brockman telah menyelenggarakan kelompok baca yang kurang mingguan.) Ide -ide rasionalis yang didukung Yudkowsky tumpang tindih secara signifikan dengan gerakan altruisme yang efektif, yang mengubah banyak perhatiannya untuk mencegah risiko eksistensial dari AI.
Beberapa bulan setelah perlombaan ini masuk ke pandangan publik penuh dengan rilis Openai dari ChatGPT pada November 2022, Yudkowsky menerbitkan esai di majalah Time dengan alasan bahwa kecuali gelombang penelitian AI generatif saat ini dihentikan, “Secara harfiah semua orang di Bumi akan mati.”
Thiel merasa bahwa Yudkowsky telah menjadi “sangat hitam dan luddite.” Dan dua anggota dewan Openai memiliki ikatan dengan altruisme yang efektif. Kurang dari seminggu sebelum Altman secara singkat digulingkan sebagai CEO pada musim gugur 2023, Thiel memperingatkan temannya, “Anda tidak mengerti bagaimana Eliezer telah memprogram setengah dari orang -orang di perusahaan Anda untuk mempercayai hal ini.” Peringatan Thiel datang dengan beberapa kesalahan bahwa dia telah menciptakan monster berkepala yang sekarang datang untuk temannya.
Kutipan diadaptasi dari The Optimist: Sam Altman, Openai, dan perlombaan untuk menciptakan masa depan, oleh Keach Hagey. Diterbitkan oleh Pengaturan dengan WW Norton & Company. Hak Cipta © 2025 oleh Keach Hagey.
