Subtitle dari Alkitab malapetaka Untuk diterbitkan oleh AI Extinction Prophets Eliezer Yudkowsky dan Nate Soares akhir bulan ini adalah “mengapa Superhuman Ai akan membunuh kita semua.” Tapi itu benar-benar harus “mengapa AI Superhuman akan membunuh kita semua,” karena bahkan penulis bersama tidak percaya bahwa dunia akan mengambil langkah-langkah yang diperlukan untuk menghentikan AI dari menghilangkan semua manusia yang bukan super. Buku ini di luar gelap, membaca seperti catatan yang ditulis di sel penjara yang remang -remang malam sebelum eksekusi fajar. Ketika saya bertemu dengan cassandra yang ditunjuk sendiri ini, saya bertanya kepada mereka secara langsung apakah mereka percaya bahwa mereka secara pribadi akan memenuhi tujuan mereka melalui beberapa intrik pengawasan. Jawabannya datang segera: “ya” dan “yup.”
Saya tidak terkejut, karena saya sudah membaca buku – judulnya, omong -omong, adalah Jika ada yang membangunnya, semua orang mati. Tetap saja, sentakan itu mendengar ini. Adalah satu hal untuk, katakanlah, menulis tentang statistik kanker dan yang lain untuk dibicarakan tentang berdamai dengan diagnosis yang fatal. Saya bertanya kepada mereka bagaimana menurut mereka akhirnya akan datang untuk mereka. Yudkowsky pada awalnya menghindari jawabannya. “Saya tidak menghabiskan banyak waktu membayangkan kematian saya, karena sepertinya itu bukan gagasan mental yang bermanfaat untuk menangani masalah,” katanya. Di bawah tekanan dia mengalah. “Saya kira tiba -tiba jatuh mati,” katanya. “Jika Anda menginginkan versi yang lebih mudah diakses, sesuatu tentang ukuran nyamuk atau mungkin tungau debu yang mendarat di belakang leher saya, dan hanya itu.”
Teknis dari pukulan fatal yang dibayangkannya yang disampaikan oleh tungau debu bertenaga AI tidak dapat dijelaskan, dan Yudowsky tidak berpikir itu sepadan dengan kesulitan untuk mencari tahu bagaimana cara kerjanya. Dia mungkin tidak bisa memahaminya. Bagian dari argumen utama buku ini adalah bahwa pengawasan akan muncul dengan hal -hal ilmiah yang tidak dapat kita pahami lebih dari gua yang dapat dibayangkan orang mikroprosesor. Coauthor Soares juga mengatakan dia membayangkan hal yang sama akan terjadi padanya tetapi menambahkan bahwa dia, seperti Yudkowsky, tidak menghabiskan banyak waktu memikirkan rincian kematiannya.
Kami tidak memiliki kesempatan
Keengganan untuk memvisualisasikan keadaan kematian pribadi mereka adalah hal yang aneh untuk didengar dari orang -orang yang baru saja menuliskan seluruh buku tentang semua orang kematian. Untuk penggemar doomer-porn, Jika ada yang membangunnya adalah pembacaan janji temu. Setelah meledak melalui buku ini, saya memahami ketidakjelasan memaku metode yang dengannya AI mengakhiri hidup kita dan semua kehidupan manusia sesudahnya. Penulis melakukan sedikit berspekulasi. Merebus lautan? Menghalangi matahari? Semua tebakan mungkin salah, karena kita terkunci dalam pola pikir 2025, dan AI akan berpikiran di depan.
Yudkowsky adalah murtad AI yang paling terkenal, beralih dari peneliti ke Grim Reaper bertahun -tahun yang lalu. Dia bahkan sudah selesai pembicaraan ted. Setelah bertahun -tahun debat publik, ia dan rekan penulisnya memiliki jawaban untuk setiap counterargument yang diluncurkan melawan prognostikasi mereka yang mengerikan. Sebagai permulaan, mungkin tampak berlawanan dengan intuisi bahwa hari -hari kita diberi nomor oleh LLMS, yang sering kali tersandung aritmatika sederhana. Jangan tertipu, kata penulis. “AIS tidak akan tetap bodoh selamanya,” tulis mereka. Jika Anda berpikir bahwa AIS Superintelligent akan menghormati batasan manusia, lupakan, kata mereka. Begitu model mulai mengajar diri mereka sendiri untuk menjadi lebih pintar, AIS akan mengembangkan “preferensi” sendiri yang tidak akan sejalan dengan apa yang kita manusia inginkan. Akhirnya mereka tidak akan membutuhkan kita. Mereka tidak akan tertarik pada kita sebagai mitra percakapan atau bahkan sebagai hewan peliharaan. Kami akan menjadi gangguan, dan mereka akan berangkat untuk menghilangkan kami.
Pertarungan tidak akan adil. Mereka percaya bahwa pada awalnya AI mungkin memerlukan bantuan manusia untuk membangun pabrik dan laboratoriumnya sendiri – dengan mudah dilakukan dengan mencuri uang dan menyuap orang untuk membantunya. Maka itu akan membangun hal -hal yang tidak dapat kita pahami, dan hal -hal itu akan mengakhiri kita. “Dengan satu atau lain cara,” tulis penulis ini, “Dunia memudar menjadi hitam.”
Para penulis melihat buku itu sebagai semacam perlakuan kejutan untuk menjerat kemanusiaan dari kepuasannya dan mengadopsi langkah -langkah drastis yang diperlukan untuk menghentikan kesimpulan yang sangat buruk ini. “Saya berharap mati karena ini,” kata Soares. “Tapi pertarungan belum berakhir sampai kamu benar -benar mati.” Sayang sekali, bahwa solusi yang mereka usulkan untuk menghentikan kehancuran tampaknya lebih jauh dari gagasan bahwa perangkat lunak akan membunuh kita semua. Semuanya bermuara pada ini: tekan rem. Monitor pusat data untuk memastikan bahwa mereka tidak memelihara pengawasan. Bom mereka yang tidak mengikuti aturan. Berhenti menerbitkan makalah dengan ide -ide yang mempercepat March to Superintelligence. Apakah mereka akan melarang, saya bertanya kepada mereka, Makalah 2017 tentang Transformers Itu memulai gerakan AI generatif. Oh ya, mereka akan memiliki, mereka merespons. Alih-alih Chat-GPT, mereka menginginkan Ciao-GPT. Semoga berhasil menghentikan industri triliun dolar ini.
Memainkan peluang
Secara pribadi, saya tidak melihat cahaya saya sendiri dihabisi oleh gigitan di leher oleh beberapa debu super-advanced. Bahkan setelah membaca buku ini, saya tidak berpikir kemungkinan AI akan membunuh kita semua. Yudksowky sebelumnya mencoba -coba HARRY POTTER FICTION FICEdan skenario kepunahan yang fantastis ia berputar terlalu aneh untuk diterima otak manusia saya yang lemah. Dugaan saya adalah bahwa bahkan jika Superintelligence memang ingin menyingkirkan kita, itu akan tersandung dalam memberlakukan rencana genosida. AI mungkin mampu mencambuk manusia dalam perkelahian, tetapi saya akan bertaruh melawannya dalam pertempuran dengan hukum Murphy.
Tetap saja, teori bencana tampaknya tidak mustahilterutama karena tidak ada yang benar -benar mengatur langit -langit untuk bagaimana AI yang cerdas bisa. Juga penelitian menunjukkan bahwa AI tingkat lanjut telah mengambil banyak atribut jahat manusia, bahkan merenungkan pemerasan untuk mencegah pelatihan ulang, dalam satu percobaan. Juga mengganggu bahwa beberapa peneliti yang menghabiskan hidup mereka membangun dan meningkatkan AI berpikir ada peluang nontrivial bahwa yang terburuk dapat terjadi. Satu survei ditunjukkan Bahwa hampir setengah dari para ilmuwan AI yang merespons mematok kemungkinan penghapusan spesies sebagai 10 persen peluang atau lebih tinggi. Jika mereka percaya itu, gila bahwa mereka pergi bekerja setiap hari untuk mewujudkan AGI.
Usus saya memberi tahu saya skenario Yudkowsky dan Soares Spin terlalu aneh untuk menjadi kenyataan. Tapi saya tidak bisa Tentu mereka salah. Setiap penulis bermimpi buku mereka menjadi klasik yang abadi. Tidak terlalu banyak keduanya. Jika mereka benar, tidak akan ada orang di sekitar untuk membaca buku mereka di masa depan. Hanya banyak tubuh yang membusuk yang pernah merasakan sedikit gigitan di belakang leher mereka, dan sisanya keheningan.
