Saya baru saja berlibur di Italia. Seperti yang dilakukan saat ini, saya menjalankan rencana perjalanan saya melewati GPT-5 untuk mendapatkan saran tamasya dan rekomendasi restoran. Bot melaporkan bahwa pilihan utama untuk makan malam di dekat hotel kami di Roma adalah berjalan kaki singkat ke Via Margutta. Ternyata menjadi salah satu makanan terbaik yang saya ingat. Sesampainya di rumah, saya bertanya kepada sang model bagaimana ia memilih restoran itu, yang mana saya ragu untuk mengungkapkannya di sini kalau-kalau saya menginginkan meja di suatu saat nanti (Sial, siapa yang tahu apakah saya akan kembali lagi: Namanya Babette. Hubungi dulu untuk reservasi.) Jawabannya rumit dan mengesankan. Di antara faktor-faktor tersebut adalah sambutan hangat dari penduduk setempat, pemberitahuan di blog makanan dan pers Italia, serta kombinasi masakan Romawi dan kontemporer yang terkenal di restoran tersebut. Oh, dan jalan kaki singkatnya.
Sesuatu juga diperlukan dari pihak saya: kepercayaan. Saya harus menerima gagasan bahwa GPT-5 adalah broker yang jujur, memilih restoran saya tanpa bias; bahwa restoran tersebut tidak ditampilkan kepada saya sebagai konten bersponsor dan tidak menerima potongan dari cek saya. Saya bisa saja melakukan penelitian mendalam sendiri untuk memeriksa ulang rekomendasinya (saya memang mencari situs webnya), tetapi tujuan menggunakan AI adalah untuk menghindari hambatan tersebut.
Pengalaman ini memperkuat keyakinan saya terhadap hasil AI namun juga membuat saya bertanya-tanya: Ketika perusahaan seperti OpenAI menjadi lebih kuat, dan ketika mereka mencoba membayar kembali investornya, apakah AI akan rentan terhadap erosi nilai yang tampaknya mewabah pada aplikasi teknologi yang kita gunakan saat ini?
Permainan Kata
Penulis dan kritikus teknologi Cory Doctorow menyebut erosi sebagai “enshittifikasi”. Premisnya adalah bahwa platform seperti Google, Amazon, Facebook, dan TikTok awalnya bertujuan untuk menyenangkan pengguna, tetapi begitu perusahaan mengalahkan pesaing, mereka dengan sengaja menjadi kurang berguna untuk meraup keuntungan lebih besar. Setelah WIRED menerbitkan ulang rintisan Doctorow esai tahun 2022 Mengenai fenomena tersebut, istilah tersebut masuk ke dalam bahasa sehari-hari, terutama karena masyarakat menyadari bahwa istilah tersebut benar-benar tepat sasaran. Enshittification terpilih sebagai Word of the Year 2023 dari American Dialect Society. Konsep tersebut telah begitu sering dikutip sehingga melampaui kata-kata kotornya, dan muncul di tempat-tempat yang biasanya menutup mulut mereka terhadap kata-kata seperti itu. Doctorow baru saja diterbitkan sebuah buku dengan nama yang sama tentang subjek; gambar sampulnya adalah emoji untuk… coba tebak.
Jika chatbots dan agen AI menjadi terpesona, hal ini bisa lebih buruk daripada Google Penelusuran menjadi kurang berguna, hasil pencarian Amazon dipenuhi iklan, dan bahkan Facebook menampilkan lebih sedikit konten sosial demi clickbait yang menimbulkan kemarahan.
AI berada dalam jalur yang tepat untuk menjadi pendamping setia kami, memberikan jawaban langsung terhadap banyak permintaan kami. Orang-orang sudah mengandalkannya untuk membantu menafsirkan peristiwa terkini dan mendapatkan saran tentang segala macam pilihan pembelian—dan bahkan pilihan hidup. Karena besarnya biaya untuk menciptakan model AI yang menyeluruh, dapat diasumsikan bahwa hanya sedikit perusahaan yang akan mendominasi bidang ini. Semuanya berencana menghabiskan ratusan miliar dolar selama beberapa tahun ke depan untuk menyempurnakan model mereka dan memberikannya kepada sebanyak mungkin orang. Saat ini, menurut saya AI berada pada tahap yang disebut Doctorow sebagai tahap “baik bagi pengguna”. Namun tekanan untuk mengembalikan investasi modal dalam jumlah besar akan sangat besar—terutama bagi perusahaan yang basis penggunanya terbatas. Kondisi tersebut, seperti ditulis Doctorow, memungkinkan perusahaan menyalahgunakan pengguna dan pelanggan bisnisnya “untuk mendapatkan kembali semua nilai bagi diri mereka sendiri.”
Ketika seseorang membayangkan peningkatan AI, hal pertama yang terlintas dalam pikiran adalah periklanan. Mimpi buruknya adalah model AI akan membuat rekomendasi berdasarkan perusahaan mana yang telah membayar untuk penempatannya. Hal ini tidak terjadi saat ini, namun perusahaan AI secara aktif mengeksplorasi ruang iklan. Di dalam wawancara baru-baru iniCEO OpenAI Sam Altman berkata, “Saya yakin mungkin ada beberapa produk iklan keren yang dapat kami lakukan yang dapat memberikan keuntungan bersih bagi pengguna dan semacam hal positif bagi hubungan kami dengan pengguna.” Sementara itu, OpenAI baru saja mengumumkan kesepakatan dengan Walmart sehingga pelanggan pengecer dapat berbelanja di dalam aplikasi ChatGPT. Tidak dapat membayangkan konflik di sana! Platform pencarian AI, Perplexity, memiliki program di mana hasil yang disponsori muncul dalam tindak lanjut yang diberi label dengan jelas. Namun, mereka berjanji, “iklan ini tidak akan mengubah komitmen kami untuk mempertahankan layanan tepercaya yang memberikan jawaban langsung dan tidak memihak atas pertanyaan Anda.”
Apakah batasan tersebut akan berlaku? Juru bicara Perplexity Jesse Dwyer mengatakan kepada saya, “Bagi kami, jaminan nomor satu adalah kami tidak akan membiarkannya.” Dan pada hari pengembang OpenAI baru-baru ini, Altman mengatakan bahwa perusahaan “sangat sadar akan perlunya sangat berhati-hati” dalam melayani penggunanya daripada melayani dirinya sendiri. Doktrin Doctorow tidak terlalu mempercayai pernyataan seperti itu: “Dulu sebuah perusahaan Bisa mempercantik produknya, ia akan menghadapi godaan abadi ke menyempurnakan produknya,” tulisnya dalam bukunya.
Menempatkan iklan dalam percakapan chatbot atau hasil pencarian bukanlah satu-satunya cara agar AI dapat menjadi lebih menarik. Doctorow memberikan contoh di mana perusahaan, ketika mereka mendominasi pasar, mengubah model bisnis dan biayanya. Misalnya, pada tahun 2023, Unity, penyedia alat pengembangan videogame paling populer, memutuskan untuk membebankan “biaya runtime” baru. Perilaku buruk itu sangat mengerikan sehingga pengguna memberontak dan meminta bayaran kembali. Tapi lihat apa yang terjadi pada layanan streaming seperti Amazon Prime Video: Dulunya merupakan layanan bebas iklan. Sekarang membuat Anda menonton iklan sebelum dan selama film. Anda harus membayar untuk mematikannya. Oh, dan harga Amazon Prime terus meningkat. Jadi mungkin merupakan praktik standar teknologi besar untuk mengunci pengguna ke suatu layanan dan kemudian membebankan biaya yang lebih tinggi. Bahkan bisa jadi untuk mempertahankan tingkat kecerdasan yang sama dalam hasil chatbot, suatu hari pengguna mungkin harus meningkatkan ke tingkat yang lebih tinggi, bahkan lebih mahal—trik enshittifikasi lainnya. Mungkin perusahaan yang pernah berjanji bahwa aktivitas chatbot Anda tidak akan digunakan untuk melatih model masa depan akan berubah pikiran—hanya karena mereka bisa lolos begitu saja.
Cory Berbicara
Doctorow tidak membahas AI dalam bukunya, jadi saya meneleponnya untuk mengetahui apakah menurutnya kategori tersebut ditakdirkan untuk mencakup baris buang air besar. Saya berharap dia bisa menguraikan berbagai cara yang membuat perusahaan AI menjadi korban sindrom baunya. Yang mengejutkan saya, dia mempunyai pandangan berbeda. Dia bukan penggemar AI, dan dia mengklaim bahwa bidang tersebut bahkan belum mencapai tahap “baik bagi pengguna” yang saya uraikan sebelumnya. Meski demikian, katanya, bisa saja proses enshitifikasi tetap terjadi. Karena sangat sulit untuk melihat apa yang terjadi di dalam “kotak hitam” LLM, katanya, “mereka memiliki kemampuan untuk menyamarkan kebencian mereka dengan cara yang memungkinkan mereka lolos dari banyak hal.” Yang paling penting, katanya, “keadaan ekonomi yang buruk” di lapangan menuntut agar perusahaan tidak bisa menunggu dan akan melakukan peningkatan bahkan sebelum mereka memberikan nilai. “Saya pikir mereka akan mencoba setiap langkah yang dapat Anda bayangkan ketika perekonomian mengalami kemerosotan,” katanya.
Saya tidak setuju dengan Doctorow tentang nilai AI. Hei, dia menemukan Babette untukku! Namun saya khawatir bahwa teknologi tersebut mungkin rentan terhadap proses enshitifikasi yang telah ia identifikasi dengan tepat di perusahaan-perusahaan raksasa teknologi saat ini. Dan coba tebak—GPT-5 setuju dengan saya. Ketika saya mengajukan pertanyaan ke chatbot, ia menjawab, “Kerangka kerja ‘enshittifikasi’ Doctorow (platform mulai bermanfaat bagi pengguna, kemudian mengalihkan nilai ke pelanggan bisnis, lalu mengekstraknya sendiri) memetakan sistem AI dengan sangat buruk jika insentif tidak terkendali.” GPT-5 kemudian memaparkan sejumlah metode yang dapat digunakan perusahaan AI untuk menurunkan produk mereka demi keuntungan dan kekuasaan. Perusahaan AI mungkin meyakinkan kita bahwa mereka tidak akan melakukan enshittify. Tapi produk mereka sendiri sudah menulis cetak birunya.
Ini adalah edisi Steven Levy Buletin saluran belakang. Baca buletin sebelumnya Di Sini.
