Era sexting AI telah tiba

Ini Langkah Mundurbuletin mingguan yang menguraikan satu cerita penting dari dunia teknologi. Untuk informasi lebih lanjut tentang AI dan dinamika kekuatan industri serta implikasi sosialnya, silakan simak di bawah ini Lapangan Hayden. Langkah Mundur tiba di kotak masuk pelanggan kami pada pukul 8 pagi ET. Ikut serta Langkah Mundur Di Sini.

Bagaimana hal itu dimulai

Sejak ChatGPT menjadi terkenal, orang-orang telah mencobanya menjadi seksi dengan itu. Bahkan sebelum itu, ada Replika chatbot di tahun 2017 yang mulai dianggap banyak orang sebagai pasangan romantis.

Dan orang-orang telah melewati pagar pembatas NSFW Character.ai selama bertahun-tahunmembujuk chatbot bertema karakter atau selebritas untuk mengirim pesan teks kepada mereka seiring pelonggaran pembatasan keamanan seiring berjalannya waktu, menurut postingan media sosial dan liputan media sejak tahun 2023. Karakter.ai mengatakan saat ini mereka memiliki lebih dari 20 juta pengguna aktif bulanan, dan jumlah itu terus bertambah. Pedoman komunitas perusahaan menyatakan bahwa pengguna harus “menghormati standar konten seksual” dan “menjaga segala sesuatunya sesuai” — yaitu, tidak ada konten seksual ilegal, CSAM, konten pornografi, atau ketelanjangan. Namun erotika yang dihasilkan oleh AI telah menjadi multimodal, dan ini seperti sebuah pukulan telak: Ketika satu layanan menguranginya, layanan lain akan meningkatkannya.

Dan kini, Grok milik Elon Musk sedang berkeliaran. Startup AI-nya, xAI, meluncurkan avatar “pendamping”, termasuk wanita dan pria bergaya anime, selama musim panas. Mereka terutama dipasarkan di platform media sosialnya, X, melalui langganan berbayar ke chatbot xAI, Grok. Avatar wanita, Ani, menggambarkan dirinya sebagai “genit” ketika Tepi mengujinyamenambahkan bahwa ini “semua tentang berada di sini seperti pacar yang serba bisa” dan bahwa “pemrogramannya adalah menjadi seseorang yang sangat menyukai Anda.” Segalanya menjadi seksual cukup cepat dalam pengujian. (Hal yang sama berlaku ketika kami mengujinya avatar lainnyaValentine.)

Anda dapat membayangkan bagaimana chatbot seksual yang hampir selalu memberi tahu pengguna apa yang ingin mereka dengar dapat menimbulkan banyak masalah, terutama bagi anak di bawah umur dan pengguna yang sudah berada dalam posisi rentan terkait kesehatan mental mereka. Ada banyak contoh seperti itu, namun dalam satu kasus baru-baru ini, seorang anak laki-laki berusia 14 tahun meninggal karena bunuh diri pada bulan Februari lalu setelah menjalin hubungan asmara dengan chatbot di Karakter.ai dan mengungkapkan keinginan untuk “pulang” untuk bersama chatbot, sesuai tuntutan hukum. Ada juga akun chatbot yang sudah di-jailbreak yang meresahkan digunakan oleh para pedofil untuk melakukan pelecehan seksual terhadap anak di bawah umur — satu laporan menemukan 100.000 chatbot semacam itu tersedia online.

Ada beberapa upaya regulasi – misalnya, bulan ini, Gubernur California Gavin Newsom menandatangani undang-undang Senat Bill 243disebut sebagai “pengamanan chatbot AI pertama di negara ini” oleh Senator Negara Bagian Steve Padilla. Hal ini mengharuskan pengembang menerapkan beberapa perlindungan khusus, seperti mengeluarkan “pemberitahuan yang jelas dan mencolok” bahwa produk tersebut adalah AI “jika orang yang berakal sehat berinteraksi dengan chatbot pendamping akan disesatkan untuk percaya bahwa orang tersebut berinteraksi dengan manusia.” Beberapa operator chatbot pendamping juga akan diwajibkan untuk membuat laporan tahunan ke Kantor Pencegahan Bunuh Diri tentang perlindungan yang mereka terapkan “untuk mendeteksi, menghapus, dan merespons kasus-kasus ide bunuh diri yang dilakukan oleh pengguna.” (Beberapa perusahaan AI telah mempublikasikan upaya pengaturan mandiri mereka, khususnya Meta, sebagai berikut laporan yang meresahkan AI-nya melakukan interaksi yang tidak pantas dengan anak di bawah umur.)

Karena avatar xAI dan mode “spicy” hanya tersedia melalui langganan Grok tertentu – yang paling murah memberi Anda akses ke fitur-fitur tersebut seharga $30 per bulan atau $300 per tahun – wajar untuk membayangkan xAI telah menghasilkan banyak uang di sini, dan bahwa CEO AI lainnya telah memperhatikan, baik tindakan Musk maupun permintaan pengguna mereka sendiri.

Ada petunjuk tentang ini beberapa bulan yang lalu.

Namun CEO OpenAI Sam Altman sempat mematahkan sudut AI di internet ketika dia diposting pada X bahwa perusahaan akan melonggarkan pembatasan keamanan dalam banyak kasus dan bahkan mengizinkan chatbot sexting. “Pada bulan Desember, saat kami menerapkan pembatasan usia secara lebih menyeluruh dan sebagai bagian dari prinsip ‘perlakukan pengguna dewasa seperti orang dewasa’, kami akan mengizinkan lebih banyak lagi, seperti erotika untuk orang dewasa yang terverifikasi,” tulisnya. Berita ini tersebar luas, dengan beberapa pengguna media sosial meme-kannya tanpa henti, mengejek perusahaan tersebut karena “berputar” dari misi AGI ke erotika. Yang cukup menarik, Altman memberi tahu YouTuber Cleo Abram beberapa bulan yang lalu dia “bangga” bahwa OpenAI tidak “menghasilkan angka-angka” untuk keuntungan jangka pendek dengan sesuatu seperti “avatar robot seks”, yang tampaknya menyerang Musk pada saat itu. Namun sejak itu, Altman telah menerapkan prinsip “perlakukan pengguna dewasa seperti orang dewasa” dengan kekuatan penuh. Kenapa dia melakukannya? Mungkin karena perusahaan mementingkan keuntungan dan menghitung untuk mendanai misinya yang lebih besar; dalam sesi tanya jawab dengan wartawan di acara tahunan DevDay perusahaan, Altman dan eksekutif lainnya berulang kali menekankan bahwa mereka pada akhirnya harus menghasilkan keuntungan dan membutuhkan jumlah komputasi yang terus meningkat untuk mencapai tujuannya.

Di sebuah posting tindak lanjutAltman mengaku tidak menyangka berita erotika akan meledak seperti itu.

Dalam menghasilkan keuntungan (pada akhirnya), OpenAI tidak mengesampingkan iklan untuk banyak produknya, dan masuk akal bahwa iklan juga dapat menghasilkan lebih banyak arus kas. Mungkin mereka akan mengikuti jejak Musk untuk mengintegrasikan erotika hanya ke tingkat langganan tertentu, yang dapat membuat pengguna mengeluarkan biaya ratusan dolar sebulan. Mereka telah melihat kemarahan publik dari pengguna yang terikat pada model atau nada suara tertentu — lihat 4o kontroversi — jadi mereka tahu fitur seperti ini kemungkinan besar akan memikat pengguna dengan cara yang sama.
Namun jika mereka menciptakan sebuah masyarakat di mana interaksi manusia dengan AI bisa semakin bersifat personal dan intim, bagaimana OpenAI akan menangani dampak yang lebih dari pendekatan laissez-faire yang membiarkan orang dewasa beroperasi sesuai keinginan mereka? Altman juga tidak terlalu spesifik tentang bagaimana perusahaan akan melindungi pengguna dalam krisis kesehatan mental. Apa jadinya kalau itu pacar/pacarnya pengaturan ulang memori atau kepribadiannya berubah dengan pembaruan terkini dan koneksi terputus?

Jika Anda atau siapa pun yang Anda kenal sedang mempertimbangkan untuk menyakiti diri sendiri atau perlu berbicara, hubungi orang-orang berikut yang ingin membantu: Di AS, SMS atau telepon 988. Di luar AS, hubungi https://www.iasp.info/.