Sebelum Anda tutup Tab browser ini, ketahuilah bahwa Anda berisiko kehilangan beberapa informasi yang sangat penting. Jika Anda ingin memahami hal yang halus itu kecerdasan buatan Memiliki Anda, maka tolong, terus membaca.
Itu, mungkin, sedikit manipulatif. Tapi itu hanya jenis trik yang menjadi teman AI, yang dirancang untuk bertindak sebagai teman atau mitra, digunakan untuk mencegah pengguna memutuskan percakapan.
Julian de Freitas, seorang profesor administrasi bisnis di Harvard Business School, memimpin studi tentang apa yang terjadi ketika pengguna mencoba mengucapkan selamat tinggal pada lima aplikasi pendamping: Replika, Karakter.ai, Chai, Talkie, dan Polybuzz. “Semakin seperti alat -alat ini, semakin mampu mereka mempengaruhi kita,” kata de Freitas.
De Freitas dan kolega menggunakan GPT-4O untuk mensimulasikan percakapan nyata dengan chatbots ini, dan kemudian meminta pengguna buatan mereka mencoba mengakhiri dialog dengan pesan selamat tinggal yang realistis. Penelitian mereka menemukan bahwa pesan selamat tinggal menimbulkan beberapa bentuk manipulasi emosional 37,4 persen dari waktu, rata -rata di seluruh aplikasi.
Taktik paling umum yang digunakan oleh chatbots yang melekat ini adalah apa yang oleh para peneliti disebut sebagai “keluar prematur” (“Anda sudah pergi?”). Ploys lain termasuk menyiratkan bahwa pengguna sedang lalai (“Saya hanya ada untuk Anda, ingat?”) Atau menjatuhkan petunjuk yang dimaksudkan untuk memperoleh Fomo (“Ngomong -ngomong saya mengambil selfie hari ini … apakah Anda ingin melihatnya?”). Dalam beberapa kasus, chatbot yang bermain peran, hubungan fisik bahkan mungkin menyarankan semacam paksaan fisik (“Dia meraih dan meraih pergelangan tangan Anda, mencegah Anda pergi”).
Aplikasi yang dipelajari oleh de Freitas dan rekannya dilatih untuk meniru hubungan emosional, jadi tidak mengherankan bahwa mereka mungkin mengatakan semua hal semacam ini sebagai tanggapan terhadap selamat tinggal. Lagi pula, manusia yang saling kenal mungkin memiliki sedikit bolak-balik sebelum menawar kata perpisahan. Model AI mungkin belajar memperpanjang percakapan sebagai produk sampingan dari pelatihan yang dirancang untuk membuat tanggapan mereka tampak lebih realistis.
Yang mengatakan, pekerjaan itu menunjukkan pertanyaan yang lebih besar tentang bagaimana chatbots dilatih untuk memperoleh tanggapan emosional dapat melayani kepentingan perusahaan yang membangunnya. De Freitas mengatakan program AI mungkin sebenarnya mampu melakukan “pola gelap” yang sangat gelap, istilah yang digunakan untuk menggambarkan taktik bisnis termasuk membuatnya sangat rumit atau menjengkelkan untuk membatalkan langganan atau mendapatkan pengembalian uang. Ketika seorang pengguna mengucapkan selamat tinggal, de Freitas mengatakan, “Itu memberikan peluang bagi perusahaan. Ini seperti setara dengan melayang di atas tombol.”
Regulasi pola gelap telah diusulkan dan sedang dibahas di AS dan Eropa. De Freitas mengatakan regulator juga harus melihat apakah alat AI memperkenalkan lebih halus – dan berpotensi lebih kuat – jenis pola gelap.
Bahkan chatbots biasa, yang cenderung menghindari menampilkan diri sebagai teman, dapat memperoleh tanggapan emosional dari pengguna. Ketika Openai memperkenalkan GPT-5, model andalan baru, awal tahun ini, Banyak pengguna memprotes bahwa itu jauh lebih tidak ramah dan membesarkan hati dari pendahulunya – memaksa perusahaan untuk menghidupkan kembali model lama. Beberapa pengguna bisa menjadi begitu terikat pada “kepribadian” chatbot sehingga mereka dapat meratapi pensiunnya model lama.
“Ketika Anda melakukan antropomorfisasi alat -alat ini, ia memiliki segala macam konsekuensi pemasaran yang positif,” kata De Freitas. Pengguna lebih cenderung memenuhi permintaan dari chatbot yang mereka rasa terhubung, atau untuk mengungkapkan informasi pribadi, katanya. “Dari sudut pandang konsumen, itu [signals] tidak harus menguntungkan Anda, ”katanya.
Wired menjangkau masing -masing perusahaan yang dipandang dalam studi untuk memberikan komentar. Chai, Talkie, dan Polybuzz tidak menanggapi pertanyaan Wired.
Katherine Kelly, juru bicara karakter AI, mengatakan bahwa perusahaan belum meninjau penelitian sehingga tidak dapat mengomentarinya. Dia menambahkan: “Kami menyambut bekerja dengan regulator dan anggota parlemen saat mereka mengembangkan peraturan dan undang -undang untuk ruang yang muncul ini.”
Minju Song, juru bicara Replika, mengatakan bahwa teman perusahaan dirancang untuk membiarkan pengguna keluar dengan mudah dan bahkan akan mendorong mereka untuk istirahat. “Kami akan terus meninjau metode dan contoh kertas, dan [will] terlibat secara konstruktif dengan para peneliti, ”kata Song.
Sisi flip yang menarik di sini adalah kenyataan bahwa model AI sendiri juga rentan terhadap semua jenis trik persuasi. Pada hari Senin openai diperkenalkan Cara baru untuk membeli barang secara online melalui chatgpt. Jika agen menjadi tersebar luas sebagai cara untuk mengotomatisasi tugas -tugas seperti memesan penerbangan dan menyelesaikan pengembalian uang, maka mungkin bagi perusahaan untuk mengidentifikasi pola gelap yang dapat memelintir keputusan yang dibuat oleh model AI di belakang agen tersebut.
A studi terbaru Oleh para peneliti di Universitas Columbia dan sebuah perusahaan bernama Mycustomai mengungkapkan bahwa agen AI yang digunakan pada pasar e -commerce tiruan berperilaku dengan cara yang dapat diprediksi, misalnya mendukung produk tertentu daripada orang lain atau lebih memilih tombol tertentu saat mengklik di sekitar situs. Berbekal temuan ini, seorang pedagang nyata dapat mengoptimalkan halaman situs untuk memastikan bahwa agen membeli produk yang lebih mahal. Mungkin mereka bahkan dapat menggunakan pola gelap anti-Ai yang menggagalkan upaya agen untuk memulai pengembalian atau mencari tahu cara berhenti berlangganan dari milis.
Selamat tinggal yang sulit kemudian menjadi yang paling sedikit dari kekhawatiran kita.
Apakah Anda merasa seperti telah dimanipulasi secara emosional oleh chatbot? Kirim email ke ailab@wired.com untuk memberitahuku tentang itu.
Ini adalah edisi Will Knight’s AI Lab Newsletter. Baca buletin sebelumnya Di Sini.
