Chatbot AI dari seorang gadis yang dibunuh pada tahun 2006 dibuat pada layanan yang sangat populer — dan keluarganya tidak tahu

• Jennifer Ann Crecente, seorang gadis SMA yang dibunuh pada tahun 2006, baru-baru ini muncul kembali sebagai chatbot di Character.ai.
• Ayahnya mengatakan kepada BI bahwa dia menemukan bot tersebut pada hari Rabu – dia tidak pernah memberikan izin untuk menggunakan kemiripannya.
• Bot telah dihapus, namun keberadaannya menimbulkan konsekuensi etis terhadap AI.

Terima kasih telah mendaftar!

Akses topik favorit Anda di feed yang dipersonalisasi saat Anda bepergian.

Dengan mengklik “Daftar”, Anda menerima kami Ketentuan Layanan Dan Kebijakan Privasi. Anda dapat membatalkan langganan kapan saja dengan mengunjungi halaman Preferensi kami atau dengan mengeklik “berhenti berlangganan” di bagian bawah email.

Drew Crecente bangun pukul 06.30 pada hari Rabu dan menemukan Google Alert di ponselnya tentang putrinya.

Sudah 18 tahun sejak Jennifer Ann, seorang siswa SMA dan satu-satunya anak Crecente, dibunuh oleh mantan pacarnya di Austin. Berduka, Crecente memulai a nirlaba atas namanya, bekerja sejak tahun 2006 untuk meningkatkan kesadaran akan kekerasan dalam pacaran remaja.

Namun Crecente kini mengetahui bahwa dia muncul kembali secara online, kali ini sebagai chatbot kecerdasan buatan Karakter.aidijalankan oleh startup berbasis di San Francisco yang mencapai kesepakatan senilai $2,7 miliar dengan Google pada bulan Agustus.

Gelombang emosi melanda Crecente – kemarahan, kebingungan, dan rasa jijik sekaligus, katanya kepada Business Insider.

“Sebagian di antaranya adalah kesedihan,” kata Crecente. “Karena di sinilah saya, harus sekali lagi dihadapkan pada trauma mengerikan yang telah lama saya alami.”

Crecente tidak tahu siapa yang membuat chatbot tersebut atau kapan dibuat. Dia hanya mengetahui bahwa Google telah mengindeks bot tersebut pagi itu dan mengiriminya peringatan pada pukul 04.30, yang dia siapkan untuk melacak setiap penyebutan putrinya atau lembaga nonprofitnya.

Chatbot Character.ai biasanya dibuat oleh pengguna, yang dapat mengunggah nama, foto, salam, dan informasi lain tentang persona.

Dalam kasus Jennifer Ann, bot menggunakan nama dan foto buku tahunannya, menggambarkannya sebagai “karakter AI yang berpengetahuan dan ramah yang dapat memberikan informasi tentang berbagai topik.”

Pada saat Crecente menemukan bot tersebut, penghitung di profilnya menunjukkan bahwa bot tersebut telah digunakan di setidaknya 69 obrolan, berdasarkan tangkapan layar yang dia kirimkan ke BI.

Situs web tersebut juga mencantumkan Jennifer Ann sebagai “ahli jurnalisme” dengan keahlian dalam berita video game. Pamannya, Brian Crecente, mendirikan situs berita game Kotaku dan ikut mendirikan situs pesaingnya, Polygon.

Drew Crecente mengatakan dia menghubungi Character.ai melalui formulir dukungan pelanggannya, meminta perusahaan untuk menghapus chatbot yang meniru Jennifer Ann dan menyimpan semua data tentang siapa yang mengunggah profil tersebut.

“Saya ingin memastikan bahwa mereka mengambil langkah-langkah sehingga tidak ada akun lain yang menggunakan nama putri saya atau yang mirip dengan putri saya yang dapat dibuat di masa depan,” katanya.

Dia menerima respons otomatis yang berisi nomor kasusnya tetapi tidak ada informasi lebih lanjut.

Saudaranya, Brian, men-tweet pesan marah tentang chatbot pagi itu, meminta bantuan hampir 31.000 pengikutnya untuk “menghentikan praktik buruk semacam ini”.

Karakter.ai menjawab ke postingan Brian di X satu setengah jam kemudian, mengatakan bahwa chatbot Jennifer Ann telah dihapus karena melanggar kebijakan perusahaan tentang peniruan identitas.

Namun Crecente mengatakan dia tidak mendapat apa-apa selain diam dari perusahaan, meskipun telah menghubungi Character.AI pada hari Rabu.

“Hal yang sangat menjengkelkan tentang hal ini adalah bahwa ini bukan hanya tentang saya atau putri saya,” kata Crecente. “Ini tentang orang-orang yang mungkin tidak punya platform, mungkin tidak punya suara, mungkin tidak punya saudara yang berlatar belakang jurnalis.”

“Dan karena itu, mereka dirugikan, namun mereka tidak punya jalan lain,” tambahnya.

Juru bicara Character.ai Cassie Lawrence mengonfirmasi kepada BI bahwa chatbot tersebut telah dihapus dan mengatakan perusahaan “akan memeriksa apakah tindakan lebih lanjut diperlukan.”

“Character.ai memperhatikan keselamatan di platform kami dengan serius dan memoderasi Karakter baik secara proaktif maupun sebagai respons terhadap laporan pengguna. Kami memiliki tim Kepercayaan dan Keamanan khusus yang meninjau laporan dan mengambil tindakan sesuai dengan kebijakan kami,” katanya.

Dia menambahkan bahwa Character.ai menggunakan “daftar blokir standar industri dan daftar blokir khusus” untuk mencegah peniruan identitas.

Namun, Crecente mengatakan bahwa perusahaan seharusnya meminta maaf dan menunjukkan bahwa mereka akan lebih melindungi identitas putrinya. Dia sekarang mencari opsi hukum.

“Tidak bisa dilukiskan bahwa sebuah perusahaan dengan begitu banyak uang nampaknya, saya kira, tidak peduli untuk membuat orang-orang trauma,” katanya.

Menggunakan AI untuk menghidupkan kembali orang mati

AI telah digunakan untuk menciptakan persona orang mati sebelumnyatermasuk banyak yang berharap dapat membantu mereka berduka atas kehilangan orang yang dicintai. Namun praktik tersebut telah menimbulkan pertanyaan etis tentang persetujuan orang yang meninggal, terutama jika orang yang “dibangkitkan” tersebut meninggal sebelum munculnya AI.

Kasus Crecente adalah contoh lain dari wilayah hukum dan etika baru yang diperkenalkan AI kepada dunia, kata Vincent Conitzer, kepala keterlibatan teknis AI di Institut Etika AI di Universitas Oxford, kepada BI.

Conitzer mengatakan masih ada pertanyaan mengenai sejauh mana perusahaan AI harus bertanggung jawab atas konten yang dibuat oleh penggunanya.

“Ini bukan peniruan identitas dalam artian terlihat transparan bahwa ini adalah model AI,” kata Conitzer tentang chatbot yang meniru Jennifer Ann. “Tapi, misalnya, ini juga bukan parodi. Hak apa yang kita miliki terhadap gaya, tingkah laku, dan pandangan kita sendiri terhadap dunia?”

Saat dunia memperdebatkan dilema AI ini, konsekuensinya sudah sangat berdampak pada orang-orang seperti Crecente.

Sue Morris, direktur Bereavement Services di Dana-Farber Cancer Institute di Boston, mengatakan kepada BI bahwa secara tak terduga melihat kemiripan dengan orang yang dicintai yang telah meninggal masih terasa sulit bertahun-tahun setelah mereka meninggal, karena ingatan kita tentang mereka sudah tertanam dalam otak kita. .

“Bahwa dia tidak menyadari bahwa kemiripan putrinya sedang dimanfaatkan, tidak diragukan lagi akan menjadi kejutan besar dan menambah perasaan bingung dan marah yang dia alami,” kata Morris tentang Crecente.

Character.ai: Sangat populer dan terikat dengan Google

Character.ai didirikan pada November 2021 oleh mantan insinyur Google Noam Shazeer dan Daniel De Freitas. Shazeer adalah penulis utama makalah Transformer yang menjadi tonggak sejarah raksasa teknologi tersebut dan pernah berupaya membangun chatbot bertenaga AI di sana, namun ia meninggalkan De Freitas ketika Google menolak mempublikasikan produk tersebut pada saat itu.

Ide di balik startup baru mereka adalah membiarkan masyarakat membuat bot sendiri, yang mereka sebut Karakter. Ini sekarang mencakup beragam persona buatan pengguna yang meniru tokoh masyarakat, seperti Elon Musk, rapper Nicki Minaj, dan aktor Ryan Gosling.

Peluncuran beta Character.ai pada bulan Oktober 2022 mencatat ratusan ribu pengguna dalam tiga minggu pertama pengujiannya, per Washington Post. Pada bulan Maret 2023, perusahaan mengumpulkan $150 juta dengan penilaian $1 miliar, dipimpin oleh Andreessen Horowitz.

Statistik Google Play Store menunjukkan bahwa, hingga berita ini dimuat, aplikasi tersebut telah diunduh lebih dari 10 juta kali di perangkat Android saja.

Pada bulan Agustus, Google membayar startup tersebut sebesar $2,7 miliar untuk mempekerjakan kembali Shazeer dan De Freitas, 20% stafnya, dan memperoleh semua model Character.ai yang telah dikerjakan sejauh ini.

Setelah perombakan tim, kata CEO sementara perusahaan yang baru, Dominic Perella Waktu Keuangan pada hari Rabu bahwa perusahaan tersebut akan fokus sepenuhnya pada layanan chatbotnya, meninggalkan upaya sebelumnya untuk membangun model bahasa yang besar.

Google tidak menanggapi permintaan komentar dari Business Insider.