- Character.AI melarang pengguna di bawah 18 tahun berinteraksi dengan chatbot-nya.
- Hal ini menyusul kekhawatiran mengenai dampak AI terhadap generasi muda dan tuntutan hukum atas kasus bunuh diri yang dilakukan oleh anak berusia 14 tahun.
- Character.AI mengutip masukan dari regulator, pakar keselamatan, dan orang tua atas keputusan tersebut.
Character.AI melarang pengguna berusia di bawah 18 tahun untuk terlibat dalam percakapan dengan chatbotnya setelah menghadapi pengawasan ketat atas cara anak muda berinteraksi dengan teman virtualnya.
Startup yang berbasis di California ini mengumumkan pada hari Rabu bahwa perubahan tersebut akan berlaku paling lambat tanggal 25 November dan akan membatasi waktu obrolan untuk pengguna di bawah 18 tahun sebelum larangan tersebut.
Hal ini menandai pertama kalinya penyedia chatbot besar melarang generasi muda menggunakan layanannya, dan hal ini dilatarbelakangi oleh kekhawatiran yang lebih luas tentang bagaimana AI memengaruhi jutaan orang yang menggunakannya setiap hari.
Didirikan pada tahun 2021, Character.AI menampung avatar virtual yang dapat meniru kepribadian orang nyata atau fiksi.
Seorang juru bicara Character.AI mengatakan kepada Business Insider bahwa mereka “mengambil langkah luar biasa untuk perusahaan kami dan industri secara keseluruhan.” Mereka menambahkan bahwa selama setahun terakhir, startup tersebut telah berinvestasi dalam menciptakan pengalaman khusus bagi pengguna di bawah 18 tahun.
Character.AI mengatakan dalam sebuah posting blog bahwa mereka melakukan perubahan setelah menerima masukan dari “regulator, pakar keselamatan, dan orang tua.” Startup ini juga mengatakan akan meluncurkan teknologi pembatasan usia dan mendirikan laboratorium keamanan AI untuk meneliti upaya perlindungan di masa depan.
Pada bulan Februari 2024, Sewell Setzer III yang berusia 14 tahun meninggal karena bunuh diri setelah berbicara dengan salah satu chatbot Character.AI. Ibunya, Megan Garcia, mengajukan gugatan perdata terhadap perusahaan tersebut pada bulan Oktober tahun itu, menyalahkan chatbot atas kematian putranya, menuduhnya melakukan kelalaian, kematian yang tidak wajar, dan praktik perdagangan yang menipu. Character.AI mengatakan tidak mengomentari proses pengadilan yang tertunda.
Awal bulan ini, Character.AI menghapus chatbot berdasarkan pedofil Jeffrey Epsteinmengikuti cerita dari Biro Jurnalisme Investigasi.
OpenAI juga menghadapi tuntutan hukum diajukan oleh orang tua dari seorang anak muda yang meninggal karena bunuh diri setelah berbicara dengan chatbotnya. Gugatan tersebut menuduh ChatGPT “secara aktif membantu” Adam Raine yang berusia 16 tahun mengeksplorasi metode bunuh diri selama beberapa bulan sebelum dia meninggal pada 11 April. OpenAI sebelumnya mengatakan kepada Business Insider bahwa mereka sedih dengan kematian Raine dan bahwa ChatGPT menyertakan perlindungan.
Awal pekan ini, OpenAI mengatakan bahwa sekitar 0,15% dari lebih dari 800 juta pengguna mingguannya kirim pesan ke ChatGPT setiap minggu tentang bunuh diri, setara dengan lebih dari satu juta orang. OpenAI mengatakan dalam sebuah posting blog bahwa mereka telah memperbarui ChatGPT untuk “lebih mengenali dan mendukung orang-orang di saat-saat sulit.”
Jika Anda atau seseorang yang Anda kenal sedang mengalami depresi atau mempunyai pikiran untuk melukai diri sendiri atau bunuh diri, dapatkan bantuan. Di AS, telepon atau SMS 988 untuk dihubungi Garis Hidup Bunuh Diri & Krisisyang memberikan dukungan 24/7, gratis, dan rahasia bagi orang-orang yang berada dalam kesulitan, serta praktik terbaik bagi para profesional dan sumber daya untuk membantu dalam pencegahan dan situasi krisis. Bantuan juga tersedia melalui Baris Teks Krisis — cukup kirim SMS “HOME” ke 741741. The Asosiasi Internasional untuk Pencegahan Bunuh Diri menawarkan sumber daya bagi mereka yang berada di luar AS.
Baca selanjutnya
