Setelah sekolah, Karandeep Anand sering menemukan putrinya yang berusia 6 tahun dalam percakapan dengan AI Chatbot saat dia makan makanan ringan di meja dapur mereka. Dia terlalu muda untuk mengetik – apalagi memiliki akunnya sendiri tentang karakter.ai – tetapi itu tidak menghentikannya dari menangkap teleponnya untuk melakukan percakapan suara dengan bot Sherlock Holmes, yang dia gunakan untuk membangun cerita misteri sendiri.
Karakter.ai adalah startup pendamping AI (meskipun Anand suka mengatakan itu adalah Play peran AI startup, yang akan kita bahas nanti). Dia mengambil alih sebagai CEO Pada bulan Juni di tengah -tengah gugatan yang berpotensi menghancurkan untuk perusahaan induknya dan membayangi pertanyaan tentang keselamatan anak. Ketika saya bertanya apakah dia khawatir tentang putrinya yang terhubung dengan AI Chatbot daripada manusia sejati, dia cepat mengatakan tidak.
“Sangat jarang, dalam salah satu skenario ini, penggantian yang sebenarnya untuk manusia mana pun,” kata Anand kepada saya selama panggilan video akhir pekan lalu. “Sangat jelas dicatat dalam aplikasi bahwa, hei, ini adalah permainan peran dan hiburan, jadi Anda tidak akan pernah mulai masuk ke dalam percakapan itu, dengan asumsi bahwa itu adalah teman Anda yang sebenarnya.”
Ini adalah momen yang rumit untuk karakter.ai.
Agustus lalu, Google menukik sekitar $ 2,7 miliar berurusan dengan karakter lisensi. Teknologi. Sebagai bagian dari perjanjian, dua pendiri Character.ai berangkat ke divisi AI Google.
Anand, yang sebelumnya bekerja sebagai Wakil Presiden Produk Bisnis di Meta, ditugaskan untuk mengambil potongan -potongan itu – yang dia lakukan sebagian dengan meninggalkan misi pendirian Memberikan Superintelligence yang dipersonalisasi untuk fokus pada hiburan AI.
“Apa yang kami berikan adalah aspirasi yang dimiliki para pendiri ini tentang membangun model AGI – kami tidak lagi melakukan itu. Itu adalah ratusan miliar dolar pertarungan investasi, yang diperjuangkan teknologi besar,” kata Anand. “Apa yang kami dapatkan sebagai imbalan adalah kejelasan dan fokus, mampu mengejar visi AI Entertainment secara tunggal.”
Sebagai bagian dari perubahan strategi ini, Character.AI tidak lagi mencoba membangun model perbatasannya sendiri. “Enam bulan terakhir, kami telah melakukan banyak pekerjaan untuk keluar dari model berpemilik kami pada teks dan mulai menggunakan model open source,” kata Anand. Perusahaan telah menguji beberapa: Llama Meta, Qwen Alibaba, dan Deepseek. “Model open source mengalahkan model hak milik apa pun,” klaim Anand.
Menjalankan startup AI tanpa miliaran dolar dalam pendapatan bisa menjadi persamaan yang brutal, dan karakter. Perusahaan mengatakan kepada saya bahwa ini menghasilkan pendapatan pada tingkat yang lebih dari $ 30 juta dan berada di jalur untuk mencapai $ 50 juta pendapatan pada akhir tahun. Ketika saya bertanya kepada Anand berapa banyak pengguna yang membayar langganan $ 10 bulanan, dia tidak memberikan nomor tetapi mencatat “monetisasi bukanlah fokus sampai empat atau lima bulan yang lalu.”
“Karena saya sudah ikut serta, sangat jelas bahwa kami perlu memonetisasi. Dan kami pikir, hampir 250 persen pertumbuhan pelanggan dalam enam bulan terakhir. Jadi basis pengguna yang dibayar tumbuh cukup baik,” kata Anand. Karakter.ai baru-baru ini memperkenalkan iklan, termasuk iklan hadiah (di mana pengguna dapat memilih untuk menonton iklan untuk mendapatkan akses ke insentif di platform), untuk membantu memonetisasi di negara-negara di mana langganan tidak layak, katanya kepada saya.
“AI mahal. Jujur saja tentang itu,” kata Anand.
Pertumbuhan vs keamanan
Pada Oktober 2024, ibu dari seorang remaja yang meninggal karena bunuh diri mengajukan a Jas kematian yang salah Melawan teknologi karakter, pendirinya, Google, dan alfabet, menuduh perusahaan menargetkan putranya dengan “antropomorfik, hiperseksual, dan pengalaman yang sangat realistis, saat pemrograman [the chatbot] untuk salah menggambarkan dirinya sebagai orang sungguhan, seorang psikoterapis berlisensi, dan kekasih dewasa. ” Pada saat itu, juru bicara karakter.ai memberi tahu CNBC bahwa perusahaan itu “patah hati karena kehilangan tragis” dan mengambil “keamanan pengguna kami dengan sangat serius.”
Peristiwa tragis menempatkan karakter.ai di bawah pengawasan intens. Awal tahun ini, Senator AS Alex Padilla dan Peter Welch menulis Sebuah surat kepada beberapa platform persahabatan AI, termasuk karakter.ai, menyoroti kekhawatiran tentang “risiko kesehatan mental dan keselamatan yang ditimbulkan kepada pengguna muda” dari platform.
“Tim telah mengambil ini dengan sangat bertanggung jawab selama hampir setahun sekarang,” kata Anand kepada saya. “AI adalah stokastik, agak sulit untuk selalu memahami apa yang akan terjadi. Jadi ini bukan investasi satu kali.”
Itu sangat penting karena karakter.ai sedang tumbuh. Startup ini memiliki 20 juta pengguna aktif bulanan yang menghabiskan, rata -rata, 75 menit sehari mengobrol dengan bot (“karakter” karakter. Basis pengguna perusahaan adalah 55 persen wanita. Lebih dari 50 persen penggunanya adalah Gen Z atau Gen Alpha. Dengan pertumbuhan itu muncul risiko nyata – apa yang dilakukan dan dilakukan untuk menjaga agar penggunanya tetap aman?
“[In] Enam bulan terakhir, kami telah menginvestasikan sejumlah sumber daya yang tidak proporsional untuk dapat melayani di bawah 18 secara berbeda dari lebih dari 18, yang tidak terjadi tahun lalu, “kata Anand.” Saya tidak bisa mengatakan, ‘Oh, saya bisa menampar label 18+ pada aplikasi saya dan mengatakan gunakan untuk NSFW.’ Anda akhirnya membuat aplikasi yang sangat berbeda dan platform skala kecil yang berbeda. “
Lebih dari 10 dari 70 karyawan perusahaan bekerja penuh waktu dengan kepercayaan dan keselamatan, kata Anand kepada saya. Mereka bertanggung jawab untuk membangun perlindungan seperti verifikasi usia, model terpisah untuk pengguna di bawah 18, dan fitur baru seperti wawasan orang tuayang memungkinkan orang tua untuk melihat bagaimana remaja mereka menggunakan aplikasi.
Model U-18 diluncurkan Desember lalu. Ini termasuk “seperangkat karakter yang dapat dicari yang lebih sempit di platform,” menurut juru bicara perusahaan Kathryn Kelly. “Filter telah diterapkan pada set ini untuk menghapus karakter yang terkait dengan topik sensitif atau matang.”
Tapi Anand mengatakan AI Safety akan membutuhkan lebih dari sekadar tweak teknis. “Membuat platform ini aman adalah kemitraan antara regulator, AS, dan orang tua,” kata Anand. Itulah yang membuat menonton putrinya mengobrol dengan karakter yang begitu penting. “Ini harus tetap aman untuknya.”
Di luar persahabatan
Pasar persahabatan AI sedang booming. Konsumen di seluruh dunia menghabiskan $ 68 juta untuk persahabatan AI pada paruh pertama tahun ini, peningkatan 200 persen dari tahun lalu, menurut perkiraan dikutip oleh CNBC. AI Startups sedang menembak untuk sepotong pasar: XAI dilepaskan Seorang teman yang menyeramkan dan porno pada bulan Juli, dan bahkan Microsoft tagihan Chatbot kopilotnya sebagai pendamping AI.
Jadi bagaimana karakter.ai menonjol di pasar yang ramai? Itu menghilangkan dirinya sepenuhnya.
“Persahabatan AI adalah cara yang salah untuk melihat apa yang dilakukan orang dengan karakter. Apa yang dilakukan orang dengan karakter sebenarnya adalah permainan peran. Dan kedengarannya dapat dipertukarkan, tetapi tidak,” kata Anand kepada saya, menambahkan bahwa kurang dari 20 persen aplikasi digunakan untuk persahabatan (itu sesuai dengan laporan penelitian internal yang dilaporkan sendiri oleh pengguna). Tampaknya tidak benar -benar keluar dari permainan hubungan yang disimulasikan – butuh beberapa menit untuk menemukan seorang pacar AI untuk terlibat dalam permainan peran seksual grafis dengan.
“Orang-orang ingin situasi bermain peran. Orang-orang ingin bermain fiksi peran … mereka ingin hidup dalam realitas alternatif. Mereka ingin mencabut dari barang-barang sehari-hari mereka,” kata Anand.
Saya, secara pribadi, mencabut dari hari saya melalui jenis dunia virtual yang berbeda. Saya benar -benar kecanduan video game Lembah Stardew. Saya menjalankan Huckleberry Farm seperti The Damn Marinir. Bagi Anand, video game ini lebih merupakan pesaing daripada Grok. “Menjadi sangat jelas bahwa kami adalah perusahaan hiburan,” kata Anand.
Musk dan Bezos Roast Battle
Ketika datang ke permainan peran, CEO yang berbasis di Seattle mengatakan dia sebagian besar menggunakan karakter untuk fiksi penggemar vampir. Masalahnya, katanya, adalah ketika bot vampir berbicara tentang darah, itu akan disensor. “Konteks perlu dipahami, jadi kami memutar kembali filter dengan menjadi jauh lebih tepat dengan konteksnya,” kata Anand kepada saya.
Tingkat moderasi konten ini adalah salah satu dari banyak perubahan yang telah dikerjakan Anand sejak mengambil alih perusahaan pada bulan Juni. Perusahaan ini juga mendesain ulang aplikasi dengan tampilan yang lebih modern, ramah Gen Z dan menambahkan alat baru untuk pencipta platform, yang menghasilkan lebih dari 9 juta karakter per bulan. Pembaruan ini, katanya, menandai pergeseran dari karakter.ai dipandang hanya sebagai perusahaan chatbot ke sesuatu yang lebih ambisius: mesin hiburan tempat pengguna dapat mengkonsumsi dan membuat cerita, membuat konten remix, dan bereksperimen dengan format baru seperti buku audio.
“Setiap cerita sebenarnya dapat memiliki satu miliar akhir,” kata Anand. Seorang pengguna bahkan dapat melakukan pertempuran panggang antara Elon Musk dan Jeff Bezos, tambahnya. “Anda bisa meminta itu dan menghasilkan sesuatu yang cukup menyenangkan.”
Saya tidak yakin litani pengacara yang dipekerjakan oleh CEO teknologi itu akan dihibur. Belum lagi orang -orang yang mungkin tidak mampu membayar sepasukan staf untuk mempertahankan kepribadian mereka. Saya segera memikirkan cerita kabel tentang Keluarga seorang anak berusia 18 tahun yang terbunuh pada tahun 2006 hanya untuk menemukan kemiripan gambar putri mereka diciptakan kembali pada karakter.ai. Dalam cerita yang sama, seorang editor di publikasi game menemukan bahwa dia telah diciptakan kembali di platform setelah kampanye pelecehan yang melibatkan liputannya.
Ketika saya membawa ini ke Anand, ia menjelaskan bahwa ketika pengguna membuat karakter yang dimodelkan setelah figur publik seperti Musk atau Bezos, sistem ini dirancang untuk dengan jelas memberi sinyal bahwa ini adalah parodi, bukan upaya pada Deepfake atau peniruan. (Satu Elon Musk Chatbot Halaman tidak menunjukkan peringatan seperti itu. Juga tidak Phil atau Joe Rogan Halaman chatbot.) Meskipun, ada penafian di bawah setiap obrolan: “Ini adalah AI dan bukan orang sungguhan. Perlakukan semua yang dikatakan sebagai fiksi.”
Anand mengatakan Character.ai juga telah memberlakukan keterbatasan ketat pada alat pembuatan video perusahaan, Avatarfx, untuk mencegah penyalahgunaan. Pengguna seharusnya tidak dapat menghasilkan Deepfake yang realistis bahkan jika mereka mencoba, dan suara atau topik tertentu secara langsung dibatasi.
“Kami sangat, sangat jelas bahwa kami tinggal di wilayah hiburan. Kami sama sekali tidak menyukai wilayah generasi video tujuan umum. Kami bukan Google Veo 3. Kami bukan landasan pacu,” kata Anand. “Ini garis yang sangat, sangat penting.”
Anand kontras dengan platform seperti Meta, di mana ia mengklaim konten sering diunggah terlebih dahulu dan dimoderasi setelah fakta. Di Character.ai, katanya, pagar konten dipanggang ke dalam pipa pembuatan itu sendiri. “Penghapusan reaktif kami adalah persentase yang sangat, sangat kecil,” kata Anand kepada saya.
Saya khawatir bahwa ketika alat -alat ini tumbuh lebih meyakinkan, kesepian akan semakin dalam, tidak hilang. Anand mengerti. Tapi dia juga memiliki sesuatu untuk dijual.
“Saya sendiri sangat bersemangat tentang topik ini, dan kami akan membentuk dialog di sekitar ini dengan cara terbaik dan sehat, karena Gen Z adalah asli,” kata Anand. “Pertanyaannya adalah, bagaimana kita membangun ini dengan cara di mana itu aman dan dapat dipercaya dan terlibat dengan cara yang benar dengan insentif yang tepat? Itu ada pada kita.”
Sumber mengatakan
Minggu lalu, saya melaporkan bahwa Elon Musk mengadakan pertemuan semua tangan untuk karyawan X dan XAI. Saya telah memperoleh tangkapan layar lain dari pertemuan yang menunjukkan pendapatan Xai selama tujuh bulan terakhir.
Pada bulan Januari, Grok on X membawa hanya di bawah $ 150 juta, dengan layanan lain seperti Penggunaan API Enterprise menambahkan $ 28 juta lagi. Menurut grafik, pendapatan telah tumbuh sepuluh kali lipat sejak awal tahun 2025, mencapai selatan $ 500 juta pada bulan Juli – digerakkan oleh Grok di X dan $ 30 per bulan Langganan Supergrok. Fraksi pendapatan yang lebih kecil dihasilkan oleh berlangganan Supergrok Heavy yang baru dirilis, yang harganya $ 300 per bulan. XAI tidak menanggapi permintaan WIRED untuk memberikan komentar.
Ini adalah edisi Kylie Robison Buletin Perilaku Model. Baca buletin sebelumnya Di Sini.
