Awal bulan ini, Tetangga Joseph Thacker mengatakan kepadanya bahwa dia telah memesan beberapa mainan boneka dinosaurus untuk anak-anaknya. Dia memilih mainan yang diberi nama Bondus karena menawarkan obrolan AI fitur yang memungkinkan anak-anak berbicara dengan mainan seperti teman khayalan yang mendukung pembelajaran mesin. Namun dia tahu Thacker, seorang peneliti keamanan, telah menyelesaikan pekerjaannya risiko AI untuk anak-anak, dan dia ingin tahu tentang pemikirannya.
Jadi Thacker memeriksanya. Hanya dengan beberapa menit bekerja, dia dan seorang teman peneliti keamanan web bernama Joel Margolis mendapatkan penemuan mengejutkan: Portal berbasis web Bondu, yang dimaksudkan untuk memungkinkan orang tua memeriksa percakapan anak-anak mereka dan agar staf Bondu memantau penggunaan dan kinerja produk, juga memungkinkan siapa saja yang memiliki Gmail transkrip akses akun dari hampir setiap percakapan yang pernah dilakukan anak-anak pengguna Bondu dengan mainan tersebut.
Tanpa melakukan peretasan apa pun, hanya dengan masuk menggunakan akun Google apa pun, kedua peneliti tersebut langsung melihat percakapan pribadi anak-anak, nama-nama hewan peliharaan yang diberikan anak-anak kepada Bondu mereka, apa yang disukai dan tidak disukai pemilik balita mainan tersebut, camilan favorit, dan gerakan tarian mereka.
Totalnya, Margolis dan Thacker telah menemukan bahwa data yang dibiarkan Bondu tidak terlindungi—dapat diakses oleh siapa saja yang masuk ke konsol web publik perusahaan dengan nama pengguna Google mereka—termasuk nama anak-anak, tanggal lahir, nama anggota keluarga, “tujuan” untuk anak yang dipilih oleh orang tua, dan yang paling meresahkan, ringkasan dan transkrip terperinci dari setiap obrolan sebelumnya antara anak tersebut dan Bondu mereka, sebuah mainan yang secara praktis dirancang untuk menghasilkan percakapan intim satu lawan satu. Bondu mengkonfirmasi dalam percakapan dengan para peneliti bahwa lebih dari 50.000 transkrip obrolan dapat diakses melalui portal web yang terbuka, pada dasarnya semua percakapan yang dilakukan mainan tersebut selain yang telah dihapus secara manual oleh orang tua atau staf.
“Rasanya sangat mengganggu dan sangat aneh mengetahui hal-hal ini,” kata Thacker tentang obrolan pribadi anak-anak dan mendokumentasikan preferensi yang dia lihat. “Dapat melihat semua percakapan ini merupakan pelanggaran besar terhadap privasi anak-anak.”
Ketika Thacker dan Margolis memberi tahu Bondu tentang paparan data yang mencolok, kata mereka, perusahaan tersebut bertindak untuk mematikan konsol tersebut dalam hitungan menit sebelum meluncurkan kembali portal tersebut pada hari berikutnya dengan langkah-langkah otentikasi yang tepat. Ketika WIRED menghubungi perusahaan tersebut, CEO Bondu Fateen Anam Rafid menulis dalam sebuah pernyataan bahwa perbaikan keamanan untuk masalah tersebut “selesai dalam beberapa jam, diikuti dengan tinjauan keamanan yang lebih luas dan penerapan langkah-langkah pencegahan tambahan untuk semua pengguna.” Dia menambahkan bahwa Bondu “tidak menemukan bukti adanya akses selain para peneliti yang terlibat.” (Para peneliti mencatat bahwa mereka tidak mengunduh atau menyimpan salinan data sensitif apa pun yang mereka akses melalui konsol Bondu, selain beberapa tangkapan layar dan video rekaman layar yang dibagikan dengan WIRED untuk mengonfirmasi temuan mereka.)
“Kami menjaga privasi pengguna dengan serius dan berkomitmen untuk melindungi data pengguna,” tambah Anam Rafid dalam keterangannya. “Kami telah berkomunikasi dengan semua pengguna aktif tentang protokol keamanan kami dan terus memperkuat sistem kami dengan perlindungan baru,” serta menyewa perusahaan keamanan untuk memvalidasi penyelidikannya dan memantau sistemnya di masa depan.
Walaupun keamanan Bondu yang hampir tidak ada pada data anak-anak yang disimpannya mungkin bisa diperbaiki, para peneliti berpendapat bahwa apa yang mereka lihat mewakili peringatan yang lebih besar tentang bahaya mainan obrolan yang dilengkapi AI untuk anak-anak. Pandangan sekilas mereka terhadap backend Bondu menunjukkan betapa detailnya informasi yang disimpan pada anak-anak, menyimpan riwayat setiap obrolan untuk lebih menginformasikan percakapan mainan berikutnya dengan pemiliknya. (Untungnya Bondu tidak menyimpan audio percakapan tersebut, menghapusnya secara otomatis setelah beberapa saat dan hanya menyimpan transkrip tertulis.)
Bahkan saat data sudah diamankan, Margolis dan Thacker berpendapat bahwa hal ini menimbulkan pertanyaan tentang berapa banyak orang di dalam perusahaan yang membuat mainan AI yang memiliki akses ke data yang mereka kumpulkan, bagaimana akses mereka dipantau, dan seberapa baik kredensial mereka dilindungi. “Ada dampak privasi yang meningkat dari hal ini,” kata Margolis. “Yang diperlukan hanyalah satu karyawan yang memiliki kata sandi yang buruk, dan kemudian kita kembali ke tempat yang sama ketika kita memulai, di mana semuanya terekspos ke internet publik.”
Margolis menambahkan bahwa informasi sensitif tentang pikiran dan perasaan anak semacam ini dapat digunakan untuk bentuk pelecehan atau manipulasi anak yang mengerikan. “Terus terang, ini adalah mimpi seorang penculik,” katanya. “Kita berbicara tentang informasi yang memungkinkan seseorang memikat seorang anak ke dalam situasi yang sangat berbahaya, dan pada dasarnya informasi tersebut dapat diakses oleh siapa saja.”
Margolis dan Thacker menunjukkan bahwa, selain paparan data yang tidak disengaja, Bondu juga—berdasarkan apa yang mereka lihat di dalam konsol adminnya—tampaknya menggunakan Gemini dari Google dan GPT5 OpenAI, dan sebagai hasilnya mungkin berbagi informasi tentang percakapan anak-anak dengan perusahaan-perusahaan tersebut. Anam Rafid dari Bondu menanggapi hal tersebut melalui email, dengan menyatakan bahwa perusahaan tersebut memang menggunakan “layanan AI perusahaan pihak ketiga untuk menghasilkan respons dan menjalankan pemeriksaan keamanan tertentu, yang melibatkan transmisi konten percakapan relevan yang relevan untuk diproses secara aman.” Namun dia menambahkan bahwa perusahaan mengambil tindakan pencegahan untuk “meminimalkan apa yang dikirim, menggunakan kontrol kontrak dan teknis, dan beroperasi di bawah konfigurasi perusahaan di mana perintah/keluaran negara penyedia tidak digunakan untuk melatih model mereka.”
Kedua peneliti tersebut juga memperingatkan bahwa salah satu risiko perusahaan mainan AI adalah mereka lebih cenderung menggunakan AI dalam pengkodean produk, alat, dan infrastruktur web mereka. Mereka mengatakan bahwa mereka curiga bahwa konsol Bondu tanpa jaminan yang mereka temukan itu sendiri “berkode getaran”—dibuat dengan alat pemrograman AI generatif yang sering kali menyebabkan kelemahan keamanan. Bondu tidak menanggapi pertanyaan WIRED tentang apakah konsol tersebut diprogram dengan alat AI.
Peringatan mengenai risiko mainan AI bagi anak-anak telah meningkat dalam beberapa bulan terakhir, namun sebagian besar berfokus pada ancaman bahwa percakapan mainan akan mengangkat topik yang tidak pantas atau bahkan mengarahkan mereka pada perilaku berbahaya atau melukai diri sendiri. NBC News, misalnya, dilaporkan pada bulan Desember AI yang mempermainkan reporternya menawarkan penjelasan rinci tentang istilah-istilah seksual, tips tentang cara mengasah pisau, dan bahkan seolah-olah menggemakan propaganda pemerintah Tiongkok, yang menyatakan misalnya bahwa Taiwan adalah bagian dari Tiongkok.
Sebaliknya, Bondu tampaknya setidaknya telah berupaya membangun perlindungan pada chatbot AI yang dapat diakses oleh anak-anak. Perusahaan tersebut bahkan menawarkan hadiah $500 untuk laporan “respon yang tidak pantas” dari mainan tersebut. “Kami telah menjalankan program ini selama lebih dari setahun, dan tidak ada seorang pun yang dapat membuat program ini mengatakan sesuatu yang tidak pantas,” demikian bunyi baris di situs web perusahaan tersebut.
Namun pada saat yang sama, Thacker dan Margolis menemukan bahwa Bondu secara bersamaan membiarkan seluruh data sensitif penggunanya terekspos. “Ini adalah perpaduan sempurna antara keselamatan dan keamanan,” kata Thacker. “Apakah ‘keamanan AI’ penting ketika semua data terungkap?”
Thacker mengatakan bahwa sebelum memeriksa keamanan Bondu, dia mempertimbangkan untuk memberikan mainan berkemampuan AI kepada anak-anaknya sendiri, seperti yang dilakukan tetangganya. Melihat langsung paparan data Bondu berubah pikiran.
“Apakah saya benar-benar menginginkan ini di rumah saya? Tidak, saya tidak menginginkannya,” katanya. “Ini seperti mimpi buruk privasi.”
