Pada tanggal 7 Oktober, akun TikTok bernama @fujitiva48 melontarkan pertanyaan provokatif di samping video terbarunya. “Apa pendapat Anda tentang mainan baru untuk anak kecil ini?” mereka bertanya kepada lebih dari 2.000 pemirsa, yang menemukan apa yang tampak seperti parodi iklan TV. Responsnya jelas. “Hei, jadi ini tidak lucu,” tulis seseorang. “Siapa pun yang membuat ini harus diselidiki.”
Sangat mudah untuk melihat mengapa video tersebut menimbulkan reaksi yang begitu keras. Iklan palsu dibuka dengan seorang gadis muda fotorealistik memegang mainan—merah muda, berkilau, seekor lebah menghiasi pegangannya. Itu adalah pena, kami diberitahu, saat gadis itu dan dua orang lainnya mencoret-coret kertas sementara pengisi suara pria dewasa menceritakannya. Namun terbukti bahwa desain bunga, kemampuan berdengung, dan namanya—Vibro Rose—terlihat dan terdengar sangat mirip dengan mainan seks. Tombol “tambahkan milik Anda”—fitur di TikTok yang mendorong orang untuk membagikan video di feed mereka—dengan tulisan “Saya menggunakan mainan mawar saya”— menghilangkan keraguan sekecil apa pun. (WIRED menghubungi akun @ fujitiva48 untuk memberikan komentar tetapi tidak mendapat tanggapan.)
Klip buruk dibuat menggunakan Sora 2, OpenAI generator video terbaru, yang awalnya dirilis hanya melalui undangan di AS pada tanggal 30 September. Hanya dalam kurun waktu satu minggu, video seperti klip Vibro Rose telah bermigrasi dari Sora dan tiba di Halaman For You TikTok. Beberapa iklan palsu lainnya bahkan lebih eksplisit, dengan WIRED menemukan beberapa akun memposting video serupa yang dibuat oleh Sora 2 yang menampilkan mainan air berbentuk mawar atau jamur dan penghias kue yang menyemprotkan “susu lengket”, “busa putih”, atau “lendir” ke gambar anak-anak yang seperti aslinya.
Di banyak negara, hal di atas akan menjadi dasar penyelidikan apakah anak-anak tersebut benar-benar anak-anak, bukan hasil penggabungan digital. Namun undang-undang mengenai konten fetish yang dihasilkan AI yang melibatkan anak di bawah umur masih belum jelas. Data baru tahun 2025 dari Yayasan Pengawasan Internet di Inggris mencatat bahwa laporan materi pelecehan seksual terhadap anak yang dihasilkan oleh AI, atau CSAM, telah meningkat dua kali lipat dalam kurun waktu satu tahun dari 199 antara bulan Januari dan Oktober 2024 menjadi 426 pada periode yang sama tahun 2025. Lima puluh enam persen dari konten ini termasuk dalam Kategori A—kategori paling serius di Inggris yang melibatkan aktivitas seksual penetrasi, aktivitas seksual dengan hewan, atau sadisme—dan 94 persen gambar AI ilegal yang dilacak oleh IWF adalah gambar anak perempuan. (Sora tampaknya tidak menghasilkan konten Kategori A apa pun.)
“Seringkali, kita melihat kemiripan anak-anak dikomodifikasi untuk menciptakan gambar telanjang atau seksual dan, yang paling sering kita lihat, kita melihat AI digunakan untuk membuat gambar anak perempuan. Ini adalah cara lain untuk menargetkan anak perempuan secara online,” Kerry Smith, CEO IWF, mengatakan kepada WIRED.
Masuknya materi berbahaya yang dihasilkan oleh AI telah mendorong Inggris untuk memperkenalkan a amandemen baru terhadap RUU Kejahatan dan Perpolisianyang akan memungkinkan “penguji resmi” untuk memeriksa apakah alat kecerdasan buatan tidak mampu menghasilkan CSAM. Seperti yang dilaporkan BBC, amandemen ini akan memastikan para model memiliki perlindungan terhadap gambar-gambar tertentu, termasuk pornografi ekstrem dan gambar-gambar intim non-konsensual pada khususnya. Di AS, 45 negara bagian telah menerapkan undang-undang yang melarang hal ini mengkriminalisasi CSAM yang dihasilkan AIsebagian besar terjadi dalam dua tahun terakhir, seiring dengan terus berkembangnya generator AI.
OpenAI, pencipta Sora 2, telah menerapkan langkah-langkah yang mencegah generasi muda menampilkan wajah mereka pada pornografi palsu. Fitur aplikasi tempat pengguna merekam kemiripan mereka untuk disematkan ke dalam video yang dihasilkan—sebelumnya disebut Cameo, namun sekarang diganti namanya untuk sementara—Bekerja berdasarkan persetujuan dan dapat dicabut kapan saja. Ada juga aturan yang memastikan profil dewasa tidak boleh mengirim pesan kepada remaja. Aplikasi ini langsung melarang CSAM, dan kebijakan OpenAI menyatakan bahwa platformnya “tidak boleh digunakan untuk mengeksploitasi, membahayakan, atau melakukan tindakan seksual terhadap siapa pun yang berusia di bawah 18 tahun,” dengan OpenAI melaporkan materi pelecehan seksual terhadap anak dan membahayakan anak ke Pusat Nasional untuk Anak Hilang dan Tereksploitasi.
Tapi bagaimana dengan mainan seperti mawar? Video-video ini cukup mencolok dalam penandaannya untuk diundang oleh para komentator TikTok, YouTuber, dan pembuat konten wacana yang serius atas bahayanya, namun para pembuat konten tampaknya mampu mewujudkannya dengan menghindari batasan OpenAI. Meskipun bukan pornografi vulgar atau deepfake yang menargetkan anak-anak sungguhan, namun jika diunggah bersama dengan pernyataan-pernyataan terkemuka, mereka jelas-jelas menunjukkan niat untuk bertani demi predator.
Klip lain yang dikelompokkan oleh pembuat konten dalam kategori yang sama lebih banyak berkisar antara seksualisasi dan komentar. Iklan palsu untuk mainan yang ditarik kembali, seperti “Epstein’s Island Getaway” dan “Diddy’s Mansion Party,” di mana anak-anak yang dibuat dengan AI bermain dengan patung pria lanjut usia, wanita muda, dan air mancur minyak bayi, juga mendapat sorotan. Dalam salah satu foto berjudul “Sofa Harv”—tampaknya mengacu pada terpidana penjahat seks Harvey Weinstein—yang menampilkan “pintu yang dapat dikunci, sofa dengan sentuhan lembut, dan 3 boneka aktris yang penuh harapan,” suara seorang anak bertanya, “Inikah caramu menjadi terkenal?”
Meskipun tidak pantas, klip-klip seperti ini dan klip-klip lain yang memperlihatkan set permainan yang memparodikan 9/11 dan kematian Putri Diana menunjukkan bahwa pembuat video mungkin lebih termotivasi oleh keinginan untuk menjadi penguasa dibandingkan dengan hal lain. Namun mereka sering kali muncul berdampingan di akun kompilasi yang sama, sehingga membuat mereka yang mencari lelucon kelam menemukan materi yang lebih meragukan secara tidak sengaja.
Trailer Pixar palsu dan cabul untuk konsep seperti “2 Girls One Cup” juga termasuk dalam kategori ini, namun ada pula yang berani masuk ke wilayah yang lebih suram dengan menampilkan animasi karakter wanita muda dengan usia yang tidak jelas. Lainnya termasuk karakter bernama Incredible Gassy—versi parodi Mr. Incredible yang kembung dan gemuk yang dalam salah satu iklan mainan palsu (dalam iterasi ini disebut Incredible Leaky) “mengeluarkan cairan dari bagian pahlawannya”. Berasal dari komisi Patreon NSFW pada tahun 2021, karakter Incredible Gassy telah menjadi meme dalam beberapa bulan terakhir sebagai tanggapan dan komentar terhadap gelombang besar konten fetish inflasi, kehamilan, vore, dan obesitas yang telah populer di Sora 2 dan internet yang lebih luas sejak aplikasinya dirilis. Video-video ini juga sering menampilkan anak di bawah umur yang dihasilkan oleh AI.
YouTuber Inggris D0l1face3 baru-baru ini membawa perhatian ke satu klip, kali ini dibuat dengan Veo, di mana seorang pelatih memeriksa tim anak-anak yang kelebihan berat badan di ruang ganti, menyentuh perut mereka dan memuji kenaikan berat badan mereka. Meski kontennya tidak secara eksplisit bersifat pornografi, menurutnya niat tersebut terlihat jelas saat melihat bagian komentar video tersebut, di mana beberapa akun telah membagikan permintaan agar orang-orang menambahkannya di Telegram, yang diklaim oleh penegak hukum. pusat jaringan pedofil. WIRED menemukan bahwa akun tersebut masih aktif pada saat perekaman, dan juga menemukan video serupa yang menampilkan anak laki-laki muda yang kelebihan berat badan yang tampaknya secara halus melayani pemirsa predator, semuanya tanpa ditandai sebagai melanggar kebijakan TikTok.
Seorang juru bicara Google mengatakan kepada WIRED bahwa perusahaan tersebut memiliki kebijakan yang jelas seputar generasi AI di bawah umur. Mengenai video remaja laki-laki yang kelebihan berat badan, juru bicaranya mengatakan bahwa komentar dan niat untuk memposting video tersebut di platform lain adalah hal yang mengkhawatirkan.
Nuansa kontekstual inilah yang membentuk a sebagian besar tentang cara CSAM beroperasi—aplikasi seperti Sora 2 pada akhirnya tidak dapat diawasi.
Mike Stabile, direktur kebijakan publik di organisasi nirlaba Koalisi Pidato Bebasmemiliki lebih dari 20 tahun pengalaman bekerja di industri dewasa dan memahami cara kerja situs dewasa dan memoderasi konten. Ia percaya bahwa OpenAI dan perusahaan serupa harus menerapkan tingkat nuansa yang sama dalam praktik moderasi mereka untuk sepenuhnya memastikan konten CSAM dan fetish yang menampilkan anak-anak tidak masuk ke dalam platform. Hal ini dapat mencakup pelarangan atau pembatasan kata-kata tertentu yang mungkin dikaitkan dengan konten fetish dan peningkatan tim moderasi dengan lebih banyak keragaman dan pelatihan.
“Kita sudah melihat perjuangan ini dengan platform seperti Facebook. Bagaimana mereka membedakan antara orang tua yang membagikan foto anaknya yang sedang bermain di kolam renang atau kamar mandi dengan seseorang yang membagikan sesuatu yang dimaksudkan sebagai materi pelecehan seksual terhadap anak?” Stabile memberi tahu WIRED.
“Setiap kali Anda berurusan dengan kekusutan atau fetish, akan ada hal-hal yang akan dilewatkan oleh orang-orang yang tidak terbiasa,” katanya.
Mengikuti permintaan komentar WIRED, OpenAI mengatakan pihaknya melarang beberapa akun yang membuat video seperti mainan mawar yang bergetar. Niko Felix, juru bicara OpenAI, mengatakan kepada WIRED: “OpenAI dengan tegas melarang penggunaan model kami untuk membuat atau mendistribusikan konten yang mengeksploitasi atau merugikan anak-anak. Kami merancang sistem kami untuk menolak permintaan ini, mencari upaya untuk mengakali kebijakan kami, dan mengambil tindakan ketika terjadi pelanggaran.”
WIRED juga menghubungi TikTok tentang masuknya materi fetish yang dibuat menggunakan Sora 2 yang masuk ke platform, menandai lebih dari 30 contoh iklan mainan yang tidak pantas, inflasi, dan konten fetish obesitas. Banyak dari iklan tersebut, termasuk iklan mainan mawar, telah dihapus, namun iklan lainnya, termasuk iklan mainan palsu lainnya dan patung Incredible Leaky, tetap online pada saat pelaporan.
Seorang juru bicara TikTok mengatakan: “Kami telah menghapus video dan melarang akun yang mengunggah konten yang dibuat pada platform AI lain yang melanggar kebijakan keamanan kecil TikTok yang ketat.”
Demikian pula, Internet Watch Foundation mendesak platform untuk mempertimbangkan perlindungan ini dalam desain awal mereka dan menempatkannya di garis depan prioritas mereka—mencegah pembuatan konten berbahaya sejak awal.
“Kami ingin melihat produk dan platform yang dirancang aman, dan mendorong perusahaan AI untuk melakukan semaksimal mungkin untuk memastikan produk mereka tidak disalahgunakan untuk menciptakan citra pelecehan seksual terhadap anak-anak,” kata Smith kepada WIRED.
