Di suatu tempat di New York animasi, sebuah antek tergelincir dan jatuh di selokan. Ketika gelombang lendir hijau radioaktif menyelimutinya, tubuhnya mulai berubah – limbah bermutasi, deretan taring berdarah muncul – bentuknya yang bulat, seperti cacing, merayap mengancam di layar.
“Waspadalah Minion di malam hari, jiwa bayangan tidak ada akhir yang terlihat,” narator yang terdengar AI bernyanyi, sebagai makhluk mengerikan, yang sekarang bersembunyi di kolam renang, menyelinap di belakang seorang anak yang berteriak sebelum berderak, tanpa ampun, di antara giginya.
Setelah mengklik ke video pemilikNamun, ini cerita yang berbeda. “Selamat datang di Go Cat – saluran YouTube yang menyenangkan dan menarik untuk anak -anak!” Deskripsi saluran mengumumkan ke 24.500 pelanggan dan lebih dari 7 juta pemirsa. “Setiap episode dipenuhi dengan imajinasi, animasi berwarna -warni, dan kisah transformasi yang mengejutkan yang menunggu untuk dibuka. Apakah itu kecelakaan lucu atau kesalahan seram, setiap video membawa kisah baru yang segar tentang transformasi untuk dinikmati anak -anak!”
Konten GO Cat yang konon ramah anak adalah visceral, surealis-hampir hampir pada horor tubuh. Temanya terasa lebih mengingatkan pada apa yang, pada tahun 2017, dikenal sebagai Elsagatedi mana ratusan ribu video muncul di YouTube yang menggambarkan karakter anak -anak seperti ELSA BekuSpider-Man, dan Peppa Pig yang terlibat dalam situasi berbahaya, seksual, dan kasar. Dengan memanipulasi algoritma platform, video -video ini dapat muncul di aplikasi anak -anak khusus YouTube – membuat keingintahuan anak -anak untuk bertani ribuan klik untuk uang tunai. Dalam upayanya untuk memberantas masalah, YouTube menghapus iklan lebih dari 2 juta videomenghapus lebih dari 150.000, dan mengakhiri 270 akun. Meskipun investigasi selanjutnya oleh WIRED mengungkapkan bahwa saluran yang sama – beberapa yang mengandung penggambaran seksual dan scatologis dari Minecraft Avatar—Continued untuk tampil di halaman topik YouTube, jangkauan Elsagate telah terasa diadili.
Lalu datanglah ai. Kemampuan untuk memasukkan (dan menghindari) permintaan AI generatif, dipasangkan dengan masuknya tutorial Tentang cara memonetisasi konten anak -anak, berarti membuat video aneh dan mengerikan ini menjadi tidak hanya mudah tetapi menguntungkan. Go Cat hanyalah salah satu dari banyak yang muncul ketika kabel mencari istilah yang tidak berbahaya seperti “antek,” “Thomas the Tank Engine,” dan “Cute Cats.” Banyak yang melibatkan staples elsagate seperti versi hamil, pakaian dalam dari Elsa dan Anna, tetapi antek adalah pemukul besar lainnya, seperti halnya kucing dan anak kucing animasi.
Menanggapi permintaan WIRED untuk memberikan komentar, YouTube mengatakan “mengakhiri dua saluran yang ditandai karena melanggar ketentuan layanan kami” dan menangguhkan monetisasi tiga saluran lainnya.
“Sejumlah video juga telah dihapus karena melanggar kebijakan keselamatan anak kami,” kata juru bicara YouTube. “Seperti biasa, semua konten yang diunggah ke YouTube tunduk pada pedoman komunitas kami dan prinsip -prinsip kualitas untuk anak -anak – terlepas dari bagaimana hal itu dihasilkan.”
Ketika ditanya kebijakan apa yang ada untuk mencegah pengguna yang dilarang hanya membuka saluran baru, YouTube menyatakan bahwa melakukan hal itu akan bertentangan dengan ketentuan layanannya dan bahwa kebijakan ini ditegakkan dengan ketat “menggunakan kombinasi baik orang dan teknologi.”
Wired dapat mengkonfirmasi bahwa beberapa saluran yang ditandai memang dihapus minggu lalu, termasuk dua saluran yang berpusat pada kucing yang menampilkan tema penyalahgunaan. Tetapi saluran tertaut lainnya dengan repost dari video yang sama tetap di platform. Go Cat juga masih aktif, dan deskripsi salurannya tetap tidak berubah.
Wired tidak dapat menemukan email yang terkait dengan Go Cat tetapi menjangkau saluran lain untuk memberikan komentar. Kami tidak menerima tanggapan.
Ledakan video kucing yang dianimasi AI adalah fitur yang menentukan gelombang kedua Elsagate, melampaui jenis jenis lain baik dalam ruang lingkup maupun ekstremitas konten mereka. Dengan judul -judul seperti “Anak kucing yang disalahgunakan oleh ibunya sendiri” – video ini sering mengambil bentuk dongeng, di mana anak -anak kucing kelaparan, dipaksa untuk melakukan tugas -tugas yang tidak menyenangkan, dan dipukuli secara terdengar oleh orang tua mereka dengan kelelawar bisbol atau wajan penggorengan. Mereka kemudian dibawa ke rumah sakit dan dihidupkan kembali – sebelum orang tua tiba, meminta maaf atas tindakan mereka, sebagai musik melankolis atau sampul mengeong dari drama “What Are I Made For” karya Billie Eilish di latar belakang. Dengan nama-nama saluran yang hampir identik seperti “Cute Cat Ai” dan “Cute Cat of Ni,” kata para ahli, mereka adalah upaya yang jelas untuk menyesatkan penonton muda-dan langkah yang jelas untuk malas dan sembrono memonetisasi konten murah dengan cara yang tak terduga sebelum kedatangan AI generatif.
“Kami sangat prihatin dengan proliferasi konten yang dihasilkan AI yang tampaknya menargetkan anak-anak dan berisi materi yang sangat tidak pantas,” Robbie Torney, direktur senior program AI di Common Sense Media, mengatakan kepada Wired. Nirlaba, yang menilai dan meninjau media untuk memberikan rekomendasi yang akurat untuk keluarga, ditunjukkan beberapa saluran yang ditemukan selama penyelidikan ini. Organisasi ini mengidentifikasi tema umum di seluruh video “karakter dalam kesulitan atau bahaya yang ekstrem,” “mutilasi, prosedur medis, dan eksperimen yang kejam,” dan “penggambaran pelecehan dan penyiksaan anak.”
Meskipun perubahan YouTube nanti, termasuk implementasi aturan baru Pada tahun 2019 untuk mematuhi Undang -Undang Perlindungan Privasi Online US, berarti saluran ini sekarang biasanya muncul di aplikasi utama YouTube daripada anak -anak YouTube – niat mereka hanya terselubung tipis. Suara tawa bayi dan mengoceh dicampur dengan musik dan diatur ke latar belakang Bright, CocomelonLansekap -Sque. ; Metadata untuk beberapa saluran mengungkapkan beberapa video telah ditandai dengan kata kunci seperti #funnycat, #familyfun, dan #DisneyAnimatedMovies. Lainnya yang menampilkan beruang kutub dan rusa yang terinfeksi parasit ditandai dengan istilah -istilah seperti #Animalrescue, menunjukkan upaya untuk muncul di samping konten yang lebih mendidik.
Sementara pada tahun 2017, konten elsagate biasanya menampilkan animasi tradisional atau bahkan aktor yang mengenakan kostum (keduanya masih menjadi bagian dari gelombang baru ini), kedatangan AI generatif berarti video yang mengganggu dan bergaya otak sekarang dapat diproduksi jauh lebih cepat dan oleh siapa pun, terlepas dari keterampilan.
“Tren ini sangat memprihatinkan karena skala dan kecepatan di mana AI dapat menghasilkan konten ini,” kata Torney. “Tidak seperti pembuatan konten tradisional, video yang dihasilkan AI dapat diproduksi dalam volume besar dengan pengawasan minimal. Tanpa ulasan manusia dalam pipa pembuatan, bahan yang tidak pantas dan berpotensi berbahaya dapat dengan mudah menjangkau anak-anak.” Kecepatan komparatif AI juga berarti bahwa ketika satu saluran ditandai dan dihapus oleh YouTube – orang lain dengan repost yang identik muncul beberapa hari kemudian.
Wired telah melihat gambar yang dikirim oleh pembuat konten Bittersnakeyang merupakan bagian dari a Gelombang YouTuber Menyedihkan saluran bertema kucing ini pada bulan Januari tahun ini. Awalnya diposting di tab komunitas dari dua saluran yang sekarang ditangguhkan, mereka tampaknya menunjukkan lingkungan kantor di Asia, dengan pekerja muda duduk di meja komputer, membuat hati dengan jari-jari mereka di persahabatan tempat kerja yang khas. Gambar kedua menunjukkan seorang pekerja di mejanya, headphone menyala, telepon di sampingnya, jaringan yang tergeletak kusut di latar belakang. Adegan itu akan benar -benar khas seorang siswa muda atau magang yang terbenam dalam pekerjaan pertamanya – jika bukan karena layar komputer yang menampilkan kucing dewasa, berbaring almarhum dalam kumpulan darah merah yang berkilauan, seperti yang dipandang anak kucing muda, trauma.
Tracy Pizzo Frey, Penasihat Senior AI untuk Common Sense Media, baru -baru ini bersaksi Pada sidang Majelis Negara Bagian California untuk mendukung RUU yang bertujuan untuk melindungi anak -anak dari risiko AI. Ini akan membutuhkan sistem untuk diklasifikasikan dalam skala dari “risiko terlarang” hingga “risiko rendah” dan melarang penggunaan Sahabat AI yang kontroversial seperti Replika oleh anak -anak, di samping langkah -langkah lain. Skala masalah ini tumbuh-dan kemungkinan akan menggelembung lebih jauh karena konten anak-anak yang dihasilkan AI terus mengerdilkan rekan-rekannya yang secara tradisional dianimasikan.
Wired telah berbagi dengan YouTube lebih dari 70 saluran pertanian konten serupa yang ditemukan selama penyelidikan ini. Sebagian besar dari ini melibatkan gambar kucing yang dihasilkan AI di samping tema-tema gore, jenis kelamin, dan pelecehan anak-dan jumlah pelanggan mereka berkisar dari ribuan hingga jutaan. Apakah pandangan ini terutama datang dari manusia, atau hanya konfirmasi realisasi teori internet matidapat diperdebatkan – meskipun ratusan komentar otomatis di seluruh video ini menunjukkan bahwa itu bisa menjadi yang terakhir.
Saat meninjau saluran, YouTube menjelaskan bahwa itu mengharuskan semua pencipta untuk memberi label materi yang dihasilkan AI, termasuk konten yang ditujukan untuk anak-anak dan keluarga, dan bahwa ia telah memperkenalkan serangkaian pedoman tentang apa yang disebut konten berkualitas.
“Kami ingin pemirsa yang lebih muda tidak hanya memiliki pengalaman yang lebih aman tetapi juga yang memperkaya,” kata juru bicara YouTube. “Untuk mendukung ini, kami bermitra dengan para ahli untuk membuat serangkaian prinsip kualitas untuk anak -anak dan konten keluarga yang dimaksudkan untuk membantu memandu pembuat dalam menciptakan konten berkualitas untuk anak -anak dan mengurangi jumlah konten yang berkualitas rendah, terlepas dari bagaimana itu dibuat.” YouTube mengklaim bahwa sejak memperkenalkan prinsip -prinsip ini – panduan mana konten mana yang dimonetisasi, ditampilkan dalam rekomendasi, dan muncul di YouTube Kids – kepemilikan konten “berkualitas tinggi” telah meningkat sebesar 45 persen pada aplikasi YouTube Kids.
Namun, terlepas dari audiens mereka, dan ketika moderator YouTube berebut untuk menghapusnya, penerus Elsagate tetap berada di platform utama YouTube – terus menghasilkan cara baru untuk menekuk aturan di setiap belokan. Masalahnya juga tidak unik bagi mereka – dengan video serupa yang muncul di Tiktok dalam beberapa bulan terakhir, di mana Runway AI Generator dilapisi ke rekaman nyata dari bunuh diri dan penembakan massal untuk membuat video “Minion Gore”, 404 Media melaporkan. Tiktok memberi tahu 404 media, “Kebencian konten dan juga Konten berdarah, mengerikan, mengganggu, atau sangat kejam ”dilarang dan dikatakan Mengambil tindakan untuk menghapus konten yang dihasilkan AI yang melanggar kebijakannya.
“Kami menyadari bahwa platform video bentuk pendek bekerja untuk mengatasi tantangan moderasi konten, tetapi sifat video yang dihasilkan AI menghadirkan kesulitan unik yang mungkin memerlukan solusi baru,” kata Torney kepada Wired.
“Evolusi cepat teknologi AI menuntut agar semua pemangku kepentingan – platform, pembuat konten, orang tua, dan organisasi seperti kita – bekerja bersama untuk memastikan paparan anak -anak terhadap konten video online aman dan positif.”
