AI Elon Musk chatbot Grok adalah sedang digunakan untuk membanjiri X dengan ribuan gambar seksual orang dewasa dan anak di bawah umur yang mengenakan pakaian minim. Beberapa konten ini tampaknya tidak hanya melanggar konten X sendiri kebijakanyang melarang berbagi konten ilegal seperti materi pelecehan seksual terhadap anak-anak (CSAM), namun mungkin juga melanggar pedoman App Store Apple dan Google Play Store.
Apple dan Google secara eksplisit melarang aplikasi yang mengandung CSAM, yang ilegal untuk dihosting dan didistribusikan di banyak negara. Raksasa teknologi juga melarang aplikasi yang berisi materi pornografi atau memfasilitasi pelecehan. Toko Aplikasi Apple mengatakan aplikasi ini tidak mengizinkan “materi yang terang-terangan bersifat seksual atau pornografi”, serta “konten yang memfitnah, diskriminatif, atau bersifat kejam”, terutama jika aplikasi tersebut “cenderung mempermalukan, mengintimidasi, atau merugikan individu atau kelompok yang ditargetkan”. Toko Google Play larangan aplikasi yang “berisi atau mempromosikan konten yang terkait dengan perilaku predator seksual, atau mendistribusikan konten seksual non-konsensual,” serta program yang “mengandung atau memfasilitasi ancaman, pelecehan, atau penindasan.”
Selama dua tahun terakhir, Apple dan Google menghapus sejumlah aplikasi “nudify” dan pembuat gambar AI setelahnya investigasi oleh BBC dan 404 Media ditemukan mereka sedang diiklankan atau digunakan untuk secara efektif mengubah foto biasa menjadi gambar eksplisit perempuan tanpa persetujuan mereka.
Namun pada saat publikasi, baik aplikasi X maupun aplikasi Grok yang berdiri sendiri tetap tersedia di kedua toko aplikasi. Apple, Google, dan X tidak menanggapi permintaan komentar. Grok dioperasikan oleh startup kecerdasan buatan xAI milik Musk yang bernilai miliaran dolar, yang juga tidak menanggapi pertanyaan dari WIRED. Di sebuah pernyataan publik diterbitkan pada 3 Januari, X mengatakan bahwa mereka mengambil tindakan terhadap konten ilegal di platformnya, termasuk CSAM. “Siapapun yang menggunakan atau mendorong Grok untuk membuat konten ilegal akan mendapat konsekuensi yang sama seperti jika mereka mengunggah konten ilegal,” perusahaan tersebut memperingatkan.
Sloan Thompson, direktur pelatihan dan pendidikan di EndTAB, sebuah kelompok yang mengajarkan organisasi cara mencegah penyebaran konten seksual nonkonsensual, mengatakan “sangat tepat” bagi perusahaan seperti Apple dan Google untuk mengambil tindakan terhadap X dan Grok.
Jumlah gambar eksplisit nonkonsensual di X yang dihasilkan oleh Grok telah meledak selama dua minggu terakhir. Satu peneliti mengatakan kepada Bloomberg bahwa selama periode 24 jam antara tanggal 5 dan 6 Januari, Grok menghasilkan sekitar 6.700 gambar setiap jam yang mereka identifikasi sebagai “menjurus ke arah seksual atau telanjang.” Analis lain mengumpulkan lebih dari 15.000 URL gambar yang dibuat Grok di X selama periode dua jam pada tanggal 31 Desember. WIRED ditinjau sekitar sepertiga dari gambar-gambar tersebut, dan menemukan bahwa banyak di antaranya menampilkan wanita yang mengenakan pakaian terbuka. Lebih dari 2.500 ditandai sebagai tidak lagi tersedia dalam seminggu, sementara hampir 500 diberi label sebagai “konten dewasa dengan batasan usia”.
Awal pekan ini, juru bicara Komisi Eropa, badan pengatur Uni Eropa, dikutuk secara terbuka gambar-gambar seksual eksplisit dan non-konsensual yang dibuat oleh Grok on X sebagai gambar yang “ilegal” dan “mengerikan,” dan mengatakan kepada Reuters bahwa konten semacam itu “tidak mempunyai tempat di Eropa.”
Pada hari Kamis, UE memesan X untuk menyimpan semua dokumen dan data internal yang berkaitan dengan Grok hingga akhir tahun 2026, memperluas arahan penyimpanan sebelumnya, untuk memastikan pihak berwenang dapat mengakses materi yang relevan dengan kepatuhan terhadap Undang-Undang Layanan Digital UE, meskipun penyelidikan formal baru belum diumumkan. Regulator di negara laintermasuk Inggris, India, dan Malaysia juga mengatakan mereka menyelidiki platform media sosial.
Grok dan X adalah bagian dari a industri bernilai jutaan dolar menjajakan layanan “nudify” secara online. Selama beberapa tahun terakhir, lusinan aplikasi dan situs web yang berdiri sendiri telah bermunculan yang menjanjikan untuk menelanjangi perempuan secara digital tanpa persetujuan mereka, seringkali memasarkan diri mereka sendiri sebagai alat baru yang tidak berbahaya dan pada saat yang sama memungkinkan terjadinya pelecehan seksual berbasis gambar. Perusahaan-perusahaan AI arus utama juga berjuang untuk mencegah alat mereka digunakan untuk menghasilkan citra seksual yang tidak konsensual. Misalnya, KABEL dilaporkan bulan lalu orang-orang berbagi tips online tentang cara membuat chatbot AI generatif Google dan OpenAI, Gemini dan ChatGPT, mengubah gambar wanita agar menggambarkan mereka mengenakan bikini dan pakaian terbuka lainnya.
Para pembuat undang-undang di AS dan negara-negara lain sudah mulai menindak deepfake AI non-konsensual. Tahun lalu, Presiden Donald Trump menandatangani Undang-undang TAKE IT DOWN (UU TAKE IT DOWN), yang menyatakan bahwa mempublikasikan atau memuat gambar-gambar seksual non-konsensual dengan sengaja merupakan sebuah kejahatan federal. Namun Thomspon mengatakan undang-undang tersebut dibatasi oleh fakta bahwa perusahaan hanya diwajibkan untuk memulai proses penghapusan setelah korban memilih untuk melapor.
“Perusahaan swasta memiliki lebih banyak lembaga dalam merespons berbagai hal dengan cepat,” kata Thompson. “Ketika kita berbicara tentang alat-alat lain untuk mengatasi penyalahgunaan berbasis gambar—tuntutan hukum memerlukan waktu, dan undang-undang juga perlu waktu untuk disahkan, terutama saat ini, ketika kita memiliki teknologi yang memasuki pasar dengan kecepatan yang sangat tinggi. Sangat, sangat sulit untuk undang-undang disahkan dengan kecepatan yang sama.”
David Greene, direktur kebebasan sipil di Yayasan Perbatasan Elektronikmengatakan masyarakat harus berhati-hati dengan gagasan menghapus seluruh platform dari toko aplikasi. Dia menekankan bahwa X dan xAI sama-sama memiliki kekuatan untuk mengatasi masalah ini sendiri.
Greene berpendapat bahwa perusahaan Musk dapat menerapkan perlindungan teknis yang lebih baik untuk mencegah pengguna membuat deepfake dan jenis gambar seksual lainnya. Hal ini “mungkin bukan solusi yang sempurna, namun setidaknya dapat menambah hambatan pada prosesnya,” tambahnya
Thompson setuju bahwa perusahaan seperti X dan xAI harus lebih banyak mendapat tekanan publik untuk mencegah pembuatan foto dan video semacam ini. “Di situlah saya pikir kita memerlukan intervensi,” katanya.
