Grok membuka baju anak-anak — bisakah hukum menghentikannya?

Grok began 2026 seperti yang dimulai pada tahun 2025: mendapat kecaman karena gambar yang dihasilkan AI.

Chatbot milik Elon Musk menghabiskan seminggu terakhir membanjiri X dengan deepfake seksual yang bersifat non-konsensual dan bersifat seksual terhadap orang dewasa dan anak di bawah umur. Tangkapan layar yang beredar menunjukkan Grok memenuhi permintaan untuk mengenakan pakaian dalam kepada wanita sungguhan dan membuat mereka melebarkan kaki, serta memasukkan anak kecil ke dalam bikini. Laporan mengenai gambar yang kemudian dihapus menggambarkan konten yang lebih mengerikan. Satu pengguna X mengonfirmasi dalam percakapan dengan Tepi bahwa mereka menemukan banyak gambar anak di bawah umur dengan apa yang disebut oleh pembisik sebagai “donat glasir” di wajah mereka, yang tampaknya telah dihapus. Pada satu titik, Grok membuat sekitar satu gambar seksual nonkonsensual per menitmenurut sebuah perkiraan.

Persyaratan layanan X melarang “seksualisasi atau eksploitasi anak.” Dan pada hari Sabtu, perusahaan kata platformnya akan “mengambil tindakan terhadap konten ilegal di X, termasuk Materi Pelecehan Seksual terhadap Anak (CSAM).” Tampaknya telah menghapus beberapa pelanggaran terburuk. Namun secara keseluruhan, mereka meremehkan insiden tersebut. Musk punya dikatakan bahwa “Siapa pun yang menggunakan Grok untuk membuat konten ilegal akan menanggung konsekuensi yang sama seperti jika mereka mengunggah konten ilegal,” namun dia menjelaskan melalui postingan X publik bahwa dia tidak mempercayai pendapat umum. membuka baju petunjuknya adalah sebuah masalah, dan dia menanggapi topik yang lebih luas dengan tertawa Dan emoji api pada X. Respons lemah perusahaan ini telah membuat khawatir para ahli yang telah menghabiskan waktu bertahun-tahun berupaya mengatasi pelecehan dan pelecehan seksual yang didukung AI. Banyak pemerintahan telah melakukannya mengatakan mereka sedang meneliti X. Namun bahkan di tengah dorongan regulasi online yang belum pernah terjadi sebelumnya, cara untuk mengawasinya atau kreasi chatbotnya masih belum jelas.

xAI, pencipta Grok, tidak menanggapi permintaan komentar. Apple atau Google juga tidak menjawab ketika ditanya apakah laporan tersebut melanggar kebijakan toko aplikasi mereka.

Grok selalu mengizinkan, dan Musk mengizinkannya didorong secara terbukagambaran yang sangat seksual. Namun selama seminggu terakhir, kemampuan untuk meminta Grok mengedit gambar – melalui tombol baru yang memungkinkan perubahan tanpa izin pembuat aslinya – telah menjadi viral di kalangan wanita dan anak di bawah umur yang membuka pakaian. Penegakan pagar pembatas dilakukan secara serampangan, dan sebagian besar tanggapan yang diharapkan dari X berasal dari Grok sendiri, yang berarti tanggapan tersebut tidak benar. pada dasarnya dipikirkan di tempat. Balasannya antara lain menyatakan itu beberapa ciptaannya “melanggar pedoman kami untuk konten fiksi saja” dan, atas permintaan pengguna, a permintaan maaf yang diberitakan secara luas — sesuatu yang tampaknya tidak dikeluarkan oleh xAI sendiri.

Salah satu pertanyaan terbesar di sini adalah apakah gambar tersebut melanggar undang-undang yang melarang CSAM dan gambar intim nonkonsensual (NCII) orang dewasa, khususnya di AS, tempat X berkantor pusat. Departemen Kehakiman AS melarang “gambar yang dibuat secara digital atau komputer yang tidak dapat dibedakan dengan anak di bawah umur sebenarnya” yang berisi aktivitas seksual atau ketelanjangan yang menjurus. Dan Undang-Undang Take It Down, yang ditandatangani menjadi undang-undang oleh Presiden Donald Trump pada bulan Mei 2025, melarang “penggambaran visual intim” yang dihasilkan oleh AI tanpa persetujuan dan mengharuskan platform tertentu untuk segera menghapusnya.

Selebriti dan influencer menggambarkan perasaan mereka yang dilecehkan oleh gambar-gambar seksual yang dihasilkan oleh AI; menurut tangkapan layar, Grok telah menghasilkan gambar penyanyi Momo dari TWICE, aktris Millie Bobby Brown, aktor Finn Wolfhard, dan masih banyak lagi. Gambar yang dihasilkan Grok juga digunakan secara khusus untuk menyerang perempuan yang mempunyai kekuatan politik.

“Ini adalah alat untuk mengekspresikan kebencian terhadap perempuan yang merasuki setiap sudut masyarakat Amerika dan sebagian besar masyarakat di seluruh dunia,” kata Riana Pfefferkorn, peneliti kebijakan di Stanford Institute for Human-Centered Artificial Intelligence (HAI), kepada Tepi. “Ini adalah pelanggaran privasi, pelanggaran terhadap persetujuan dan batasan, ini sangat mengganggu, ini merupakan bentuk kekerasan gender.” Mungkin yang terpenting, gambar eksplisit anak di bawah umur – termasuk melalui aplikasi khusus “nudify” – telah menjadi masalah yang semakin besar bagi penegakan hukum.

Pada hari Senin, Federasi Konsumen Amerika (CFA), sebuah kelompok yang terdiri dari ratusan organisasi nirlaba yang berfokus pada konsumen, secara terbuka menyerukan tindakan negara bagian dan federal terhadap xAI karena “membuat dan mendistribusikan Materi Pelecehan Seksual terhadap Anak (CSAM) dan gambar intim non-konsensual lainnya (NCII) dengan Generatif AI,” mengirimkan a surat ditandatangani oleh segelintir organisasi di Komisi Perdagangan Federal dan jaksa agung AS.

Namun hal-hal spesifik yang dilarang oleh undang-undang AS “sangat kabur,” kata Mary Anne Franks, seorang profesor hukum kekayaan intelektual, teknologi, dan hak-hak sipil di Fakultas Hukum Universitas George Washington. “Bagian dari apa yang saya tidak dapat pahami adalah… apakah ini benar-benar melewati batas dalam situasi ketelanjangan dan seksual yang sebenarnya.”

Menggunakan AI untuk menghasilkan gambar anak di bawah umur yang dapat diidentifikasi dalam balutan bikini (atau bahkan mungkin telanjang) – meskipun jelas-jelas tidak etis – mungkin tidak ilegal berdasarkan undang-undang CSAM yang berlaku di AS, kata para ahli. Tepi. Meskipun demikian, gambar-gambar seperti gambar yang berisi air mani dapat melanggar undang-undang CSAM yang sudah ada dan Undang-Undang Take It Down — dan Franks menduga ini bukanlah pelanggaran terburuk yang pernah ada. “Kita dapat membayangkan bahwa apa pun yang menjadi berita di media arus utama, mungkin ada sejuta hal buruk yang juga ditimbulkan oleh orang-orang… Segala kemungkinan yang terpikirkan oleh Anda mungkin akan muncul,” kata Franks.

Namun terlepas dari undang-undang federal dan banyak undang-undang di tingkat negara bagian, para ahli mengatakan saat ini sulit untuk menegakkan larangan terhadap gambar seksual yang dihasilkan AI – dan bahkan lebih sulit lagi untuk menentukan tanggung jawab apa yang dapat ditanggung oleh platform. “Pada akhirnya terdapat undang-undang yang bertentangan, dan tidak ada preseden hukum untuk sebagian besar undang-undang tersebut,” kata Shael Norris, direktur eksekutif pendiri SafeBAE, sebuah organisasi yang berupaya mengakhiri kekerasan seksual. Tepi.

John Langford, seorang profesor hukum tamu klinis di Yale Law School dan penasihat di Protect Democracy, mengatakan bahwa larangan terhadap deepfake seksual masih jarang diuji di pengadilan. “Semua ini merupakan hal yang baru – kami baru saja mulai mengembangkan kasus hukum mengenai apa yang akan terjadi,” kata Langford. Tapi setidaknya ada tolak ukurnya: Untuk kreasi Grok itu Mengerjakan menggambarkan anak di bawah umur yang dapat diidentifikasi, kita sekarang memiliki “preseden [that] gambar anak sungguhan apa pun yang dihasilkan komputer dan menampilkan konten seksual eksplisit adalah ilegal,” kata Drew Davis, direktur inisiatif strategis SafeBAE.

Ada beberapa tuntutan federal saat ini karena membuat atau memiliki gambar anak-anak asli yang dimodifikasi dengan AI, dan beberapa lusin di tingkat negara bagian, kata Pfefferkorn. “Jika menyangkut apakah perusahaan itu sendiri yang bertanggung jawab, menurut saya, di situlah kita berada, dalam wilayah yang belum dipetakan,” kata Pfefferkorn.

Davis menambahkan bahwa kita “berhadapan dengan lanskap hukum yang rumit terkait dengan gambar anak di bawah umur yang dihasilkan oleh AI.” Hal ini sebagian disebabkan oleh masa tenggang untuk bagian “take it down” dari Take It Down Act, yang mengharuskan platform merespons konten tersebut, yang berlaku hingga bulan Mei.

Selain itu, Pasal 230 telah lama melindungi perusahaan dari tanggung jawab atas konten yang diposting orang lain. Namun ketika perusahaan beralih ke bot seperti Grok untuk memungkinkan pengguna membuat gambar mereka sendiri, tidak jelas tanggung jawab apa yang mereka tanggung. “Inilah sebabnya saya sangat tertarik untuk melihat apakah akan ada… penuntutan kreatif di sini,” kata Franks, sambil menambahkan, “Ini tentang apakah, berdasarkan pembuatan gambar-gambar ini, mereka telah melanggar ketentuan pidana atau tidak.”

Peringatannya, kata banyak ahli Tepiadalah bahwa hampir semua undang-undang pidana menyatakan bahwa pelaku harus memposting konten dengan pengetahuan bahwa konten tersebut akan menimbulkan kerugian. Langford dari Yale Law mengatakan bahwa bagian ini menimbulkan “pertanyaan yang sangat sulit tentang apakah Anda dapat meminta pertanggungjawaban Grok atau xAI.” Namun, ada pula yang mengatakan bahwa kepribadian dapat dikaitkan dengan perusahaan dalam situasi lain — mengapa tidak dalam situasi ini? Postingan Musk yang sering dan tanpa filter juga menawarkan bentuk wawasan yang tidak biasa.

Pfefferkorn yakin ini akan menjadi “tahun yang sangat penting dalam memerangi masalah ini” dan mengatakan bahwa dia tidak akan terkejut jika tuntutan hukum class action muncul.

Namun yang lebih rumit lagi, Musk dan X memiliki hubungan dekat dengan pemerintahan saat ini – Departemen Efisiensi Pemerintahan (DOGE) milik Musk yang sebelumnya sudah tidak ada lagi, pernah bekerja di dalam FTC itu sendiri, yaitu badan yang bertugas menegakkan Take It Down Act. Selain AS, pemerintahan Trump juga telah melakukannya menggunakan pembicaraan perdagangan untuk mencegah negara lain mengatur platform internet Amerika. Musk dan Trump secara terbuka berhubungan baik, dan negara mana pun yang berupaya menghukum X berpotensi menghadapi kemarahan pemerintah, selain kemungkinan ketidakpatuhan dari X sendiri.

Meski begitu, reaksi internasional semakin meningkat. Anggota pemerintah Perancis mengatakan mereka akan melakukannya menyelidiki masalah ini. Kementerian TI India dipesan xAI untuk menyampaikan laporan tentang cara mereka mencegah materi lebih lanjut yang “cabul, pornografi, vulgar, tidak senonoh, eksplisit secara seksual, pedofil, atau dilarang berdasarkan hukum.” Dan Komisi Komunikasi dan Multimedia pemerintah Malaysia dikatakan mereka telah “mencatat dengan sangat prihatin” keluhan mengenai penyalahgunaan AI pada X, khususnya “manipulasi digital terhadap gambar perempuan dan anak di bawah umur untuk menghasilkan konten yang tidak senonoh, sangat menyinggung, atau berbahaya.”

Grok terus-menerus keluar jalur dengan cara yang terkadang aneh dan sering kali bersifat seksual perpecahan antisemitisme untuk mengizinkan orang membuat gambar sebagian telanjang Taylor Swift. Para ahli dari luar telah menyatakan keprihatinannya mengenai hal ini upaya keselamatan yang sembrono – setelah Grok 4 dirilis pada Juli 2025, dibutuhkan waktu lebih dari sebulan bagi perusahaan untuk merilis kartu model yang menguraikan hal-hal seperti fitur keselamatan dan hasil pengujian, yang biasanya dipandang sebagai hal minimum di industri.

Tanpa tekanan dari luar, masalah deepfake yang dialami Grok sepertinya tidak akan berakhir dalam waktu dekat. Beberapa gambar yang paling mengerikan tampaknya dihapus setelah kejadian tersebut. Namun pagar pembatas yang lebih besar, yang dirinci di Grok 4.1 kartu model dengan penyebutan singkat tentang CSAM, jelas tidak berjalan sesuai rencana. Dan komentar Musk baru-baru ini menunjukkan bahwa dia tidak melihat banyak kesalahan dengan keadaan Grok saat ini. Salah satu hal yang paling membingungkan dalam keseluruhan kisah ini, kata Pfefferkorn, bukanlah bahwa platform AI dapat dibujuk untuk menciptakan potensi CSAM – namun “sejauh ini kita belum melihat banyak kekhawatiran mengenai apakah mereka akan mendekati garis tersebut.”