xAI menggugat Jaksa Agung Minnesota Keith Ellison atas a undang-undang disahkan pada bulan Mei yang secara luas menargetkan aplikasi “nudifikasi”, mengklaim hal itu ketentuan hukuman undang-undang meninggalkan perusahaan dengan “tidak ada pilihan praktis selain membatasi fitur pengeditan gambar Grok Imagine dengan berbagai cara.” Undang-undang tersebut, menurut perusahaan, melanggar Amandemen Pertama.
Pada bulan Januari lalu, Grok membanjiri internet jutaan deepfake yang eksplisit secara seksualtermasuk gambar anak di bawah umur. Di era lain, a bencana moderasi konten sebesar ini akan membuat CEO mematikan produk tersebut dalam hitungan jam. Namun di dunia baru Elon Musk yang berani, chatbot dibiarkan menyebarkan gambar-gambar pornografi selama berhari-hari. “Grok kini menduduki peringkat #1 di App Store di berbagai negara!” dia memposting di tengah epidemi deepfake.
Ada yang tidak beres. Apakah undang-undang tersebut tidak mampu membatasi ledakan aksi telanjang tanpa persetujuan? Pemerintah di seluruh dunia menanyakan pertanyaan serupa. UE meluncurkan penyelidikanseperti yang dilakukan Inggris Raya. Ada reaksi balik dari Prancis, India, dan Malaysia pejabat pemerintah. Meskipun pemerintah federal Amerika tampak lebih tenang dalam masalah ini, negara-negara bagian biru justru menyukainya Kalifornia dan Minnesota mengambil tindakan yang lebih keras.
Di Minnesota, badan legislatif negara bagian disahkannya suatu undang-undang menargetkan teknologi “nudifikasi”, melarang pemilik situs mengizinkan orang untuk “mengakses, mengunduh, atau menggunakan” perangkat lunak tersebut. (Undang-undang menetapkan ketentuan khusus untuk teknologi yang “membutuhkan keahlian teknis pengguna untuk melakukan nudify pada gambar atau video” — sehingga pelecehan seksual melalui Photoshop sudah jelas.) Undang-undang ini menciptakan tuntutan perdata bagi individu yang mungkin ingin menuntut, dan juga memberi wewenang kepada jaksa agung negara bagian untuk meminta denda hingga $500.000 per pelanggaran.
Undang-undang tersebut, yang disebut-sebut sebagai undang-undang pertama, ditandatangani oleh Gubernur Tim Walz pada bulan Mei, dan dimaksudkan untuk mulai berlaku pada tanggal 1 Agustus. Masih menjadi misteri mengapa xAI tidak mengajukan gugatan dalam tiga bulan terakhir, dan malah menggugat hanya beberapa hari sebelum undang-undang tersebut berlaku. Ini adalah jenis reaksi tertunda yang membuat Anda bertanya-tanya apakah seseorang di xAI tiba-tiba menyadari minggu lalu bahwa mereka akan melanggar undang-undang yang cukup menghukum, dan kemudian menghabiskan beberapa hari berikutnya mencoba mencari firma hukum yang bersedia bekerja lembur atas nama generator deepfake nonkonsensual. Kita hanya bisa berharap bahwa para pengacara yang terlibat melakukan pembunuhan mutlak.
Itu keluhan cukup masuk akal, semua hal dipertimbangkan. Undang-undang Minnesota terlalu luas, menurutnya, karena undang-undang tersebut membebankan tanggung jawab bahkan untuk gambar yang dibuat atas dasar suka sama suka, atau gambar orang dewasa yang hanya bersifat seksi, atau gambar yang memiliki kesan “lucu” atau “artistik”. Amandemen Pertama menyatakan bahwa undang-undang harus dibuat secara sempit untuk menghindari pelarangan komentar sosial dan politik seperti kesalahan mendalam gulat sumo Chris Christie dan JB Pritzker ini.
“Kewajiban juga melekat… bahkan jika perusahaan telah menerapkan kontrol teknis yang hampir sempurna dan canggih untuk mencegah pembuatan gambar telanjang,” tuntutan hukum tersebut menyatakan dengan tingkat kesungguhan yang luar biasa. Di tempat lain, mereka juga mengeluhkan tanggung jawab ketat yang melekat pada perilaku penggunanya yang tidak diberi sanksi – “gambar dan video yang mungkin dibuat oleh pengguna dengan melanggar persyaratan layanan Grok, yang hanya mungkin dilakukan dengan menghindari kontrol canggih dan canggih yang diterapkan oleh xAI.”
“xAI menganggap serius pelanggaran terhadap persyaratan layanannya,” kata gugatan tersebut, menunjukkan bahwa perusahaan tersebut sejak itu menggugat salah satu penggunanya karena menggunakan Grok untuk menghasilkan CSAM. (Gugatan terhadap tersangka pembuat CSAM diajukan lebih dari dua bulan setelah undang-undang Minnesota disahkan.)
Pengacara xAI mungkin ada benarnya, tapi gugatan mereka terlihat seperti surat dari planet lain. Mereka mengklaim, misalnya, bahwa undang-undang Minnesota dan federal yang ada (seperti MENGAMBILNYA UU) sudah mencegah penyebaran deepfake telanjang tanpa persetujuan. Undang-undang ini, menurut para pengacara, ditulis secara konstitusional – sedangkan undang-undang nudifikasi tidak demikian. Dan seperti halnya undang-undang di Amerika yang menargetkan pidato berdasarkan isinya, undang-undang ini harus dibuat dengan cara yang tidak membatasi dan tetap memperhatikan kepentingan pemerintah yang “mewajibkan”.
Tapi tentu saja itulah inti masalah deepfake-ocalypse Grok. Jika undang-undang yang ada mampu melakukan hal tersebut, maka sepanjang bulan Januari 2026 tidak akan dipenuhi dengan pornografi non-konsensual. Ketika Pusat Penanggulangan Kebencian Digital menganalisis periode 11 hari dari 29 Desember hingga 8 Januari, ditemukan bahwa Grok telah menghasilkan sekitar 3 juta gambar seksual. Sekitar 23.000 gambar tersebut menggambarkan anak-anak. “Ini merupakan angka yang mengejutkan jika terdapat satu gambar seksual seorang anak setiap 41 detik,” tulis laporan tersebut.
Banyak dari gambar-gambar tersebut mungkin tidak benar-benar ilegal. Misalnya, tidak jelas apakah deepfake yang menjurus ke anak di bawah umur berbikini adalah CSAM, meskipun seorang ahli sebelumnya mengatakan Tepi bahwa gambar lain yang dihasilkan Grok – seperti gambar yang memperlihatkan wajah anak di bawah umur yang berlumuran air mani – mungkin melanggar hukum yang ada.
Apa pun yang terjadi, fakta bahwa perusahaan bernilai miliaran dolar membiarkan Grok beroperasi tanpa pengawasan selama itu menunjukkan bahwa undang-undang tersebut tidak memotivasi pihak-pihak terkait untuk berperilaku benar. Mungkin Minnesota HF 1606 adalah hukum yang buruk. Namun apa artinya jika hukum yang “baik” tidak berjalan?
Ikuti topik dan penulis dari cerita ini untuk melihat lebih banyak hal serupa di feed beranda hasil personalisasi Anda dan untuk menerima pembaruan email.
