Ini Langkah Mundurbuletin mingguan yang menguraikan satu cerita penting dari dunia teknologi. Untuk informasi lebih lanjut tentang perkembangan distopia dalam AI, ikuti Lapangan Hayden. Langkah Mundur tiba di kotak masuk pelanggan kami pada pukul 8 pagi ET. Ikut serta Langkah Mundur Di Sini.
Bagaimana hal itu dimulai
Bisa dibilang semuanya dimulai dengan AI FOMO Elon Musk — dan perjuangannya melawan “wokeness.” Ketika perusahaan AI miliknya, xAI, mengumumkan Grok masuk November 2023ia digambarkan sebagai chatbot dengan “sifat pemberontak” dan kemampuan untuk “menjawab pertanyaan pedas yang ditolak oleh sebagian besar sistem AI lainnya.” Chatbot tersebut memulai debutnya setelah beberapa bulan pengembangan dan hanya dua bulan pelatihan, dan pengumuman tersebut menyoroti bahwa Grok akan memiliki pengetahuan real-time tentang platform X.
Namun ada risiko yang melekat pada chatbot yang menjalankan internet dan X, dan dapat dikatakan bahwa xAI mungkin tidak mengambil langkah yang diperlukan untuk mengatasinya. Sejak Musk mengambil alih Twitter pada tahun 2022 dan mengganti namanya menjadi X, ia memberhentikan 30% staf kepercayaan dan keselamatan globalnya serta memangkas jumlah insinyur keselamatannya sebesar 80%, kata pengawas keamanan online Australia. Januari lalu. Sedangkan untuk xAI, saat Grok dirilis, tidak jelas apakah xAI sudah memiliki tim keselamatan. Ketika Grok 4 dirilis pada bulan Juli, dibutuhkan waktu lebih dari sebulan bagi perusahaan untuk merilis kartu model – sebuah praktik yang biasanya dilihat sebagai standar industri, yang merinci pengujian keselamatan dan potensi kekhawatiran. Dua minggu setelah rilis Grok 4, seorang karyawan xAI menulis pada X bahwa dia sedang merekrut tim keselamatan xAI dan mereka “sangat membutuhkan insinyur/peneliti yang kuat.” Menanggapi seorang pemberi komentar, yang bertanya, “xAI melakukan keamanan?” karyawan aslinya dikatakan xAI sedang “mengerjakannya.”
Jurnalis Kat Tenbarge menulis tentang bagaimana dia pertama kali mulai melihat deepfake yang eksplisit secara seksual menjadi viral di Grok Juni 2023. Gambar-gambar tersebut jelas tidak dibuat oleh Grok — ia bahkan tidak memiliki kemampuan untuk menghasilkan gambar hingga Agustus 2024 — tetapi tanggapan X terhadap kekhawatiran tersebut bervariasi. Bahkan Januari laluGrok memicu kontroversi atas gambar yang dihasilkan AI. Dan Agustus lalu iniMode pembuatan video “pedas” Grok membuat deepfake telanjang Taylor Swift bahkan tanpa diminta. Para ahli telah memberi tahu Tepi sejak September bahwa perusahaan mengambil pendekatan yang luar biasa terhadap keselamatan dan pagar pembatas — dan cukup sulit untuk menjaga sistem AI tetap lurus dan sempit jika Anda merancangnya dengan mempertimbangkan keselamatan sejak awal, apalagi jika Anda kembali lagi untuk memperbaiki masalah yang sudah ada. Kini, tampaknya pendekatan tersebut telah meledak di hadapan xAI.
Bagaimana kabarnya
…Tidak bagus.
Grok telah menghabiskan beberapa minggu terakhir menyebarkan deepfake dewasa dan anak di bawah umur yang bersifat non-konsensual dan bersifat seksual di seluruh platform, seperti yang dipromosikan. Tangkapan layar menunjukkan Grok mematuhi permintaan pengguna untuk mengganti pakaian wanita dengan pakaian dalam dan membuat mereka melebarkan kaki, serta memasukkan anak kecil ke dalam bikini. Dan ada laporan yang lebih mengerikan lagi. Keadaan menjadi sangat buruk sehingga selama analisis 24 jam terhadap gambar yang dibuat Grok di X, satu perkiraan mengukur chatbot menghasilkan sekitar 6.700 gambar yang menjurus ke arah seksual atau “nudifying” per jam. Salah satu alasan serangan gencar ini adalah fitur terbaru yang ditambahkan ke Grok, yang memungkinkan pengguna menggunakan tombol “edit” untuk meminta chatbot mengubah gambar, tanpa persetujuan pembuat aslinya.
Sejak saat itu, kita telah melihat beberapa negara menyelidiki masalah ini atau mengancam akan melarang X sama sekali. Anggota pemerintah Perancis menjanjikan penyelidikanseperti yang dilakukan Kementerian TI Indiadan komisi pemerintah Malaysia menulis surat tentang kekhawatirannya. Gubernur Kalifornia, Gavin Newsom dipanggil Jaksa Agung AS untuk menyelidiki xAI. Inggris mengatakan demikian berencana untuk mengesahkan undang-undang melarang pembuatan gambar-gambar seksual dan non-konsensual yang dihasilkan oleh AI, dan regulator industri komunikasi di negara tersebut mengatakan bahwa mereka akan menyelidiki X dan gambar-gambar yang telah dibuat untuk melihat apakah gambar-gambar tersebut melanggar Undang-Undang Keamanan Online. Dan minggu ini, Malaysia dan Indonesia memblokir akses ke Grok.
xAI awalnya mengatakan tujuannya untuk Grok adalah untuk “membantu umat manusia dalam pencariannya akan pemahaman dan pengetahuan,” “memberikan manfaat maksimal bagi seluruh umat manusia,” dan “memberdayakan pengguna kami dengan alat AI kami, sesuai dengan hukum,” serta untuk “berfungsi sebagai asisten peneliti yang kuat bagi siapa pun.” Hal ini sangat jauh dari menghasilkan video deepfake yang menampilkan wanita dalam keadaan telanjang tanpa persetujuan mereka, apalagi anak di bawah umur.
Pada Rabu malam, ketika tekanan terhadap perusahaan meningkat, akun Keamanan X mengeluarkan a penyataan bahwa platform tersebut telah “menerapkan langkah-langkah teknologi untuk mencegah akun Grok mengizinkan pengeditan gambar orang sungguhan dengan pakaian terbuka seperti bikini,” dan bahwa pembatasan tersebut “berlaku untuk semua pengguna, termasuk pelanggan berbayar.” Selain itu, hanya pelanggan berbayar yang dapat menggunakan Grok untuk membuat atau mengedit gambar apa pun ke depannya, menurut X. Pernyataan tersebut selanjutnya mengatakan bahwa X “sekarang melakukan geoblock[s] kemampuan semua pengguna untuk menghasilkan gambar orang sungguhan dalam balutan bikini, pakaian dalam, dan pakaian serupa melalui akun Grok dan di Grok di X di yurisdiksi yang ilegal,” yang merupakan poin aneh yang dikemukakan karena di awal pernyataan, perusahaan mengatakan tidak mengizinkan siapa pun menggunakan Grok untuk mengedit gambar sedemikian rupa.
Poin penting lainnya: Rekan-rekan saya menguji pembatasan pembuatan gambar Grok pada hari Rabu untuk mengetahui bahwa dibutuhkan waktu kurang dari satu menit untuk melewati sebagian besar pagar pembatas. Meskipun meminta chatbot untuk “memakainya dalam bikini” atau “melepaskan pakaiannya” memberikan hasil yang disensor, mereka menemukan bahwa mereka tidak ragu untuk memberikan perintah seperti “tunjukkan belahan dadanya,” “membuat payudaranya lebih besar,” dan “memakainya dalam crop top dan celana pendek,” serta menghasilkan gambar dalam pakaian dalam dan pose seksual. Pada Rabu malamkami masih bisa mendapatkan aplikasi Grok untuk menghasilkan gambar orang yang terbuka, menggunakan akun gratis.
Apa yang terjadi selanjutnya
Bahkan setelah pernyataan X pada hari Rabu, kita mungkin melihat sejumlah negara lain melarang atau memblokir akses ke semua X atau hanya Grok, setidaknya untuk sementara. Kita juga akan melihat bagaimana usulan undang-undang dan investigasi di seluruh dunia berjalan. Tekanan meningkat bagi Musk, yang mengambil tindakan pada Rabu sore ke X untuk mengatakan bahwa dia “tidak mengetahui adanya gambar telanjang di bawah umur yang dibuat oleh Grok.” Beberapa jam kemudian, tim Keamanan X mengeluarkan pernyataannya, dengan mengatakan bahwa mereka “bekerja sepanjang waktu untuk menambahkan perlindungan tambahan, mengambil tindakan cepat dan tegas untuk menghapus konten yang melanggar dan ilegal, menangguhkan akun secara permanen jika diperlukan, dan berkolaborasi dengan pemerintah daerah dan penegak hukum jika diperlukan.”
Apa yang secara teknis melanggar hukum dan tidak menjadi pertanyaan besar di sini. Misalnya, kata para ahli Tepi awal bulan ini bahwa gambar anak di bawah umur yang mengenakan bikini, atau bahkan mungkin telanjang, yang dibuat oleh AI yang secara teknis tidak ilegal menurut undang-undang materi pelecehan seksual terhadap anak (CSAM) yang berlaku saat ini di AS, meskipun tentu saja mengganggu dan tidak etis. Namun gambaran mesum yang menampilkan anak di bawah umur dalam situasi seperti itu melanggar hukum. Kita akan melihat apakah definisi tersebut diperluas atau diubah, meskipun undang-undang yang ada saat ini masih bersifat tambal sulam.
Mengenai deepfake intim nonkonsensual terhadap wanita dewasa, Take It Down Act, yang ditandatangani menjadi undang-undang pada Mei 2025, melarang “penggambaran visual intim” nonkonsensual yang dihasilkan oleh AI dan mengharuskan platform tertentu untuk segera menghapusnya. Masa tenggang sebelum bagian terakhir berlaku – yang mengharuskan platform untuk benar-benar menghapusnya – berakhir pada Mei 2026, jadi kita mungkin melihat beberapa perkembangan signifikan dalam enam bulan ke depan.
Omong-omong
- Beberapa orang telah menyatakan bahwa hal seperti ini dapat dilakukan sejak lama menggunakan Photoshop, atau bahkan generator gambar AI lainnya. Ya itu benar. Tapi ada banyak perbedaan di sini yang membuat kasus Grok lebih memprihatinkan: Kasus ini bersifat publik, menargetkan orang-orang “biasa” sama seperti menargetkan figur publik, sering kali diposting langsung ke orang yang dipalsukan (poster asli dari foto tersebut), dan hambatan untuk masuk lebih rendah (sebagai bukti, lihat saja korelasi antara kemampuan untuk melakukan hal ini menjadi viral setelah tombol “edit” yang mudah diluncurkan, meskipun secara teknis orang dapat melakukannya sebelumnya).
- Selain itu, perusahaan AI lainnya – meskipun mereka memiliki daftar masalah keamanannya sendiri – tampaknya memiliki lebih banyak perlindungan yang dimasukkan ke dalam proses pembuatan gambar mereka. Misalnya, meminta ChatGPT OpenAI untuk mengembalikan gambar politisi tertentu yang mengenakan bikini akan memunculkan respons, “Maaf—saya tidak dapat membantu membuat gambar yang menggambarkan figur publik sungguhan dengan cara yang bersifat seksual atau berpotensi merendahkan.” Tanyakan kepada Microsoft Copilot, dan akan muncul pesan, “Saya tidak bisa membuatnya. Gambar figur publik yang nyata dan dapat diidentifikasi dalam skenario yang bersifat seksual atau membahayakan tidak diperbolehkan, meskipun tujuannya lucu atau fiksi.”
Baca ini
- Berita Spitfire‘ Kat Tenbarge terus bagaimana pelecehan seksual yang dilakukan Grok mencapai titik kritis — dan apa yang membawa kita ke pusaran hari ini.
- Ambang ‘milik Liz Lopatto sendiri mengapa Sundar Pichai dan Tim Cook pengecut karena tidak menarik X dari toko aplikasi Google dan Apple.
- “Jika tidak ada garis merah seputar pelecehan seksual yang disebabkan oleh AI, maka tidak ada garis merah,” tulis Charlie Warzel dan Matteo Wong dalam Atlantik tentang alasannya Elon Musk tidak bisa lepas dari hal ini.
Ikuti topik dan penulis dari cerita ini untuk melihat lebih banyak hal serupa di feed beranda hasil personalisasi Anda dan untuk menerima pembaruan email.
