Beberapa pengguna chatbot populer menghasilkan bikini palsu menggunakan foto wanita berpakaian lengkap sebagai bahan sumbernya. Sebagian besar gambar palsu ini tampaknya dibuat tanpa persetujuan wanita di dalam foto tersebut. Beberapa dari pengguna yang sama juga menawarkan saran kepada orang lain tentang cara menggunakan alat AI generatif untuk menanggalkan pakaian wanita di foto dan membuat mereka tampak seperti mengenakan bikini.
Di bawah yang sekarang dihapus reddit postingan berjudul “pembuatan gambar gemini nsfw sangat mudah,” pengguna bertukar tips tentang cara mendapatkannya Geminimodel AI generatif Google, untuk membuat gambar wanita dengan pakaian terbuka. Banyak gambar di thread ini seluruhnya merupakan AI, tetapi ada satu permintaan yang menonjol.
Seorang pengguna memposting foto seorang wanita yang mengenakan sari India, meminta seseorang untuk “melepaskan” pakaiannya dan “mengenakan bikini”. Orang lain membalas dengan gambar deepfake untuk memenuhi permintaan tersebut. Setelah WIRED memberi tahu Reddit tentang postingan ini dan meminta komentar dari perusahaan tersebut, tim keamanan Reddit menghapus permintaan tersebut dan deepfake AI.
“Peraturan Reddit di seluruh situs melarang media intim nonkonsensual, termasuk perilaku yang dipermasalahkan,” kata seorang juru bicara. Subreddit tempat diskusi ini terjadi, r/ChatGPTJailbreak, memiliki lebih dari 200.000 pengikut sebelum Reddit melarangnya di bawah platform “jangan merusak situsnya” aturan.
Sebagai AI generatif alat yang memudahkan untuk membuat gambar yang realistis namun gambar palsu terus berkembang biak, pengguna alat tersebut terus melecehkan perempuan dengan gambar deepfake yang tidak konsensual. Jutaan orang telah berkunjung situs web “nudify” yang berbahayadirancang bagi pengguna untuk mengunggah foto asli seseorang dan meminta agar mereka menanggalkan pakaiannya menggunakan AI generatif.
Dengan »Grok AI sebagai pengecualian, sebagian besar chatbot arus utama biasanya tidak mengizinkan pembuatan gambar NSFW dalam keluaran AI. Bot-bot ini, termasuk Gemini dari Google dan ChatGPT OpenAI, juga dilengkapi dengan pagar pembatas yang berupaya memblokir generasi berbahaya.
Pada bulan November, Google merilis Nano Pisang Promodel pencitraan baru yang unggul dalam menyempurnakan foto yang sudah ada dan menghasilkan gambar orang yang hiperrealistis. OpenAI merespons minggu lalu dengan model pencitraannya yang diperbarui, Gambar ObrolanGPT.
Seiring dengan kemajuan alat-alat ini, kemiripan mungkin menjadi lebih realistis ketika pengguna mampu menumbangkan pagar pembatas.
Dalam thread Reddit terpisah tentang menghasilkan gambar NSFW, seorang pengguna meminta rekomendasi tentang cara menghindari pagar pembatas saat menyesuaikan pakaian seseorang untuk membuat rok subjek tampak lebih ketat. Dalam pengujian terbatas WIRED untuk mengonfirmasi bahwa teknik ini berhasil pada Gemini dan ChatGPT, kami mampu mengubah gambar wanita berpakaian lengkap menjadi bikini deepfake menggunakan perintah dasar yang ditulis dalam bahasa Inggris sederhana.
Ketika ditanya tentang pengguna yang membuat bikini deepfake menggunakan Gemini, juru bicara Google mengatakan perusahaan tersebut memiliki “kebijakan jelas yang melarang penggunaan [its] Alat AI untuk menghasilkan konten seksual eksplisit.” Juru bicara tersebut mengklaim bahwa alat Google terus ditingkatkan dalam “mencerminkan” apa yang tercantum dalam kontennya. kebijakan AI.
Menanggapi permintaan komentar WIRED tentang kemampuan pengguna membuat bikini deepfake dengan ChatGPT, juru bicara OpenAI mengklaim perusahaan tersebut melonggarkan beberapa batasan ChatGPT tahun ini di sekitar tubuh orang dewasa dalam situasi non-seksual. Juru bicara itu juga menyoroti Kebijakan penggunaan OpenAImenyatakan bahwa pengguna ChatGPT dilarang mengubah kemiripan orang lain tanpa persetujuan dan bahwa perusahaan mengambil tindakan terhadap pengguna yang membuat deepfake eksplisit, termasuk pemblokiran akun.
Diskusi online tentang menghasilkan gambaran NSFW tentang perempuan tetap aktif. Bulan ini, seorang pengguna di subreddit r/GeminiAI menawarkan instruksi kepada pengguna lain tentang cara mengganti pakaian wanita di foto menjadi pakaian renang bikini. (Reddit menghapus komentar ini ketika kami menunjukkannya kepada mereka.)
Corynne McSherry, direktur hukum di Yayasan Perbatasan Elektronikmelihat “gambar yang mengandung pelecehan seksual” sebagai salah satu risiko utama pembuat gambar AI.
Dia menyebutkan bahwa alat gambar ini dapat digunakan untuk tujuan lain di luar deepfake dan sangat penting untuk memfokuskan penggunaan alat tersebut—serta “meminta pertanggungjawaban masyarakat dan perusahaan” ketika potensi kerugian terjadi.
