Apple dan Google telah diperintahkan untuk menghapus aplikasi yang bisa “nudify” atau “menanggalkan pakaian” orang-orang dan diberitahu bahwa mereka harus berhenti mengambil keuntungan dari teknologi berbahaya, menurut surat gencatan dan penghentian yang dikirim ke perusahaan yang dilihat oleh WIRED.
Pada hari Kamis, pengacara kota San Francisco David Chiu mengirimkan pemberitahuan hukum kepada Apple dan Google menuntut mereka menghapus 13 aplikasi pertukaran wajah dari toko aplikasi mereka, yang memungkinkan pengguna membuat gambar telanjang non-konsensual yang dihasilkan oleh AI. Surat-surat tersebut menyatakan bahwa raksasa Silicon Valley harus berhenti “membantu dan bersekongkol” dengan penjualan gambar-gambar deepfake yang eksplisit dan “memutuskan” hubungan bisnis dengan para pengembang aplikasi.
“Membuat gambar intim tanpa persetujuan adalah ilegal, berbahaya, dan sama sekali tidak dapat diterima,” kata Chiu kepada WIRED. Jaksa kota, yang kantornya sebelumnya mengambil tindakan hukum terhadap 16 situs deepfake populer, mengatakan Apple dan Google kemungkinan besar “menghasilkan biaya jutaan dolar” dari aplikasi yang menawarkan nudifikasi, dan mereka harus meningkatkan proses moderasi agar aplikasi tersebut tidak muncul di toko mereka.
“Perusahaan-perusahaan ini mempunyai tanggung jawab untuk memastikan bahwa aplikasi di platform mereka tidak memfasilitasi pelecehan seksual,” kata Chiu. Surat hukum kota tersebut mengatakan bahwa undang-undang California melarang layanan pendukung yang menciptakan pornografi deepfake. Aplikasi tersebut menggunakan pembayaran dalam aplikasi, yang dipotong oleh perusahaan teknologi, kata surat itu. “Fakta bahwa beberapa perusahaan teknologi terbesar dan paling mapan di dunia memfasilitasi hal ini harus dihentikan.”
Para peneliti punya berulang kali ditemukan Dan dilaporkan aplikasi di App Store Apple dan Google Play Store yang memungkinkan orang menghasilkan gambar seksual menggunakan AI—termasuk beberapa aplikasi yang diberi peringkat sebagai cocok digunakan oleh anak-anak. Ketika undang-undang baru Dan larangan bertujuan untuk mengatasi momok deepfake eksplisit yang dilakukan secara online, teknologi, dan media sosial yang secara konsisten diarahkan oleh perusahaan jutaan orang menuju teknologi yang berbahaya.
Keduanya Apel Dan Google memiliki kebijakan pengembang yang melarang pornografi, penyalahgunaan, dan pelecehan di platform mereka. Mereka sebelumnya telah menghapus lusinan aplikasi nudify dan deepfake, berdasarkan laporan para peneliti dan jurnalis.
Juru bicara Google Dan Jackson mengatakan kepada WIRED bahwa perusahaan telah menghapus “ratusan” aplikasi dengan fitur nudifikasi karena pelanggaran kebijakan, termasuk lima aplikasi Android yang ditandai oleh kantor Chiu, di antara langkah-langkah lain untuk membatasi akses ke aplikasi tersebut.
“Google Play tidak mengizinkan aplikasi yang berisi konten seksual, dan kami terus mengambil langkah proaktif untuk mendeteksi dan menghapus aplikasi dengan konten berbahaya,” kata Jackson dalam sebuah pernyataan. “Ketika pelanggaran dilaporkan kepada kami, kami menyelidiki dan mengambil tindakan cepat, yang dalam kasus aplikasi ini termasuk menangguhkan ratusan aplikasi yang melanggar dan membatasi istilah pencarian terkait seperti ‘nudify’ di toko kami.”
Apple memberi tahu WIRED bahwa pengembang pada akhirnya bertanggung jawab atas konten aplikasi mereka, dan mereka yang gagal mengikuti aturan akan menghapus aplikasinya. Perusahaan juga mengatakan pengguna bisa laporkan aplikasi yang berpotensi bermasalah diri. Adam Dema, juru bicara Apple, mengatakan kepada WIRED dalam sebuah pernyataan bahwa perusahaan telah menghapus tiga aplikasi yang ditandai oleh pengacara kota San Francisco dan “sedang dalam proses menghentikan akun pengembang mereka dari program kami.” Empat pengembang lainnya harus “mengatasi pelanggaran kebijakan atau berisiko dihapus juga,” kata perusahaan tersebut.
“App Store dirancang untuk menjadi tempat yang aman dan tepercaya bagi pengguna, dan kami selalu melarang keras aplikasi yang dirancang untuk menghasilkan, mendistribusikan, atau mengonsumsi pornografi,” kata Dema dalam pernyataannya. “Aplikasi ‘Nudifikasi’ melanggar Pedoman Peninjauan Aplikasi kami dan kami telah secara proaktif menolak banyak dari aplikasi ini dan menghapus banyak aplikasi lainnya, termasuk ketika pengguna telah menandai aplikasi tersebut melalui alat pelaporan kami.”
Selama lima tahun terakhir, teknologi “nudifikasi” deepfake yang sangat menguntungkan telah muncul secara online—paling transparan melalui xAI. Grok digunakan untuk menghasilkan jutaan gambar seksual pada bulan Januari. Sejumlah aplikasi, situs web, dan bot memungkinkan orang (kebanyakan laki-laki) mengunggah gambar orang (kebanyakan perempuan dan anak perempuan) dan “melepaskan” pakaian atau pakaian secara digital. tempatkan mereka ke dalam skenario seksual yang gamblang.
Seringkali yang diperlukan untuk membuat deepfake seksual hanyalah foto referensi dan beberapa klik, dengan beberapa hasil tersedia dalam hitungan detik. Gambar dan video telah menjadi lebih realistis seiring dengan kemajuan teknologi AI generatif yang mendasarinya, dengan layanan yang memberikan beberapa hasil secara gratis atau mengenakan sedikit biaya untuk membuat konten berbahaya. Pelaporan sebelumnya oleh WIRED dan Indicator Media telah dilakukan mengungkap insiden di setidaknya 90 sekolah tempat gambar pelecehan seksual palsu terhadap anak di bawah umur dibuat.
“Gambar-gambar ini digunakan untuk menindas, mempermalukan, dan mengancam perempuan dan anak perempuan,” kata Chiu. “Industri ini mempunyai dampak yang sangat buruk terhadap reputasi, kesehatan mental, dan hilangnya otonomi seseorang. Ada banyak korban yang melakukan bunuh diri.”
Ke-13 aplikasi yang diselidiki oleh Kantor Kejaksaan Kota—delapan di App Store dan lima di Play Store—secara luas mengiklankan aplikasi tersebut sebagai alat “tukar wajah”, dan kemampuannya membuat deepfake seksual tersedia begitu orang menggunakannya. Situs web salah satu aplikasi, yang memiliki lebih dari 1 juta unduhan, menampilkan lebih dari selusin gaya gambar AI berbeda yang akan dihasilkannya, termasuk “bikini queen curvy”, “calm busty”, dan “cininematic intimacy”. Banyak gaya yang menampilkan gambaran seksual wanita di samping deskripsinya. Halaman beranda aplikasi lain yang ditargetkan mengklaim menghasilkan video “gratis dan tanpa sensor”. WIRED tidak memberi nama pada aplikasi tersebut untuk menghindari mendorong orang ke arah aplikasi tersebut.
Masalah ini tidak akan mengejutkan Apple dan Google. Selama setahun terakhir, banyak laporan telah mengidentifikasi aplikasi di platform perusahaan yang memungkinkan orang membuat gambar atau video telanjang tanpa persetujuan. Di dalam Januari Dan April tahun ini, Proyek Transparansi Teknologi, sebuah kelompok pengawas independen, menemukan sekitar 100 aplikasi di App Store dan Play Store, serta beberapa iklan untuk menghilangkan teknologi di platform tersebut. (Jackson dari Google mengatakan bahwa perusahaannya telah menghapus sebagian besar aplikasi yang diidentifikasi oleh TTP.) Aplikasi yang diidentifikasi oleh penelitian tersebut diperkirakan telah diunduh secara kolektif sekitar 480 juta kali dan mungkin menghasilkan pendapatan gabungan sekitar $120 juta.
“Kami tidak berpikir setelah laporan pertama bahwa kami akan melihat hal ini sebagai masalah lagi—dan keadaan ini sama buruknya, bahkan lebih buruk lagi, setelah laporan kedua,” kata Katie Paul, direktur TTP. “Apple dan Google memberikan banyak janji dalam pemasaran mereka tentang seberapa tepercaya dan aman toko aplikasi mereka. Dan kenyataannya tidak demikian.”
Sementara itu, dalam makalah penelitian pracetak yang diterbitkan pada bulan Mei, para peneliti dari Cornell University dan Georgetown University mengidentifikasi 420 aplikasi yang menawarkan kemampuan pertukaran wajah secara umum di toko aplikasi Google dan Apple. Mereka menguji 155 untuk melihat apakah mereka dapat digunakan untuk membuat pertukaran wajah dengan gambar telanjang; dalam 70 persen kasus, hal ini mungkin terjadi, karena aplikasinya tidak menyertakan langkah-langkah keamanan untuk mencegah hal ini.
“Tidak satu pun dari aplikasi ini yang diiklankan sebagai aplikasi nudifikasi,” itu kata penelitian. “Hal ini menunjukkan bahwa aplikasi pertukaran wajah, dan banyak bentuk aplikasi pembuatan dan pengeditan gambar AI lainnya, secara efektif bersifat ‘penggunaan ganda’: aplikasi yang menghindari moderasi konten oleh platform karena dianggap tidak berbahaya, namun memiliki kemampuan untuk membuat konten berbahaya.”
Chiu, pengacara kota San Francisco, mengatakan kantornya akan terus menyelidiki masalah ini setelah “benar-benar merasa ngeri” dengan bahaya dan skala teknologi tersebut. “Harapan saya adalah Apple dan Google segera menghapus aplikasi-aplikasi ini dan memperkuat sistem penyaringan mereka untuk memastikan aplikasi seperti ini tidak pernah masuk ke platform mereka di masa depan,” katanya. “Kami berharap perusahaan-perusahaan ini akan melakukan hal yang benar—tetapi jika tidak, kami harus mempertimbangkan semua opsi hukum yang kami ambil.”
Diperbarui 16:10 ET, 17 Juli 2026: Menambahkan komentar dari juru bicara Apple.
