Gambar AI startup generator meninggalkan lebih dari 1 juta gambar dan video yang dibuat dengan sistemnya terbuka dan dapat diakses oleh siapa saja secara online, menurut penelitian baru yang ditinjau oleh WIRED. “Sebagian besar” gambar tersebut melibatkan ketelanjangan dan “menggambarkan konten dewasa,” menurut peneliti yang mengungkap kumpulan data yang terekspos, dengan beberapa di antaranya tampak menggambarkan anak-anak atau wajah anak-anak yang ditukar dengan tubuh orang dewasa telanjang yang dihasilkan oleh AI.
Beberapa situs web—termasuk MagicEdit dan DreamPal—tampaknya menggunakan database tidak aman yang sama, kata peneliti keamanan Jeremiah Fowler, yang menemukan kelemahan keamanan pada bulan Oktober. Pada saat itu, kata Fowler, sekitar 10.000 gambar baru ditambahkan ke database setiap hari. Menunjukkan bagaimana orang mungkin menggunakan alat pembuatan dan pengeditan gambar, gambar-gambar ini menyertakan foto-foto “yang tidak diubah” dari orang-orang nyata yang mungkin “tanpa persetujuan”telanjang,” atau wajah mereka ditukar dengan tubuh telanjang lainnya.
“Masalah sebenarnya hanyalah orang-orang yang tidak bersalah, dan terutama orang-orang di bawah umur, yang gambarnya digunakan tanpa persetujuan mereka untuk membuat konten seksual,” kata Fowler, seorang pemburu database yang terekspos, yang menerbitkan temuannya di Blog EkspresVPN. Fowler mengatakan ini adalah kesalahan konfigurasi ketiga Basis data pembuatan gambar AI dia menemukannya dapat diakses secara online tahun ini—dan semuanya tampaknya berisi gambar eksplisit non-konsensual, termasuk gambar anak muda dan anak-anak.
Temuan Fowler muncul ketika alat pembuat gambar AI terus digunakan untuk menciptakan gambar eksplisit seseorang secara jahat. Ekosistem layanan “nudify” yang sangat besar, yaitu digunakan oleh jutaan orang Dan menghasilkan jutaan dolar per tahunmenggunakan AI untuk “menanggalkan” pakaian orang—hampir seluruhnya perempuan—di foto. Foto yang dicuri dari media sosial dapat diedit hanya dengan beberapa klik: menyebabkan pelecehan dan pelecehan yang mengerikan terhadap perempuan. Sementara itu, laporan pelaku kejahatan yang menggunakan AI untuk membuat materi pelecehan seksual terhadap anak, yang mencakup a serangkaian gambar tidak senonoh melibatkan anak-anak, telah meningkat dua kali lipat selama setahun terakhir.
“Kami menanggapi kekhawatiran ini dengan sangat serius,” kata juru bicara startup bernama DreamX, yang mengoperasikan MagicEdit dan DreamPal. Juru bicara tersebut mengatakan bahwa perusahaan pemasaran influencer yang terhubung ke database, yang disebut SocialBook, dijalankan “oleh badan hukum terpisah dan tidak terlibat” dalam pengoperasian situs lain. “Entitas-entitas ini berbagi beberapa hubungan historis melalui pendiri dan aset warisan, namun mereka beroperasi secara independen dengan lini produk terpisah,” kata juru bicara tersebut.
“SocialBook tidak terhubung ke database yang Anda referensikan, tidak menggunakan penyimpanan ini, dan tidak terlibat dalam pengoperasian atau pengelolaannya kapan pun,” kata juru bicara SocialBook kepada WIRED. “Gambar yang direferensikan tidak dihasilkan, diproses, atau disimpan oleh sistem SocialBook. SocialBook beroperasi secara independen dan tidak memiliki peran dalam infrastruktur yang dijelaskan.”
Dalam laporannya, Fowler menulis bahwa database mengindikasikan bahwa database tersebut terkait dengan SocialBook dan menyertakan gambar dengan tanda air SocialBook. Beberapa halaman di situs SocialBook yang disebutkan sebelumnya SihirSunting atau Sahabat Mimpi sekarang kembalikan halaman kesalahan. “Ember yang dimaksud berisi campuran aset lama, terutama dari MagicEdit dan DreamPal. SocialBook tidak menggunakan ember ini untuk infrastruktur operasionalnya,” kata juru bicara DreamX.
“Prioritas kami adalah keselamatan pengguna dan masyarakat, kepatuhan terhadap semua persyaratan hukum, dan transparansi penuh selama proses ini,” tambah juru bicara DreamX. “Kami tidak memaafkan, mendukung, atau menoleransi pembuatan atau distribusi materi pelecehan seksual terhadap anak-anak (‘CSAM’) dalam keadaan apa pun.”
Setelah Fowler menghubungi perusahaan pembuat gambar AI, kata juru bicara tersebut, perusahaan tersebut menutup akses ke database yang terekspos dan meluncurkan “penyelidikan internal dengan penasihat hukum eksternal.” Pihaknya juga “menangguhkan akses terhadap produk kami sambil menunggu hasil penyelidikan,” kata juru bicara tersebut. Situs web dan aplikasi seluler MagicEdit dan DreamPal dapat diakses sampai WIRED menghubungi mereka yang menjalankannya.
Pada saat penulisan, situs web DreamPal tidak tersedia, memunculkan kesalahan 502. “Kami untuk sementara menangguhkan fitur-fitur tertentu pada produk,” sebuah pesan di beranda situs web MagicEdit. “Selama periode ini, layanan mungkin tidak tersedia.” Situs web terkait lainnya juga menampilkan pesan yang sama. Baik MagicEdit dan DreamPal terdaftar sebagai milik pengembang BoostInsider di App Store iOS Apple. MagicEdit, DreamPal, dan dua aplikasi AI lainnya yang terdaftar oleh BoostInsider kini tidak lagi tersedia di App Store.
Juru bicara DreamX mengatakan Boostinsider adalah “entitas yang sudah tidak berfungsi”, dan perusahaan “untuk sementara menghapus” aplikasi tersebut sebagai “bagian dari restrukturisasi yang lebih luas pada lini produk dan infrastruktur kami” dan ini “memperkuat kerangka moderasi konten kami.”
Aplikasi tersebut sepertinya tidak muncul di Google Play Store. Namun, ketika akun BoostInsider mempertanyakan mengapa ia memiliki dua aplikasitermasuk MagicEdit, ditangguhkan oleh Google awal tahun ini di halaman dukungan, komunitas Google “pakar” akun menjawab, mengatakan aplikasi tersebut menyertakan “konten seksual eksplisit” atau ketelanjangan. Juru bicara Google mengonfirmasi bahwa aplikasi tersebut telah ditangguhkan karena pelanggaran kebijakan. Juru bicara Apple mengatakan aplikasi tersebut telah dihapus dari App Store.
Basis data yang ditemukan Fowler berisi 1.099.985 catatan, kata peneliti, dan “hampir semuanya” bersifat pornografi. Fowler mengatakan dia mengambil sejumlah tangkapan layar untuk memverifikasi paparan dan melaporkannya kepada pemiliknya tetapi tidak menangkap konten terlarang atau berpotensi ilegal dan tidak mengunduh data terbuka yang dia temukan. “Semuanya berupa gambar dan video,” kata Fowler, mencatat tidak adanya jenis file lainnya. “Basis data yang terekspos menyimpan banyak file yang tampak eksplisit, penggambaran individu di bawah umur dan, mungkin, anak-anak yang dihasilkan oleh AI,” kata laporan Fowler.
Fowler melaporkan database yang terekspos ke Pusat Nasional untuk Anak Hilang dan Tereksploitasi AS, sebuah organisasi nirlaba yang bekerja dengan perusahaan teknologi, penegak hukum, dan keluarga dalam masalah perlindungan anak. Seorang juru bicara pusat tersebut mengatakan bahwa mereka meninjau semua informasi yang diterima CyberTipline tetapi tidak mengungkapkan informasi tentang “tip spesifik yang diterima.”
Secara keseluruhan, beberapa gambar dalam database tampak sepenuhnya AI, termasuk gambar bergaya anime, sementara gambar lainnya “hiperrealistik” dan tampaknya didasarkan pada orang sungguhan, kata peneliti. Tidak jelas berapa lama data tersebut dibiarkan terekspos di internet terbuka. Juru bicara DreamX mengatakan “tidak ada sistem operasional yang dikompromikan.”
Situs web MagicEdit, meskipun masih online, tampaknya tidak secara eksplisit mengatakan bahwa situs tersebut dapat digunakan untuk membuat gambar eksplisit orang dewasa. Namun, Fowler menulis dalam laporannya bahwa peringkatnya di App Store Apple terdaftar sebagai 18+. Berandanya juga menampilkan gambar seorang wanita dalam gaun yang dibuat oleh AI, yang berubah menjadi bikini. Situs web tersebut mencantumkan beberapa “alat AI” yang dapat digunakan orang—mulai dari “teks ke video” dan penghapus latar belakang video, hingga “penghapus ajaib”, pertukaran wajah, dan perluasan gambar dengan AI—dengan beberapa fitur terkunci di balik mode “pro” yang memerlukan pembayaran.
MagicEdit juga mencantumkan alat “AI Clothes”. Banyak dari “gaya” alat pembuat gambar yang terdaftar di situsnya menampilkan gambar perempuan yang bersifat seksual dan sering kali melibatkan penggambaran mereka dengan pakaian yang lebih sedikit—terkadang mengenakan bikini atau pakaian dalam—setelah AI diterapkan. “Saksikan pakaian ini berubah dari kasual sehari-hari menjadi seksi dalam hitungan detik,” kata sebuah postingan di akun Instagram MagicEdit yang sekarang telah dihapus.
“Mereka telah melakukan cara yang bagus untuk secara halus mempromosikan konten seksual,” kata Fowler, sambil mencatat bahwa alat AI yang menggambarkan ketelanjangan dapat dengan mudah “dipersenjatai” untuk pemerasan, pelecehan, dan tujuan jahat lainnya. “Perusahaan-perusahaan ini benar-benar harus melakukan lebih dari sekedar pop-up umum: ‘Dengan mengklik ini, Anda setuju bahwa Anda memiliki izin untuk mengunggah gambar ini.’ Anda tidak bisa membiarkan orang mengawasi diri mereka sendiri, karena mereka tidak akan melakukannya. Mereka harus memiliki suatu bentuk moderasi yang bahkan melampaui AI.”
“MagicEdit tidak mempromosikan atau mendorong konten seksual eksplisit, dan kami menerapkan mekanisme moderasi, penyaringan, dan pengamanan untuk mencegah penyalahgunaan,” kata juru bicara DreamX. “Dari sudut pandang teknis, kami menerapkan berbagai pengamanan—jauh sebelum menerima pertanyaan eksternal apa pun—termasuk regulasi yang cepat, pemfilteran masukan, dan peninjauan wajib atas semua permintaan pengguna melalui API Moderasi OpenAI,” tambah juru bicara tersebut. “Jika perintah melanggar standar keselamatan, sistem akan memblokir permintaan tersebut secara otomatis.”
“Ini adalah kelanjutan dari masalah yang sudah ada terkait sikap apatis yang dirasakan para startup terhadap kepercayaan, keselamatan, dan perlindungan anak-anak,” kata Adam Dodge, pendiri EndTAB (Ending Technology-Enabled Abuse), yang memberikan pelatihan kepada sekolah dan organisasi untuk membantu mengatasi penyalahgunaan teknologi.
Sementara itu, situs web DreamPal—yang menggambarkan dirinya sebagai “obrolan permainan peran AI”—lebih eksplisit dalam sifat dewasanya. Halaman webnya menyatakan bahwa orang-orang dapat “menciptakan pacar AI impian Anda.” Beberapa tautan di situs, kemungkinan dirancang untuk tujuan SEO, merujuk pada “AI Sexing Chat”, “Talk Dirty AI”, dan “AI Big Tits”. FAQ di bagian bawah situs web DreamPal berbunyi: “Kami telah menghapus filter obrolan AI NSFW yang dapat menghalangi Anda mengekspresikan fantasi paling intim Anda.”
“Semua yang kami lihat sepenuhnya dapat diperkirakan,” kata Dodge. “Dorongan yang mendasarinya adalah seksualisasi dan kontrol terhadap tubuh perempuan dan anak perempuan,” katanya. “Ini bukan masalah sosial yang baru, tapi kita bisa melihat sekilas seperti apa masalah tersebut jika masalah ini diatasi dengan AI.”
