Para pembuat AI menciptakan orang kulit hitam palsu untuk menjual sampah Shein

Aliyah, seorang wanita kulit hitam berkulit terang yang mengenakan perlengkapan pedesaan, berjuang untuk menjual gesper logam buatannya di TikTok. Di sebuah video untuk platform media sosial mulai bulan Maret, dia menangis di depan kamera dan memohon agar dilihat: “Bahkan sebagai perempuan kulit hitam, saya lebih yakin bahwa perempuan kulit putih akan bertahan 13 detik [on this video] untuk menyelamatkan bisnis ikat pinggang saya, “tulis teks di layar. Dia menyeka air mata di pipinya.

Tapi Aliyah tidak nyata, dan dia juga tidak nyata produk buatan tangan — dia adalah salah satu dari banyak influencer yang dihasilkan AI yang diciptakan untuk menjual produk yang diproduksi secara massal melalui dropshipping di TikTok, Facebook, dan Instagram. Gesper ikat pinggang yang identik — desain bunga matahari, tatahan pisau yang dapat dilepas, dan semuanya — dijual di situs mode cepat Sheindan seperempat dari harga.

Ada beberapa petunjuk yang perlu diketahui untuk menentukan bahwa video ini dibuat oleh AI. Suara Aliyah seperti robot dan tanpa emosi, tidak cocok dengan wajah menangis di layar. Dalam satu klip, dia sedang menjahit ikat pinggang kulit yang biasanya tidak dijahit sama sekali. Ketika dia menyeka air mata dari wajahnya, aliran cairan di bawah tempat dia menyeka juga menghilang. Dan terakhir, ada lusinan video yang sangat mirip, tetapi dengan karakter berbeda yang dihasilkan AI, beredar di TikTok. Pertama, profil untuk akun bernama “Aliyahsbuckles”, menampilkan latar belakang, meja, dan gulungan benang yang identik.

Tepi ditemukan puluhan dari akun pada TikTok dengan serupa narasi dan berbagai produk dropshipping, antara lain ikat pinggang, mug berbentuk sepatu bot koboi, tas rajutan, dan cardigan. Beberapa dari video ini diberi label sebagai buatan AI. Akun serupa juga aktif di Instagram dan Facebook. Hampir semua aspek akun tampaknya dibuat oleh AI – mulai dari “orang” dalam video hingga respons otomatis terhadap komentar, yang dalam beberapa kasus berupaya meniru bahasa Afrika-Amerika – dan para ahli memperingatkan penipuan seperti ini semakin meningkat setiap hari.

“Ini sangat besar,” Jeremy Carrasco, peneliti media yang dihasilkan AI dan direktur Riddance.aisebuah organisasi yang berfokus pada deteksi video AI, mengatakan Tepi video yang dihasilkan AI yang terhubung ke toko e-commerce. “Kebanyakan dari mereka tidak terkoordinasi. Beberapa dari mereka terkoordinasi. Seringkali mereka menjalankan satu [AI-generated] aktor, atau beberapa aktor akan menjalankan segala macam toko, “jelasnya. Avatar-avatar yang dihasilkan AI tersebut berpura-pura membuat barang, pergi ke pameran untuk memajang produk mereka, dan “merespons” komentar melalui otomatisasi. “Apa yang kami lihat saat ini adalah penipuan ritel di mana mereka akan tertaut ke situs web Shopify.”

Carrasco memperkirakan tim risetnya menemukan hingga 100 akun yang mencoba menjual produk melalui avatar yang dihasilkan AI setiap hari. Sebagian besar akun ditemukan oleh Tepi dibuat dalam dua bulan terakhir dan berisi video tentang usaha kecil milik individu marginal yang berjuang untuk melakukan penjualan; video-video ini sangat mirip, dengan hanya sedikit variasi dalam skripnya. Meskipun kami juga menemukan karakter penduduk asli Amerika, Hispanik, dan wanita kulit putih, karakter yang paling banyak dilihat dan berinteraksi dengan AI ditemukan oleh Tepi adalah perempuan kulit hitam. Akun Aliyah sendiri memiliki 40.000 pengikut.

“Apa yang kami lihat di sini adalah umpan empati,” kata Carrasco. “Jika ada item dropship populer yang bisa dijual ke komunitas khusus, mereka akan menemukannya dan mencoba [to use] beberapa kepribadian untuk melakukannya.” Carrasco menjelaskan bahwa tren ini biasanya merupakan peluang acak untuk menghasilkan uang. “Ini hanya peluang yang sewenang-wenang, yang merupakan hal yang banyak dilakukan oleh konten AI – platform tidak terlalu peduli dan orang-orang tidak menyadarinya.”

Aliyah paling populer videoyang dijelaskan dalam pendahuluan artikel ini, memiliki 814.000 suka, 6,5 juta penayangan, dan hampir 30.000 komentar. Beberapa komentar mengidentifikasi konten tersebut sebagai buatan AI, namun banyak yang mengungkapkan keinginannya untuk membantu bisnis Aliyah, dengan mengomentari video tersebut untuk meningkatkan visibilitasnya di platform.

India Cater-Campbell adalah salah satu komentator yang mengungkapkan keinginannya untuk membeli ikat pinggang Aliyah. “Saya mencoba untuk mendukung seorang pengusaha wanita kulit hitam yang mandiri,” kata Cater-Campbell, seorang pemilik bisnis kulit hitam yang sebenarnya sedang membuka kafe di Seattle. “[I felt] solidaritas ketika saya mencoba memulai bisnis sendiri.”

Meskipun penelitian mengenai model video AI generasi terbaru masih kurang, Carrasco memperkirakan bahwa video tersebut “cukup realistis untuk menipu” kebanyakan orang. Pengguna platform konten video pendek telah dilatih untuk menggulir tanpa berpikir panjang dan tidak melihat lebih jauh konten yang mereka buat. Ironisnya, inilah yang mungkin menyelamatkan Cater-Campbell dari benar-benar membeli ikat pinggang: Dia tidak dapat segera menemukan tautan toko, jadi dia menelusurinya dan segera melupakan Aliyah.

Namun banyak orang yang tertipu oleh penipuan ini, dan popularitasnya semakin meningkat: Dua minggu lalu, Gizelle Bryant dari Ibu Rumah Tangga Sejati di Potomac mengaku membeli dua tas rajutan setelah melihat video di mana seorang anak laki-laki kulit hitam yang dibuat dengan AI mengatakan dia diintimidasi oleh anak laki-laki kulit putih karena merenda. “Saya seperti, saya ingin membantu anak kecil berkulit hitam ini mencapai tujuannya,” kata Bryant di podcastnya Cukup Teduhmenambahkan bahwa selebriti lain juga ada di bagian komentar. “Bagaimana saya bisa ditipu? Viola Davis juga ada di sana.”

Tren ini adalah sejenis wajah hitam digital, menurut peneliti komunikasi Cienna Davis di University of Pennsylvania. “Wajah hitam digital adalah fenomena di mana individu non-kulit hitam dapat menggunakan internet dan teknologi digital untuk meniru ekspresi budaya kulit hitam demi keuntungan pribadi, ekonomi, atau politik,” jelas Davis melalui panggilan video. Davis telah menulis sebelumnya tentang wajah hitam digital, menunjuk pada penggunaan GIF oleh orang kulit hitam juga peniruan identitas orang kulit hitam untuk tujuan politik. “Ini berakar pada penyanyi berwajah hitam, yang terkait dengan warisan perbudakan,” jelasnya.

Berdasarkan gagasan bahwa Blackness “secara inheren dapat dieksploitasi” dan “dapat diperebutkan,” Blackface digital digunakan untuk “mengekstraksi nilai dari tubuh Black dengan cara apa pun. [non-Black people] lihat cocok,” kata Davis. Dalam hal ini, video tersebut meniru “gagasan yang dapat dikenali tentang perjuangan Kulit Hitam,” tambahnya.

Bahkan tanpa konfirmasi bahwa orang di balik video tersebut bukanlah orang kulit hitam, Tempest M. Henning, asisten profesor filsafat di Universitas Fisk, menegaskan bahwa video tersebut adalah wajah hitam digital. “Blackface adalah penggambaran orang kulit hitam yang mirip karikatur, termasuk orang kulit hitam yang berdandan dengan gaya karikatur orang kulit hitam,” kata Henning. Dia mengutip preseden sejarah orang kulit hitam kadang-kadang dipaksa tampil di pertunjukan penyanyi dan contoh yang lebih baru Zoe Saldaña menggelapkan warna kulitnya dan memakai prostetik untuk memainkan peran Nina Simone dalam film biografi.

Ada kepalsuan yang melekat pada Blackness yang diklaim oleh avatar-avatar ini. Seperti yang dijelaskan Henning, “Nama avatarnya diberi kode Hitam, seperti Aliyah atau Amaya, tapi tidak ada yang lain. [that signals authentic Blackness] selain avatar itu sendiri.” Hal ini diperkuat oleh replikasi konten lintas identitas rasial, yang menurut Henning, berdampak pada perataan identitas tersebut.

Tepi menghubungi Aliyahsbuckles, serta toko lain yang menjual produk serupa, tetapi tidak mendapat tanggapan.

Video-video yang diposting di akun Aliyah merupakan replikasi adegan demi adegan di banyak akun serupa yang menjual barang dropship, dengan sedikit modifikasi agar sesuai dengan identitas karakter atau barang yang dijual. Dalam satu video yang menampilkan karakter wanita kulit hitam lainnya, Amaya, seorang wanita kulit putih dengan mengejek melemparkan kopi ke ikat pinggang yang dipamerkan di sebuah pameran. Amaya yang agak frustrasi – emosinya agak seperti robot dan tidak pernah terlihat benar – menghela nafas dan kembali bekerja jujur ​​​​untuk membuat dirinya menyerah. Adegan serupa muncul di akun bernama ChubbyKnots; kali ini avatarnya adalah seorang gadis kulit hitam dan produknya adalah kardigan kupu-kupu rajutan.

Henning mengatakan ada seruan terhadap sinyal kebajikan dalam video-video ini, di mana pemirsa terpanggil untuk melakukan kebaikan atau bahkan solidaritas ras atau kelas. “Ini adalah sinyal kebajikan dalam arti ‘Oh, wanita kulit putih itu melakukan itu, tapi saya bukan wanita kulit putih seperti itu, jadi di mana saya bisa membeli ikat pinggang ini?’” kata Henning. “Sepertinya mereka berkata, ‘Saya tidak mendukung orang-orang ini.’”

Namun, Henning menunjukkan betapa dangkalnya dukungan berbasis ras atau kelas ketika pengguna tidak berhenti sejenak untuk meneliti siapa yang mereka dukung.

Hal ini mungkin merupakan akibat sosial yang lebih besar dari konten video pendek dan konsumsi air kotor: Solidaritas sering kali dilakukan di “tingkat permukaan,” jelasnya, dibandingkan melalui lensa politik yang koheren dan memiliki banyak segi. “Saya mungkin sangat tertarik pada bisnis milik orang kulit hitam, tapi itu tidak berarti bahwa semua bisnis orang kulit hitam sejalan dengan pandangan politik saya dan apa yang saya perjuangkan,” kata Henning.

Seruan terhadap sinyal kebajikan ini melampaui kategori ras, juga mengacu pada penanda kelas pekerja dan simulasi orang-orang yang bekerja keras untuk mendapatkan penghasilan di tengah perekonomian yang sedang gagal. “[It’s not just] Perjuangan kaum kulit hitam karena di video lain, kita bisa mengamati perjuangan kelas pekerja, perjuangan usaha kecil,” kata Davis. “Tapi jelas mereka menggunakan hal-hal tersebut. [narrative] untuk menjual barang yang diproduksi secara massal. Itu tidak kreatif sama sekali. Ini sebenarnya hanyalah templat dan pembuatan karakter yang dihasilkan AI yang dioptimalkan untuk identifikasi konsumen dan investasi pada produk. Ini lebih luas daripada ‘rasa bersalah putih’, karena dapat digunakan dengan cara apa pun yang dirasa perlu atau dapat diterapkan pada produk.”

Terlepas dari perataan identitas rasial ini, atau mungkin karena itu, algoritma — yang memilikinya telah terbukti melanggengkan bias rasial yang disadari dan tidak disadari oleh orang-orang yang membangunnya — memberikan konten yang dihasilkan AI yang sesuai dengan minat yang mereka simpulkan untuk setiap pengguna, kata Carrasco. Minat ini mungkin mencakup konten dari demografi tertentu yang dapat ditiru oleh persona AI. “Ini menyasar demografi itu [the algorithm] bisa melihatnya,” katanya. “Biasanya perempuan kulit hitam akan melihat orang kulit hitam yang dihasilkan AI di feed mereka, sedangkan orang Asia akan melihat orang Asia yang dihasilkan AI.”

Melihat lebih dekat pada kontennya, mudah untuk menemukan ketidakkonsistenan dan AI memberitahukannya. Kami tidak pernah melihat lebih dari beberapa detik karakter di layar karena aplikasi AI seperti Seedance 2.0, Midjourney, dan OpenAI yang baru-baru ini dihentikan Sora 2 tidak dapat membuat klip yang berdurasi lebih dari 15 detik. Saat produk dipamerkan, pencahayaannya lebih terang daripada warna sepia, dan tangan yang memegang gesper berwarna putih. Emosi di wajah para karakter tidak sesuai dengan nada suaranya.

Namun pengakuan ini memerlukan literasi media AI yang tidak tersedia secara luas, terutama pada skala pembuatan video ini dan teknologi yang berkembang menuju otomatisasi yang lebih cepat dan avatar yang lebih realistis. “Orang-orang yang tidak terlatih dalam literasi media atau literasi media kritis pasti akan menerimanya,” kata Davis.

Struktur platform video pendek, yaitu saluran utama untuk misinformasimendorong kurangnya ketajaman pengguna, yang telah dilatih untuk ingin menggulir ke video berikutnya daripada memikirkan tentang apa yang mereka tonton. “[These platforms] sedang dieksploitasi menggunakan konten AI sebagian karena untuk mengetahui AI sesuatu, biasanya diperlukan waktu satu atau dua detik, “kata Carrasco. “Pada saat itu, Anda sudah mendaftarkan beberapa keterlibatan.”

Orang-orang yang mendapat keuntungan dari jenis video ini mengetahui hal ini, dan alat untuk membuat iklan pendek yang dihasilkan oleh AI dan dapat diskalakan tersedia secara luas secara online. Dalam melaporkan cerita ini, Tepi ditemukan saluran YouTube Dan forum yang didedikasikan untuk tutorial tentang cara membuat iklan seperti ini tanpa sampel produk, biaya influencer, atau skrip asli.

Tutorial ini mengajarkan pengguna cara menyalin video viral dengan berbagai alat AI dan mengganti influencer nyata dengan karakter yang dihasilkan AI. ChatGPT dan Gemini digunakan untuk mengekstrak dan menyalin skrip dari video nyata oleh influencer nyata, dengan opsi untuk membuat beberapa varian dari skrip yang sama. Alat-alat ini juga digunakan untuk menghasilkan foto orang palsu dan latar belakang palsu berdasarkan influencer asli dan latar belakang asli, yang kemudian diimpor ke aplikasi seperti Kling 2.0 dan Maxfusion. Dengan beberapa model generator video AI, video dari influencer nyata dapat sepenuhnya diimpor ke dalam aplikasi dan pengguna dapat mengganti orang asli dengan karakter AI yang mereka buat, sehingga secara efektif mencuri skrip dan latar belakang video asli.

Meskipun literasi media dapat membantu pengguna individu agar tidak tertipu oleh penipuan video yang dihasilkan oleh AI, platform media sosial saat ini gagal memoderasi dan, setidaknya, memberi label pada konten tersebut. “Platform harus memiliki struktur deteksi dan pelabelan AI yang lebih kuat,” kata Davis. “Pemeriksaan bias pada platform ini juga akan diterima, serta jalur pelaporan yang jelas untuk melaporkan penyalahgunaan AI pada platform.”

Selain moderasi, Carrasco menyarankan bahwa transparansi akun juga akan membantu pengguna mengetahui apakah mereka menonton konten yang dihasilkan AI, dengan label jelas yang mudah dilihat dan tidak memerlukan langkah tambahan.

Namun konsumen konten video pendek sudah memiliki pengalaman bertahun-tahun menelusuri feed mereka dan terlibat secara dangkal dengan apa pun yang muncul. Membalikkan pelatihan kognitif ini rasanya hampir mustahil dilakukan dalam skala besar tanpa adanya platform yang mengambil alih kendali. Tanpa adanya insentif nyata bagi platform video berdurasi pendek untuk melakukan hal tersebut dan mendapatkan keuntungan yang dipertaruhkan, hal ini tampaknya tidak mungkin terjadi – namun sampai saat itu tiba, penipu AI akan terus mengambil keuntungan dari siapa pun yang mengambil umpan tersebut.