Perjalananku berlanjut Toko TikTok dimulai dengan penelusuran untuk “perhiasan hip hop”. Ini adalah permintaan pencarian yang tidak berbahaya yang mungkin diketik oleh banyak pengguna, berharap menemukan sesuatu untuk dikenakan. Saat menelusuri perhiasan murah, saya terkejut dengan apa yang dimiliki TikTok algoritma berulang kali menyatakan bahwa saya mungkin juga tertarik pada: perhiasan dengan simbolisme Nazi yang mencolok.
TikTok terus berjuang dengan moderasi karena toko ecommerce dalam aplikasinya mendapatkan daya tarik di kalangan pengguna muda. Tahun lalu, platform media sosial menghapus banyak hal produk antisemit dari tokonya. Baru-baru ini, banyak pengguna yang menelusuri video di halaman Untuk Anda menyatakan kemarahannya ketika sebuah kalung swastika, dengan nama “liontin baja titanium hiphop,” dipromosikan kepada mereka pada akhir Desember sebagai produk yang dijual di Toko TikTok dengan harga $8.
Platform tersebut akhirnya menghapus produk tersebut karena beberapa pengguna yang mengaku menemukan item yang disarankan di feed mereka membagikan tangkapan layar di postingan media sosial yang viral.
Meskipun TikTok menghapus kalung itu, penyelidikan saya terhadap TikTok Shop menemukan jaringan algoritmik saran pencarian produk sayap kanan yang mendorong saya ke istilah-istilah nasionalis kulit putih dan istilah-istilah yang terkait dengan Nazi. Di tab belanja khusus di TikTok, saya mencari produk untuk dibeli dan mengikuti apa yang direkomendasikan algoritme kepada saya di kotak “Yang Dicari Orang Lain”. Kotak rekomendasi ini terkadang muncul di aplikasi seluler TikTok sebagai kumpulan empat saran pencarian terkait, masing-masing dengan gambar, saat pengguna mencari produk dan menelusuri apa yang tersedia di TikTok Shop.
Tangkapan layarFoto: Staf WIRED
Juru bicara TikTok Glenn Kuper mengonfirmasi bahwa jenis saran pencarian yang terlihat dalam laporan saya melanggar kebijakan perusahaan. Dia mengatakan TikTok saat ini sedang berupaya untuk menghapus saran algoritmik ini dari aplikasi, sebagai tanggapan atas daftar pertanyaan terperinci dari WIRED.
Sorotan tembaga Laporan keamanan Toko TikTokyang menyatakan bahwa platform e-niaga menghapus 700,000 penjual dan 200,000 produk yang dibatasi atau dilarang pada paruh pertama tahun 2025.
Umat Buddha banyak menggunakan simbol manji, yang sering kali terlihat identik dengan swastikaselama ribuan tahun sebelum Nazi. Meski begitu, kalung yang dipromosikan pada bulan Desember menyertakan detail yang menunjukkan bahwa perhiasan tersebut dilihat secara luas karena berpotensi menjadi bagian dari upaya trolling oleh ekstremis, dan bukan kesalahpahaman budaya.
Joan Donovan, pendiri Institut Studi Internet Kritis dan rekan penulis buku tersebut Perang Mememenemukan kalung viral itu secara langsung di feednya. Dalam konteks ini, kata Donovan, deskripsi kalung itu mengisyaratkan “HH,” singkatan dari slogan “Heil Hitler” yang banyak digunakan oleh Nazi. Baginya, yang membedakan kalung swastika itu adalah peluit anjing yang diselipkan di deskripsi produk: “hiphop”.
“Pelabelan ini memberi tahu saya bahwa ini dibuat oleh seseorang yang lebih tertarik pada aspek umpan kemarahan,” katanya. Meskipun koneksi “hiphop” ini mungkin terdengar berlebihan pada awalnya, algoritme TikTok Shop menyarankan agar saya mencari produk yang terkait dengan simbolisme Nazi beberapa kali selama sebulan terakhir sambil menelusuri “perhiasan hiphop” dan variasi penelusuran tersebut dengan spasi dan frasa berbeda.
Misalnya, istilah teratas yang disorot TikTok di tab e-niaga khusus sebagai produk yang ditelusuri pengguna lain adalah “perhiasan swatika”, yang merupakan salah ejaan swastika—di samping rangkaian rantai berlapis berlian imitasi seharga $11.
Foto: Staf WIRED
Setelah saya mengetuk pencarian awal yang disarankan untuk “perhiasan swatika,” TikTok menyoroti pencarian di halaman berikutnya yang bahkan lebih eksplisit lagi menghasut. TikTok Shop menunjukkan kepada saya kalimat “kalung ww2 Jerman” di sebelah gambar liontin Bintang Daud. Ketika saya terus mengklik lebih banyak pencarian produk yang disarankan TikTok, jaringan istilah-istilah yang berhubungan dengan Nazi sepertinya tidak ada habisnya.
Daftar frasa yang tidak lengkap yang disarankan Toko TikTok agar saya juga mencarinya selama penyelidikan ini termasuk: “kalung baut penerangan ganda”, “kalung ss”, “kalung jerman swastik”, dan “kalung hh”.
Meskipun algoritme pencarian sudah jelas dalam memberikan saran, hasil produk yang diberikan TikTok Shop kepada saya tidak terlalu mencolok dan sering kali dapat disangkal karena tidak terkait dengan antisemitisme jika dikeluarkan dari konteks ini. Sebagai contoh, salah satu kalung pada hasil produk memiliki tanda petir berbentuk S di atas satu sama lain, bukan susunan berdampingan seperti yang terlihat pada lambang “SS” Schutzstaffel, kelompok paramiliter yang beroperasi di Jerman dan Eropa yang diduduki Nazi selama Perang Dunia II.
Foto: Staf WIRED
“Kami memiliki gambaran umum tentang cara kerja algoritme ini,” kata Filippo Menczer, profesor di Indiana University dan direktur fakultas di Universitas Indiana. Observatorium di Media Sosial. “Tetapi rincian pasti tentang apa yang mereka terapkan pada produk mereka pada waktu tertentu tidak jelas. Tidak ada yang bisa memberi tahu Anda secara pasti mengapa rekomendasi tersebut dibuat.”
Tanpa lebih banyak wawasan tentang algoritma rahasia TikTok, mustahil untuk memastikan secara pasti bagaimana web istilah pencarian terkait Nazi ini berasal. Menczer berteori bahwa hasil penelusuran yang disarankan yang saya temui dapat berupa algoritme yang “berfungsi sebagaimana mestinya”, yang menghubungkan istilah penelusuran organik yang berpotensi terkait, atau “semacam manipulasi” oleh pengguna jahat, di mana akun palsu dapat digunakan untuk mencoba mengelabui suatu algoritme dengan meningkatkan istilah penelusuran tertentu dalam upaya untuk meningkatkan popularitasnya. Saat dimintai komentar, Kuper dari TikTok menyatakan bahwa platform tersebut memiliki kebijakan perlindungan, termasuk hasil pencarian.
Donovan melihat TikTok masih memiliki banyak pekerjaan yang harus dilakukan terkait moderasi konten dan perlindungan pengguna. “Mereka benar-benar perlu menggali lebih dalam, melakukan investigasi, dan memahami dari mana sumbernya. Dan juga memberikan transparansi, sehingga pengguna memahami bagaimana mereka menjadi targetnya,” katanya.
