ISD melaporkan akun ini, bersama dengan 49 akun lainnya, pada bulan Juni karena melanggar kebijakan TikTok tentang ujaran kebencian, dorongan kekerasan terhadap kelompok yang dilindungi, promosi ideologi kebencian, pemujaan terhadap ekstremis kekerasan, dan penyangkalan Holocaust. Dalam semua kasus, TikTok tidak menemukan pelanggaran, dan semua akun awalnya diizinkan untuk tetap aktif.
Sebulan kemudian, 23 akun telah diblokir oleh TikTok, yang menunjukkan bahwa platform tersebut setidaknya menghapus beberapa konten dan saluran yang melanggar dari waktu ke waktu. Sebelum ditutup, 23 akun yang diblokir tersebut telah mengumpulkan setidaknya 2 juta penayangan.
Para peneliti juga membuat akun TikTok baru untuk memahami bagaimana konten Nazi dipromosikan kepada pengguna baru oleh algoritma TikTok yang kuat.
Dengan menggunakan akun yang dibuat pada akhir Mei, para peneliti menonton 10 video dari jaringan pengguna pro-Nazi, terkadang mengklik bagian komentar tetapi tidak melakukan bentuk keterlibatan nyata seperti menyukai, mengomentari, atau menandai. Para peneliti juga melihat 10 akun pro-Nazi. Ketika para peneliti kemudian membuka feed For You di dalam aplikasi, hanya butuh tiga video bagi algoritme untuk menyarankan video yang menampilkan seorang prajurit Nazi era Perang Dunia II yang dilapisi dengan bagan tingkat pembunuhan AS, dengan pelaku dipecah berdasarkan ras. Kemudian, sebuah video muncul dari pidato Hitler yang diterjemahkan AI yang dilapisi dengan poster rekrutmen untuk kelompok nasionalis kulit putih.
Akun lain yang dibuat oleh peneliti ISD bahkan melihat lebih banyak konten ekstremis yang dipromosikan di feed utamanya, dengan 70 persen video berasal dari orang-orang yang mengidentifikasi diri sebagai Nazi atau menampilkan propaganda Nazi. Setelah akun tersebut mengikuti sejumlah akun pro-Nazi untuk mengakses konten di saluran yang disetel ke pribadi, algoritma TikTok juga mempromosikan akun Nazi lainnya untuk diikuti. Kesepuluh akun pertama yang direkomendasikan TikTok untuk akun ini menggunakan simbologi atau kata kunci Nazi dalam nama pengguna atau foto profil mereka, atau menampilkan propaganda Nazi dalam video mereka.
“Ini sama sekali tidak mengejutkan,” kata Abbie Richards, peneliti disinformasi yang mengkhususkan diri pada TikTok. “Ini adalah hal-hal yang kami temukan berulang kali. Saya sudah menemukannya dalam penelitian saya.”
Richards menulis tentang konten supremasi kulit putih dan akselerasi militan di platform tersebut pada tahun 2022, termasuk kasus neo-Nazi Paul Milleryang, saat menjalani hukuman 41 bulan atas tuduhan senjata api, tampil dalam video TikTok yang ditonton lebih dari 5 juta kali dan mendapat 700.000 suka selama tiga bulan di platform tersebut sebelum dihapus.
Marcus Bösch, seorang peneliti di Universitas Hamburg yang memantau TikTok, mengatakan kepada WIRED bahwa temuan laporan tersebut “tidak terlalu mengejutkan,” dan dia tidak berharap ada yang dapat dilakukan TikTok untuk memperbaiki masalah tersebut.
“Saya tidak yakin di mana tepatnya masalahnya,” kata Bösch. “TikTok mengatakan memiliki sekitar 40.000 moderator konten, dan seharusnya mudah untuk memahami pelanggaran kebijakan yang jelas seperti itu. Namun karena banyaknya [of content]dan kemampuan para pelaku kejahatan untuk beradaptasi dengan cepat, saya yakin bahwa seluruh masalah disinformasi tidak akan dapat diselesaikan secara tuntas, baik dengan AI maupun dengan lebih banyak moderator.”
TikTok mengatakan telah menyelesaikan program bimbingan dengan Tech Against Terrorism, sebuah kelompok yang berupaya mengganggu aktivitas daring teroris dan membantu TikTok mengidentifikasi ancaman daring.
“Meskipun telah diambil langkah-langkah proaktif, TikTok tetap menjadi target eksploitasi oleh kelompok-kelompok ekstremis seiring dengan meningkatnya popularitasnya,” kata Adam Hadley, direktur eksekutif Tech Against Terrorism, kepada WIRED. “Studi ISD menunjukkan bahwa sejumlah kecil ekstremis yang kejam dapat menimbulkan kekacauan pada platform-platform besar karena asimetri permusuhan. Oleh karena itu, laporan ini menggarisbawahi perlunya intelijen ancaman lintas-platform yang didukung oleh moderasi konten bertenaga AI yang ditingkatkan. Laporan ini juga mengingatkan kita bahwa Telegram juga harus bertanggung jawab atas perannya dalam ekosistem ekstremis daring.”
Seperti yang dijelaskan Hadley, temuan laporan menunjukkan adanya celah signifikan dalam kebijakan perusahaan saat ini.
“Saya selalu menggambarkan TikTok, jika berbicara tentang penggunaan ekstrem kanan, sebagai platform pengiriman pesan,” kata Richards. “Lebih dari apa pun, ini hanya tentang pengulangan. Ini tentang terpapar narasi kebencian yang sama berulang-ulang, karena pada titik tertentu Anda mulai mempercayai sesuatu setelah Anda cukup sering melihatnya, dan hal itu mulai benar-benar memengaruhi pandangan dunia Anda.”
