Wakil presiden dari Meta, YouTube, Twitter, dan Microsoft berkumpul melalui Zoom pada Maret 2023 untuk membahas apakah akan mengizinkan TikTok, salah satu pesaing paling menakutkan perusahaan mereka, masuk ke klub eksklusif mereka.
Keempat eksekutif tersebut merupakan dewan di Forum Internet Global untuk Melawan Terorisme (GIFCT)—di mana perusahaan-perusahaan berbagi tips untuk mencegah platform mereka menjadi sarang teroris—dan mereka tahu bahwa TikTok membutuhkan bantuan menjauhkan propaganda ekstremis dari platformnya. TikTok telah lulus program pelatihan yang mereka perlukan dan telah menjawab pertanyaan-pertanyaan mereka tentang hubungannya dengan Tiongkok. Namun orang-orang yang mendapat penjelasan tentang diskusi tersebut mengatakan dewan masih khawatir tentang kemungkinan TikTok menyalahgunakan keanggotaannya dalam beberapa hal yang menguntungkan pemerintah Tiongkok dan melemahkan kebebasan berekspresi. Selain itu, pada saat itu anggota parlemen AS sedang mempertimbangkan a larangan aplikasidan lebih banyak kesalahan moderasi konten pada TikTok kemungkinan akan menambah panasnya. Dewan akhirnya tidak menyetujui TikTok.
Investigasi WIRED terhadap GIFCT mengungkapkan bahwa tawaran TikTok untuk bergabung dengan konsorsium gagal karena dua dari empat eksekutif di dewan abstain dalam pemungutan suara mengenai permohonannya. Seminggu kemudian, pada ulang tahun keempat serangan teroris mematikan di Christchurch, Selandia Barupeneliti kecam TikTok untuk menjadi tuan rumah rekaman merayakan amukan tersebut. Ini adalah video-video yang akan dengan mudah ditandai dan dihapus jika pesaing TikTok memberinya akses ke teknologi deteksi ancaman milik grup mereka.
Sekitar waktu yang sama, anggota dewan menolak mengakui perusahaan induk PornHub, dengan alasan kekhawatiran mengenai apakah kebijakan kontennya memenuhi standar keanggotaan. Sebagai perbandingan, tahun lalu dewan dengan cepat menyetujui aplikasi sosial Prancis Yubo yang tidak bermasalah. GIFCTSaran yang dibuat khusus oleh perusahaan ini memungkinkan startup tersebut mengidentifikasi 50 akun mencurigakan yang dilaporkan ke penegak hukum, menurut Marc-Antoine Durand, chief operating officer Yubo.
Baru-baru ini, meskipun memiliki wewenang untuk melakukan hal tersebut, Meta, Microsoft, dan YouTube menolak untuk mengeluarkan Twitter (sekarang X) dari dewan bahkan ketika platform tersebut praktik moderasi konten yang santai di bawah kepemimpinan Elon Musk mengancam akan merusak reputasi GIFCT dan perusahaan anggota lainnya secara lebih luas. Bulan ini, X diam-diam meninggalkan dewan secara sukarela.
Keputusan keanggotaan yang rahasia ini, diungkapkan untuk pertama kalinya oleh WIRED, menunjukkan bagaimana Microsoft, Meta, YouTube, dan X menjaga akses terhadap panduan anti-terorisme dan memengaruhi konten yang ditemui pengguna di seluruh web. Investigasi kami juga mengungkap pilihan penggalangan dana yang kontroversial yang dilakukan keempat perusahaan tersebut dan konsekuensi dari kurangnya pemeriksaan kendali mutu dalam sistem yang mereka gembar-gemborkan dalam menandai ekstremisme kekerasan.
Untuk memahami cara kerja konsorsium, WIRED meninjau catatan pertimbangan internal GIFCT dan berbicara dengan 26 orang yang terhubung langsung dengan organisasi, termasuk pimpinan, staf, penasihat, dan mitra. Beberapa orang percaya Meta, Microsoft, YouTube, dan X telah mengarahkan konsorsium dengan cara yang merusak potensinya. “Hasilnya hampir pasti lebih banyak penggunanya sedang diradikalisasi,” klaim salah satu sumber, yang terus berhubungan dengan GIFCT sejak awal berdirinya. Banyak orang mencari anonimitas karena perusahaan atau GIFCT mereka tidak mengizinkan berbicara dengan WIRED.
Keempat raksasa teknologi tersebut telah memimpin konsorsium tersebut sejak mereka mengumumkannya pada tahun 2016ketika pemerintah Barat sedang mencaci-maki mereka karena mengizinkan ISIS mengunggah video mengerikan yang menampilkan jurnalis dan aktivis kemanusiaan dipenggal. Kini dengan delapan staf, GIFCT—yang diorganisir oleh dewan tersebut sebagai organisasi nirlaba AS pada tahun 2019 setelah peristiwa tersebut Pembantaian Christchurch—adalah salah satu kelompok yang menjadi wadah bagi para pesaing teknologi untuk bekerja sama guna mengatasi dampak buruk yang terjadi secara online, termasuk pelecehan anak dan perdagangan gelap gambar intim.
Upaya ini telah membantu menghapus beberapa konten yang tidak diinginkan, dan menunjukkan bahwa hal tersebut dapat membantu perusahaan menghindari peraturan yang memberatkan. Namun politik yang terlibat dalam pengelolaan konsorsium umumnya tetap dirahasiakan.
Hanya delapan dari 25 perusahaan anggota GIFCT yang menjawab permintaan komentar WIRED. Para responden, termasuk Meta, Microsoft, dan YouTube, semuanya mengatakan bahwa mereka bangga menjadi bagian dari kelompok yang mereka anggap berharga. Direktur eksekutif konsorsium, Naureen Chowdhury Fink, tidak membantah laporan WIRED. Dia mengatakan TikTok masih dalam proses untuk mendapatkan keanggotaan.
GIFCT mengandalkan atas kontribusi sukarela dari para anggotanya untuk mendanai sekitar $4 juta yang dibelanjakan setiap tahunnya, yang mencakup gaji, penelitian, dan perjalanan. Dari tahun 2020 hingga 2022, Microsoft, Google, dan Meta masing-masing menyumbangkan sejumlah setidaknya $4 juta dan Twitter $600.000, sesuai dengan pengajuan publik yang tersedia. Beberapa perusahaan lain menyumbang puluhan ribu atau ratusan ribu dolar, namun sebagian besar tidak membayar apa pun.
Pada tahun lalu, setidaknya dua anggota dewan direksi marah terhadap perusahaan yang mereka anggap sebagai pekerja lepas, dan ketakutan menyebar di kalangan staf organisasi nirlaba mengenai apakah pekerjaan mereka terancam. Itu tidak membantu sebagai Musk mengubah Twitter menjadi X sekitar setahun yang lalu, dia terus memangkas biayatermasuk menangguhkan pemeriksaan opsional perusahaan ke GIFCT, menurut dua orang yang memiliki pengetahuan langsung.
Untuk mendiversifikasi pendanaan, dewan telah menandatangani perjanjian dengan yayasan dan bahkan menjajaki hibah pemerintah untuk proyek-proyek non-inti. “Kami benar-benar harus mempertimbangkan dengan hati-hati apakah hal ini masuk akal,” kata Chowdhury Fink. “Tetapi terkadang bekerja dengan banyak pemangku kepentingan sangatlah membantu.”
Aktivis hak asasi manusia yang berkonsultasi secara pribadi dengan kelompok tersebut mempertanyakan apakah hal ini termasuk subsidi bagi raksasa teknologi, yang dapat menyedot sumber daya dari proyek anti-ekstremisme yang berpotensi lebih kuat. Namun catatan menunjukkan staf sedang mempertimbangkan untuk mencari hibah lebih dari puluhan ribu dolar dari filantropi pro-Israel Newton dan Rochelle Becker Charitable Trust. Chowdhury Fink mengatakan GIFCT pada akhirnya tidak berlaku.
Tahun ini, Meta, YouTube, Microsoft, dan X mengubah peraturan GIFCT untuk mewajibkan kontribusi tahunan minimum dari setiap anggota mulai tahun 2025, meskipun Chowdhury Fink mengatakan pengecualian masih mungkin dilakukan.
Anggota yang membayar akan dapat memilih dua kursi dewan, katanya. Kelayakan untuk menjadi dewan bergantung pada pemberian sumbangan yang lebih besar. X telah memberi isyarat bahwa mereka tidak akan membayar dan karena itu akan kehilangan kursinya, kata dua sumber—sebuah perkembangan yang akhirnya terjadi bulan ini. Dewan tersebut telah dijadwalkan untuk mengadakan pemisahan kekuasaan di antara empat dewan direksi pada tahun 2025. (Berdasarkan peraturan tersebut, Meta, YouTube, dan Microsoft bisa saja mengeluarkan Twitter dari dewan direksi segera setelah Musk mengakuisisi perusahaan tersebut. Namun mereka memilih untuk tidak melaksanakan wewenang tersebut. kekuatan.)
Banyak orang yang dekat dengan GIFCT yang berbicara dengan WIRED berpendapat bahwa Meta, YouTube, dan Microsoft harus membuang X sama sekali karena diduga telah mengizinkan ekstremis untuk secara terbuka terlibat dalam perilaku terlarang di platformnya. seperti dilaporkan menjual senjata. Waktu bulan lalu melaporkan panggilan untuk mengusir X.
Salinan publik dari “solusi teknologi” GIFCT kode etik sebagian besar disunting karena “keamanan operasional,” namun disebutkan bahwa sebuah perusahaan dapat dilarang karena “perilaku tidak pantas yang berkelanjutan.” Oleh cerita konsorsium sendiri“keanggotaan harus diakui dan diapresiasi sebagai indikasi kuat pengelolaan yang baik bagi internet dan penggunanya.” X melaporkan bulan ini bahwa mereka menangguhkan lebih dari 57.000 akun pada paruh pertama tahun ini karena melanggar kebijakan entitas yang berisi kekerasan dan kebencian. Itu tidak menanggapi permintaan komentar.
Keempat perusahaan tersebut yang bertanggung jawab atas GIFCT juga memiliki peran yang penting dan jarang dikaji dalam respons krisis, yang merupakan salah satu fungsi organisasi yang paling terlihat. Kelompok ini menggunakan teknologi—skrip komputer yang mengubah file gambar, video, dan teks menjadi kode pendek dan berbeda—untuk mengunggah hash konten bermasalah yang mereka temukan ke database yang dioperasikan oleh staf GIFCT dan dihosting di server Meta. Anggota kemudian dapat membandingkan jutaan hash dalam database dengan hash konten di layanan mereka dan cukup yakin bahwa kecocokan mungkin mencerminkan postingan yang harus mereka hapus.
Setelah seorang pria bersenjata streaming langsung di Twitch menembak mati 10 orang di supermarket Buffalo, New York pada awal tahun 2022, seorang pekerja di perusahaan anggota memberi tahu komunitas Slack bahwa GIFCT menjadi tuan rumah untuk berbagi tips. Begitu staf GIFCT melihat pesan tersebut, mereka mulai menghubungi YouTube, Meta, Twitter, dan Microsoft. Setidaknya tiga dari dewan perusahaan harus menandatangani peringatan ancaman paling serius dari grup tersebut, yang akhirnya mereka lakukan untuk ketiga kalinya sekitar dua jam setelah pengambilan gambar.
Dalam waktu hampir 26 jam setelah dewan membunyikan alarm untuk Buffalo, para anggota mengunggah hash sekitar 870 video dan gambar bermasalah penembakan itu. Kemudian, GIFCT mempekerjakan seorang peneliti lepas, yang memberikan ribuan hash yang mencakup bagian-bagian dari manifesto penembak yang kemungkinan besar akan diposkan ulang oleh orang-orang.
Perusahaan berpendapat bahwa pembagian hash telah membawa efisiensi ke bidang moderasi yang kompleks. Mereka menghindari biaya dan potensi pelanggaran privasi pengguna dalam pertukaran file media raksasa, sementara kolaborasi ini bisa dibilang memperlambat penyebaran konten sebelum menjadi terlalu mustahil untuk dibendung.
Namun di bawah kepemimpinan YouTube, Meta, Twitter, dan Microsoft, GIFCT hanya menerapkan sedikit transparansi dan menerapkan sedikit perlindungan untuk menghindari perusahaan menghapus konten non-kekerasan secara keliru. Tak satu pun dari 25 anggotanya mengungkapkan jumlah konten yang dihapus akibat pencocokan hash, apalagi berapa banyak dari penghapusan tersebut yang diajukan banding oleh penggunanya. Hanya YouTube yang melaporkan kontribusinya ke database—tentang 45.000 hash tahun lalu. Kelompok tersebut menolak untuk mengatakan berapa banyak yang ditambahkan oleh stafnya sendiri atau sebagai hasil dari petunjuk dari peneliti atau pemerintah, dan sejauh mana mereka memeriksa hash dari pihak luar.
Bahkan perusahaan mana yang saat ini menggunakan database tersebut tidak bersifat publik; sejak tahun laluhanya 13 anggota yang memiliki akses. Grup tersebut tidak mengetahui berapa banyak dari mereka yang meninjau konten secara manual—dibandingkan mengandalkan otomatisasi—sebelum membagikan hash atau bertindak berdasarkan kecocokan. “Hal itulah yang saya coba eksplorasi lebih jauh,” kata Skip Gilmour, direktur kebijakan dan solusi teknologi GIFCT yang baru-baru ini direkrut.
Konsorsium teknologi menegaskan bahwa konten yang tidak berbahaya jarang masuk ke database. Tapi papannya belum mengizinkan audit dari luar atau memerintahkan peninjauan internal yang komprehensif meskipun terdapat penyimpangan yang dikonfirmasi.
Pada tahun 2022, sebuah perusahaan media sosial menyadari bahwa dua hash dari database cocok dengan ribuan salinan video musik di layanannya. Lagu yang dimaksud? WIRED mengetahui bahwa itu adalah “Never Gonna Give You Up,” lagu pop Rick Astley berubah menjadi meme lelucon tentang cinta dan kasih sayang. HADIAH sebelumnya diungkapkan kesalahan tanpa menyebutkan nama lagunya. Belum dijelaskan mengapa perusahaan lain mengirimkan lagu tersebut. Erin Saltman, direktur program dan keanggotaan GIFCT, mengatakan “pengujian” dan “hash sampel” terkadang menjadi penyebabnya.
Audit kecil yang dilakukan oleh beberapa anggota pada tahun 2022 juga menandai pengajuan yang tidak valid, yang jumlahnya tidak pernah diungkapkan oleh konsorsium teknologi. Namun menghapusnya, bahkan ketika materi baru ditambahkan, memotong database menjadi 2,1 juta hash pada bulan Oktober dari 2,3 juta sekitar 18 bulan sebelumnya.
Tahun ini, Komisioner eSafety Australia—yang rekan-rekannya di Departemen Dalam Negeri merupakan penasihat resmi GIFCT—meminta Google, Meta, dan X menyerahkan rincian tentang upaya kontraterorisme mereka. Temuan ini diharapkan akan dipublikasikan pada akhirnya. “Kami tidak tahu jawaban atas sejumlah pertanyaan mendasar tentang sistem, pro proses, dan sumber daya yang dimiliki oleh raksasa teknologi ini,” kantor eSafety menulis.
Beberapa kritikus bagaimana Meta, YouTube, Microsoft, dan X menjalankan forum kontraterorisme mengatakan bahwa perusahaan-perusahaan tersebut telah memiliki pedoman untuk melindungi ucapan yang sah dan dengan lebih baik mengekang kebencian yang memicu kekerasan. GIFCT menugaskan penilaian dampak hak asasi manusia dari perusahaan konsultan BSR yang diterbitkan pada tahun 2021 dan merekomendasikan 47 perubahan—banyak di antaranya yang belum dilaksanakan oleh dewan.
Tanpa menyebut nama TikTok atau siapa pun secara spesifik, para penilai menyarankan untuk menyetujui keanggotaan perusahaan-perusahaan non-AS yang berisiko tinggi “dengan langkah-langkah yang tepat” untuk meminimalkan dampak buruk terhadap hak asasi manusia, karena hal ini akan membuat GIFCT “berada pada posisi yang lebih baik” untuk melawan ekstremisme. Mereka merekomendasikan untuk melarang anggota menyumbangkan hash tanpa tinjauan manusia. Dan mereka menggambarkan dewan yang hanya terdiri dari empat anggota pendiri sebagai “bukan model yang berkelanjutan,” dan mengusulkan agar aktivis dan akademisi mengambil separuh kursi.
GIFCT juga memiliki komite penasihat independen yang terbentuk pada tahun 2020namun Meta, YouTube, Microsoft, dan X tidak selalu menerapkan sarannya. Direktur eksekutif GIFCT pada saat itu menagih para penasihat sebagai hati nurani konsorsium. Namun beberapa dari hampir dua lusin profesor, aktivis hak asasi manusia, dan pemerintah yang membentuk panel tersebut merasa diabaikan, dan beberapa di antaranya “diam-diam berhenti” tahun ini. “Kami tidak mempunyai kekuatan nyata,” kata Courtney Radsch, seorang advokat kebebasan berekspresi di panel penasihat. “[GIFCT] adalah contoh lain bagaimana regulasi mandiri di bidang teknologi tidak efektif dan tidak memadai. Untuk mengatasi penyalahgunaan nyata yang terjadi pada platform ini, kita perlu memiliki struktur tata kelola yang lebih bermakna dengan akuntabilitas dan transparansi.”
Direktur eksekutif saat ini, Chowdhury Fink, mengatakan dia menghargai kritik konstruktif dari para penasihat. Secara pribadi, staf GIFCT telah mencatat diskusi antara penasihat dan Meta, YouTube, Microsoft, dan X sebagai “menegang,” menurut catatan. (Penilaian hak asasi manusia merekomendasikan agar GIFCT mempublikasikan notulen rapat dewan dan panel penasihat. Hal ini tidak terjadi.)
Perdebatan utamanya adalah apakah GIFCT tidak memenuhi kata “global” dalam namanya. Staf telah membantu perusahaan menanggapi serangan teror di sekitar 60 negara. Namun beberapa penasihat ingin mereka merekrut lebih banyak perusahaan yang mempunyai pengaruh di luar Amerika. Mereka mendesak penekanan yang lebih besar pada alat untuk menekan supremasi kulit putih Dan geng sayap kanan; peningkatan perhatian dalam mempelajari kekerasan di Afrika (di mana wilayah sub-Sahara dianggap sebagai “episentrum” terorisme yang baru) dan masuk Asia; dan perubahan dari apa yang mereka anggap sebagai fokus yang tidak proporsional dalam membendung ekstremisme Islam.
“Tidak terlalu berpusat pada Euro-Amerika Utara dan lebih berpusat pada dunia,” kata Ghayda Hassan, psikolog klinis di Universitas Quebec di Montreal yang mengetuai panel penasihat, di atas panggung pada pertemuan puncak tahunan konsorsium di Singapura tahun ini.
Hassan memberi tahu WIRED bahwa para penasihat baru-baru ini menulis surat kepada dewan dengan keprihatinan tentang kepemimpinan mereka. Dia berharap penambahan anggota dewan baru menjadi hal yang vital. “Dewan harus lebih beragam dan inklusif, seperti halnya GIFCT secara keseluruhan perlu melakukan diversifikasi.”
Beberapa penasihat dan staf GIFCT memprotes izin dewan tersebut konsorsium untuk memfasilitasi apa yang disebutnya “tindakan yang tepat waktu dan efektif untuk menghapus konten teroris dan ekstremis kekerasan” yang terkait dengan perang Israel dengan Hamas yang sedang berlangsung. Kelompok ini menghindari menjadi saluran penghapusan konten selama perang lainnya, dan beberapa karyawan menganggap keterlibatan mereka dalam krisis Gaza sebagai bentuk keberpihakan pada Israel, kata dua orang yang mengetahui langsung kekhawatiran tersebut. PBB, yang definisinya tercantum dalam GIFCT, tidak mencantumkan Hamas maupun Israel sebagai kelompok teroris. Direktur GIFCT Saltman mengatakan dia telah mengumpulkan saran untuk menangani “perang yang berkepanjangan.”
Hampir semua orang yang diajak bicara oleh WIRED, termasuk kritikus GIFCT, percaya bahwa keadaan dunia akan menjadi lebih buruk tanpa adanya koordinasi. Alternatifnya adalah perusahaan-perusahaan berjuang untuk menutup kesenjangan yang saling berhubungan dan pemerintah menerapkan sensor yang lebih ketat. “Kekacauan global,” kata Farzaneh Badiei, yang menjalankan konsultan tata kelola internet Digital Medusa dan ikut menulis penelitian GIFT.
Layanan yang dihentikan oleh dewan GIFCT, termasuk TikTok dan PornHub, mendapat bantuan dari Tech Against Terrorism, sebuah inisiatif yang didanai oleh pemerintah seperti Kanada, Inggris, dan Prancis serta perusahaan teknologi. Ini secara otomatis memperingatkan 135 perusahaan terhadap konten ekstremis di layanan mereka dan akan segera diluncurkan sebuah program sertifikasi dan databasenya sendiri untuk berbagi hash gambar.
GIFCT telah membayar Tech Against Terrorism ratusan ribu dolar setiap tahunnya untuk mengevaluasi dan melatih calon anggota GIFCT. Namun semakin meningkatnya perselisihan antara kedua organisasi mengenai tujuan dan identitas mereka yang tumpang tindih, memperburuk hubungan. Microsoft, YouTube, Meta, dan X memutuskan untuk menghentikan kontrak dengan Tech Against Terrorism dan mengkonsolidasikan kendali atas proses tersebut: staf GIFCT akan menangani pelatihan mulai tahun depan.
Pelaporan tambahan oleh Vittoria Elliott dan David Gilbert.
