Kurang dari tiga bulan setelah Apple diam-diam memperkenalkan alat bagi penerbit untuk memilih keluar dari Pelatihan AIsejumlah media berita terkemuka dan platform sosial telah meliputnya.
WIRED dapat mengonfirmasi bahwa Facebook, Instagram, Craigslist, Tumblr, The New York Times, The Financial Times, The Atlantic, Vox Media, jaringan USA Today, dan perusahaan induk WIRED, Condé Nast, termasuk di antara banyak organisasi yang memilih untuk mengecualikan data mereka dari pelatihan AI Apple. Penerimaan yang dingin mencerminkan perubahan signifikan dalam persepsi dan penggunaan perayap robot yang telah menjelajahi web selama beberapa dekade. Sekarang bot ini memainkan peran penting dalam mengumpulkan data pelatihan AI, mereka telah menjadi zona konflik atas kekayaan intelektual dan masa depan web.
Alat baru ini, Applebot-Extended, merupakan ekstensi dari bot perayapan web Apple yang secara khusus memungkinkan pemilik situs web memberi tahu Apple untuk tidak menggunakan data mereka untuk pelatihan AI. (Apple menyebut ini sebagai “pengendalian penggunaan data” dalam sebuah postingan blog menjelaskan cara kerjanya.) Applebot asli, yang diumumkan pada tahun 2015, awalnya menjelajahi internet untuk mendukung produk pencarian Apple seperti Siri dan Spotlight. Namun, baru-baru ini, tujuan Applebot telah berkembang: Data yang dikumpulkannya juga dapat digunakan untuk melatih model dasar yang dibuat Apple untuk upaya AI-nya.
Applebot-Extended adalah cara untuk menghormati hak penerbit, kata juru bicara Apple Nadine Haija. Applebot-Extended sebenarnya tidak menghentikan Applebot asli untuk merayapi situs web—yang kemudian akan memengaruhi cara konten situs web tersebut muncul di produk pencarian Apple—tetapi sebaliknya mencegah data tersebut digunakan untuk melatih model bahasa besar Apple dan proyek AI generatif lainnya. Intinya, ini adalah bot untuk menyesuaikan cara kerja bot lain.
Penerbit dapat memblokir Applebot-Extended dengan memperbarui berkas teks di situs web mereka yang dikenal sebagai Robots Exclusion Protocol, atau robots.txt. Berkas ini telah mengatur cara bot melakukan scraping web selama beberapa dekade—dan seperti bot itu sendiri, berkas ini kini menjadi pusat perdebatan yang lebih besar mengenai cara AI dilatih. Banyak penerbit telah sudah diperbarui file robots.txt mereka untuk memblokir bot AI dari OpenAI, Anthropic, dan pelaku AI utama lainnya.
Robots.txt memungkinkan pemilik situs web untuk memblokir atau mengizinkan bot berdasarkan kasus per kasus. Meskipun tidak ada kewajiban hukum bagi bot untuk mematuhi apa yang dikatakan berkas teks, kepatuhan merupakan norma yang sudah lama berlaku. (Norma yang terkadang diabaikan: Awal tahun ini, investigasi WIRED mengungkapkan bahwa Startup AI Perplexity mengabaikan robots.txt dan diam-diam mengikis situs web.)
Applebot-Extended masih sangat baru sehingga relatif sedikit situs web yang memblokirnya. Startup deteksi AI yang berbasis di Ontario, Kanada Orisinalitas AI menganalisis sampel dari 1.000 situs web dengan lalu lintas tinggi minggu lalu dan menemukan bahwa sekitar 7 persen—terutama outlet berita dan media—memblokir Applebot-Extended. Minggu ini, layanan pengawas agen AI Pengunjung Gelap melakukan analisisnya sendiri terhadap sampel lain dari 1.000 situs web dengan lalu lintas tinggi, dan menemukan bahwa sekitar 6 persen telah memblokir bot tersebut. Secara keseluruhan, upaya ini menunjukkan bahwa sebagian besar pemilik situs web tidak keberatan dengan praktik pelatihan AI Apple, mereka tidak menyadari adanya opsi untuk memblokir Applebot-Extended.
Dalam analisis terpisah yang dilakukan minggu ini, jurnalis data Ben Welsh menemukan bahwa lebih dari seperempat situs web berita yang disurveinya (294 dari 1.167 publikasi berbasis AS yang sebagian besar berbahasa Inggris) memblokir Applebot-Extended. Sebagai perbandingan, Welsh menemukan bahwa 53 persen situs web berita dalam sampelnya memblokir bot OpenAI. Google memperkenalkan bot khusus AI-nya sendiri, Google-Extended, September lalu; bot tersebut diblokir oleh hampir 43 persen situs tersebut, sebuah tanda bahwa Applebot-Extended mungkin masih di bawah radar. Namun, seperti yang dikatakan Welsh kepada WIRED, jumlahnya telah “berangsur-angsur” meningkat sejak ia mulai mencari.
Welsh memiliki proyek yang sedang berlangsung memantau bagaimana media berita mendekati agen AI utama. “Sedikit perbedaan pendapat muncul di antara penerbit berita tentang apakah mereka ingin memblokir bot ini atau tidak,” katanya. “Saya tidak tahu jawaban mengapa setiap organisasi berita membuat keputusannya. Jelas, kita dapat membaca tentang banyak dari mereka yang membuat kesepakatan lisensi, di mana mereka dibayar sebagai imbalan untuk mengizinkan bot masuk—mungkin itu faktornya.”
Tahun lalu, The New York Times dilaporkan bahwa Apple berusaha untuk mencapai kesepakatan AI dengan penerbit. Sejak saat itu, pesaing seperti OpenAI dan Perplexity telah diumumkan kemitraan dengan berbagai outlet berita, platform sosial, dan situs web populer lainnya. “Banyak penerbit terbesar di dunia jelas mengambil pendekatan strategis,” kata pendiri Originality AI Jon Gillham. “Saya pikir dalam beberapa kasus, ada strategi bisnis yang terlibat—seperti, menahan data hingga perjanjian kemitraan diberlakukan.”
Ada beberapa bukti yang mendukung teori Gillham. Misalnya, situs web Condé Nast dulu memblokir perayap web OpenAI. Setelah perusahaan mengumumkan kemitraan dengan OpenAI minggu lalu, perusahaan itu membuka blokir bot milik perusahaan itu. (Condé Nast menolak berkomentar untuk berita ini.) Sementara itu, juru bicara Buzzfeed Juliana Clifton mengatakan kepada WIRED bahwa perusahaan itu, yang saat ini memblokir Applebot-Extended, memasukkan setiap bot perayapan web AI yang dapat diidentifikasi ke dalam daftar blokirnya kecuali pemiliknya telah menjalin kemitraan—biasanya berbayar—dengan perusahaan itu, yang juga memiliki Huffington Post.
Karena robots.txt perlu diedit secara manual, dan ada begitu banyak agen AI baru yang bermunculan, mungkin sulit untuk selalu memperbarui daftar blokir. “Orang-orang tidak tahu apa yang harus diblokir,” kata pendiri Dark Visitors, Gavin King. Dark Visitors menawarkan layanan freemium yang secara otomatis memperbarui robots.txt situs klien, dan King mengatakan penerbit merupakan bagian besar dari kliennya karena masalah hak cipta.
Robots.txt mungkin tampak seperti wilayah yang tidak diketahui oleh webmaster—tetapi mengingat pentingnya robots.txt bagi penerbit digital di era AI, robots.txt kini menjadi domain para eksekutif media. WIRED mengetahui bahwa dua CEO dari perusahaan media besar secara langsung memutuskan bot mana yang akan diblokir.
Beberapa media telah secara eksplisit menyatakan bahwa mereka memblokir alat pengikisan AI karena saat ini mereka tidak memiliki kemitraan dengan pemiliknya. “Kami memblokir Applebot-Extended di semua properti Vox Media, seperti yang telah kami lakukan dengan banyak alat pengikisan AI lainnya saat kami tidak memiliki perjanjian komersial dengan pihak lain,” kata Lauren Starke, wakil presiden senior bidang komunikasi Vox Media. “Kami percaya pada perlindungan nilai dari karya kami yang dipublikasikan.”
Pihak lain hanya akan menjelaskan alasan mereka dengan istilah yang samar—tetapi lugas!. “Tim memutuskan, pada saat ini, tidak ada gunanya mengizinkan Applebot-Extended mengakses konten kami,” kata kepala komunikasi Gannett, Lark-Marie Antón.
Sementara itu, The New York Times, yang menggugat OpenAI atas pelanggaran hak cipta, mengkritik sifat opt-out Applebot-Extended dan sejenisnya. “Seperti yang dijelaskan dalam undang-undang dan ketentuan layanan The Times sendiri, pengikisan atau penggunaan konten kami untuk tujuan komersial dilarang tanpa izin tertulis kami sebelumnya,” kata direktur komunikasi eksternal NYT Charlie Stadtlander, yang mencatat bahwa Times akan terus menambahkan bot yang tidak sah ke daftar blokirnya saat menemukannya. “Yang penting, undang-undang hak cipta tetap berlaku terlepas dari apakah tindakan pemblokiran teknis diberlakukan atau tidak. Pencurian materi berhak cipta bukanlah sesuatu yang harus dihindari oleh pemilik konten.”
Tidak jelas apakah Apple semakin dekat untuk menutup kesepakatan dengan penerbit. Namun, jika atau ketika hal itu terjadi, konsekuensi dari setiap pengaturan lisensi atau pembagian data mungkin terlihat dalam file robots.txt bahkan sebelum diumumkan ke publik.
“Saya merasa sangat menarik bahwa salah satu teknologi terpenting di era kita sedang dikembangkan, dan pertarungan untuk mendapatkan data pelatihannya terjadi pada berkas teks yang sangat tidak jelas ini, di depan umum agar kita semua dapat melihatnya,” kata Gillham.
