Perusahaan infrastruktur internet awanflare meluncurkan serangkaian alat yang dapat membantu mengubah dinamika kekuatan antara perusahaan AI dan situs web yang mereka telusuri untuk mendapatkan data. Kini, perusahaan tersebut memberikan semua pelanggannya—termasuk sekitar 33 juta pengguna layanan gratisnya—kemampuan untuk memantau dan memblokir bot pengikis data AI secara selektif.
Tindakan pencegahan tersebut hadir dalam bentuk rangkaian alat audit AI gratis yang disebut Bot Management, yang pertama memungkinkan pemantauan bot secara real-time. Pelanggan akan memiliki akses ke dasbor yang menunjukkan perayap AI mana yang mengunjungi situs web mereka dan mengumpulkan data, termasuk yang mencoba menyamarkan perilaku mereka.
“Kami telah memberi label pada semua perayap AI, meskipun mereka mencoba menyembunyikan identitas mereka,” kata salah seorang pendiri dan CEO Cloudflare, Matthew Prince, yang berbicara kepada WIRED dari kantor pusat perusahaan di Eropa di Lisbon, Portugal, tempat ia bertugas selama beberapa bulan terakhir.
Cloudflare juga telah meluncurkan layanan pemblokiran bot yang diperluas, yang memberi pelanggan opsi untuk memblokir semua agen AI yang dikenal, atau memblokir beberapa dan mengizinkan yang lain. Awal tahun ini, Cloudflare meluncurkan alat yang memungkinkan pelanggan untuk memblokir semua bot AI yang dikenal sekaligus; versi baru ini menawarkan kontrol yang lebih besar untuk memilih bot mana yang ingin mereka blokir atau izinkan. Ini lebih seperti pahat daripada palu godam, semakin berguna saat penerbit dan platform membuat kesepakatan dengan perusahaan AI yang memungkinkan bot berkeliaran bebas.
“Kami ingin memudahkan siapa pun, terlepas dari anggaran atau tingkat kecanggihan teknis mereka, untuk memiliki kendali atas cara bot AI menggunakan konten mereka,” kata Prince. Cloudflare memberi label bot sesuai dengan fungsinya, sehingga agen AI yang digunakan untuk mengumpulkan data pelatihan dibedakan dari agen AI yang menarik data untuk produk pencarian yang lebih baru, seperti OpenAI PencarianGPT.
Atas kebaikan Cloudflare
Situs web biasanya mencoba mengontrol bagaimana robot kecerdasan buatan merayapi data mereka dengan memperbarui berkas teks yang disebut Protokol Pengecualian Robot, atau robots.txt. Berkas ini telah mengatur cara bot mengikis web selama beberapa dekade. Mengabaikan robots.txt bukanlah hal yang ilegal, tetapi sebelum era AI, hal itu umumnya dianggap sebagai bagian dari kode sosial web untuk menghormati instruksi dalam berkas tersebut. Sejak masuknya agen pengikis AI, banyak situs web telah mencoba untuk membatasi perayapan yang tidak diinginkan dengan mengedit berkas robots.txt mereka. Layanan seperti pengawas agen AI Pengunjung Gelap menawarkan alat untuk membantu pemilik situs web tetap memantau jumlah perayap yang terus meningkat yang mungkin ingin mereka blokir, tetapi mereka dibatasi oleh celah besar: perusahaan yang tidak bermoral cenderung mengabaikan atau menghindari perintah robots.txt.
Menurut pendiri Dark Visitors Gavin King, sebagian besar agen AI utama masih mematuhi robots.txt. “Itu cukup konsisten,” katanya. Namun, tidak semua pemilik situs web punya waktu atau pengetahuan untuk terus memperbarui file robots.txt mereka. Dan bahkan ketika mereka melakukannya, beberapa bot akan mengabaikan perintah file tersebut: “Mereka mencoba menyamarkan lalu lintas.”
Prince mengatakan pemblokiran bot Cloudflare bukanlah perintah yang dapat diabaikan oleh pelaku kejahatan semacam ini. “Robots.txt seperti memasang tanda ‘dilarang masuk’,” katanya. “Ini seperti memiliki tembok fisik yang dipatroli oleh penjaga bersenjata.” Sama seperti menandai jenis perilaku web mencurigakan lainnya, seperti bot pengumpul harga yang digunakan untuk pemantauan harga ilegal, perusahaan telah membuat proses untuk menemukan bahkan perayap AI yang paling tersembunyi sekalipun.
Cloudflare juga mengumumkan pasar yang akan datang bagi pelanggan untuk menegosiasikan persyaratan penggunaan scraping dengan perusahaan AI, baik itu melibatkan pembayaran untuk menggunakan konten atau barter untuk mendapatkan kredit untuk menggunakan layanan AI sebagai ganti scraping. “Kami tidak terlalu peduli apa pun transaksinya, tetapi kami pikir perlu ada cara untuk memberikan nilai kembali kepada kreator konten asli,” kata Prince. “Kompensasinya tidak harus berupa dolar. Kompensasinya bisa berupa kredit atau pengakuan. Bisa banyak hal yang berbeda.”
Belum ada tanggal pasti kapan pasar tersebut akan diluncurkan, namun meskipun diluncurkan tahun ini, pasar tersebut akan bergabung dengan pasar yang semakin berkembang. lapangan yang penuh sesak dari proyek yang dimaksudkan untuk memfasilitasi perjanjian lisensi dan pengaturan izin lainnya antara perusahaan AI, penerbit, platform, dan situs web lainnya.
Apa pendapat perusahaan AI tentang hal ini? “Kami telah berbicara dengan sebagian besar dari mereka, dan reaksi mereka beragam, mulai dari ‘ini masuk akal dan kami terbuka’ hingga ‘pergi saja ke neraka’,” kata Prince. (Namun, ia tidak mau menyebutkan nama.)
Proyek ini berjalan cukup cepat. Prince mengutip percakapan dengan CEO Atlantic (dan mantan pemimpin redaksi WIRED) Nick Thompson sebagai inspirasi untuk proyek tersebut; Thompson telah membahas tentang banyaknya penerbit yang berbeda yang telah menghadapi pengikis web secara diam-diam. “Saya senang dia melakukannya,” kata Thompson. Jika bahkan organisasi media besar berjuang untuk mengatasi masuknya pengikis, menurut Prince, para blogger independen dan pemilik situs web akan menghadapi kesulitan yang lebih besar.
Cloudflare telah menjadi perusahaan keamanan web terkemuka selama bertahun-tahun, dan menyediakan sebagian besar infrastruktur yang menopang web. Secara historis, perusahaan ini tetap bersikap netral sebisa mungkin tentang konten situs web yang dilayaninya; kesempatan langka Meskipun ada pengecualian terhadap aturan itu, Prince telah menegaskan bahwa ia tidak ingin Cloudflare menjadi penentu apa yang diizinkan daring.
Di sini, ia melihat Cloudflare sebagai pihak yang diposisikan secara unik untuk mengambil sikap. “Jalan yang kami tempuh tidak berkelanjutan,” kata Prince. “Semoga kami dapat menjadi bagian dari upaya memastikan bahwa manusia dibayar untuk pekerjaan mereka.”
