Wes Davis adalah editor akhir pekan yang meliput teknologi dan hiburan terbaru. Dia telah menulis berita, ulasan, dan lebih banyak lagi sebagai jurnalis teknologi sejak 2020.
Cloudflare, salah satu perusahaan infrastruktur internet jaringan terbesar di dunia, telah mengumumkan AI Labyrinth, alat baru untuk memerangi bot perayapan web yang mengikis situs untuk data pelatihan AI tanpa izin. Perusahaan mengatakan di posting blog Bahwa ketika mendeteksi “perilaku bot yang tidak tepat,” alat opt-in gratis memikat crawler di jalur tautan ke halaman umpan yang dihasilkan AI yang “memperlambat, membingungkan, dan menyia-nyiakan sumber daya” dari mereka yang bertindak dengan itikad buruk.
Situs web telah lama menggunakan Pendekatan Sistem Kehormatan Robot.txtfile teks yang memberikan atau menolak izin kepada pencakar, tetapi perusahaan AI mana, bahkan yang terkenal seperti antropik Dan AI kebingungantelah dituduh mengabaikan. Cloudflare menulis bahwa ia melihat lebih dari 50 miliar permintaan perayap web per hari, dan meskipun memiliki alat untuk melihat dan memblokir yang jahat, ini sering mendorong penyerang untuk mengganti taktik dalam “perlombaan senjata yang tidak pernah berakhir.”
Cloudflare mengatakan alih -alih memblokir bot, AI Labyrinth bertarung kembali dengan membuatnya memproses data yang tidak ada hubungannya dengan data aktual situs web tertentu. Perusahaan mengatakan juga berfungsi sebagai “honeypot generasi berikutnya,” menggambar dalam perayap AI yang terus mengikuti tautan ke halaman palsu lebih dalam, sedangkan manusia biasa tidak. Dikatakan ini membuatnya lebih mudah untuk sidik jari bot jahat untuk daftar aktor buruk Cloudflare serta mengidentifikasi “pola dan tanda tangan bot baru” itu tidak akan terdeteksi sebaliknya. Menurut pos, tautan ini seharusnya tidak terlihat oleh pengunjung manusia.
Anda dapat membaca lebih lanjut tentang cara kerja AI Labyrinth di blog Cloudflare, tetapi inilah sedikit lebih detail dari posting:
Kami menemukan bahwa menghasilkan beragam topik terlebih dahulu, kemudian membuat konten untuk setiap topik, menghasilkan hasil yang lebih bervariasi dan meyakinkan. Penting bagi kami bahwa kami tidak menghasilkan konten yang tidak akurat yang berkontribusi pada penyebaran informasi yang salah di internet, sehingga konten yang kami hasilkan adalah nyata dan terkait dengan fakta ilmiah, hanya saja tidak relevan atau eksklusif dengan situs yang dirangkak.
Administrator situs web dapat memilih menggunakan AI Labyrinth dengan menavigasi ke bagian manajemen bot dari pengaturan dasbor cloudflare situs mereka dan menyalakannya. Perusahaan mengatakan bahwa ini “hanyalah iterasi pertama menggunakan AI generatif untuk menggagalkan bot.” Ia berencana untuk membuat “seluruh jaringan URL terkait” yang pada akhirnya akan memiliki waktu yang sulit sebagai palsu. Sebagai ARS Technica catatanAI Labyrinth terdengar mirip dengan Nepenthes, sebuah alat yang dirancang untuk mengesampingkan crawler selama “berbulan-bulan” dalam neraka data sampah yang dihasilkan AI.
