CEO Antropis Dario Amodei Prakash Singh—Bloomberg melalui Getty Images/Reuters

Di awal setiap kuartal, saya menghubungi Cloudflare untuk melihat bagaimana perusahaan AI terbesar memperlakukan web. Data terbaru menceritakan kisah yang sudah tidak asing lagi: Penambangan terbuka berlanjut dengan cepat.

Untuk pekan tanggal 1 hingga 7 Juli, data “perayapan untuk merujuk” terbaru ditampilkan Antropis tetap menjadi outlier terbesar. Bot perusahaan AI merayapi halaman web sekitar 2.800 kali untuk setiap satu referensi yang dikirim kembali.

OpenAI tertinggal jauh, diikuti oleh Perplexity di posisi ketiga. Lalu, terjadi penurunan besar lainnya pada Microsoft, diikuti oleh Google.

BebekBebekPergi adalah satu-satunya pemain yang hampir menawarkan keseimbangan yang adil antara mengambil dari web dan memberi kembali, dengan tiga potongan untuk setiap satu referensi, menurut awan suar data.

Bagan yang menunjukkan rasio crawl-to-refer awan suar

Untuk Anthropic, ada peningkatan dari secara kasar 8.800 banding 1 di awal April. Namun, pemeriksaan singkat pada periode tujuh hari terakhir menunjukkan Anthropic masih bekerja keras.

Selama tujuh hari pertama bulan Mei, misalnya, bot perusahaan menggores situs sebanyak 24.700 kali untuk setiap satu referensi. (Mungkin beberapa botnya sedang libur musim panas di awal Juli?)

Metrik Cloudflare mengukur seberapa sering bot perusahaan AI meminta untuk merayapi laman web dibandingkan dengan seberapa sering layanan mereka mengirim pengguna kembali ke situs tersebut. Angka-angka tersebut merupakan gambaran penting mengenai apakah raksasa AI mampu mempertahankan, atau malah melemahkan, hal tersebut tawar-menawar ekonomi yang secara historis mendukung web, tempat situs mengizinkan perayapan gratis dengan imbalan lalu lintas.

Di dunia AI generatif yang baru, kesepakatan ini terjadi mogok. Kini, mesin penjawab AI dan chatbot memberikan jawaban langsung kepada pengguna, sehingga mengurangi kemungkinan orang mengunjungi situs web pembuat konten tersebut. Hal ini mengurangi insentif finansial untuk menampilkan konten berkualitas tinggi di web.

Anthropic mempromosikan dirinya sebagai perusahaan AI yang paling etis, tetapi data ini mengingatkan hal itu apa yang etis atau tidak terkadang tergantung pada yang melihatnya. Saya akan membiarkan Anda memutuskan.

Dalam beberapa bulan terakhir, Anthropic mengkritik pesaingnya karena menggunakan keluaran model AI untuk mengembangkan dan meningkatkan model mereka sendiri. Ini menyebut teknik ini “serangan distilasi” dan mengatakan ini bertentangan dengan persyaratan layanannya.

Mundur sedikit, dan ini mulai terlihat seperti apa yang Anthropic lakukan terhadap situs web: Mengumpulkan konten mereka, sering kali bertentangan dengan keinginan pemilik konten, dan menggunakannya untuk mengembangkan atau meningkatkan produknya sendiri.

Selamat datang di web modern, Anthropic. Anda mungkin harus terbiasa dengan keluaran Anda yang digunakan dengan cara yang tidak Anda sukai.

Catatan: Anthropic sebelumnya membantah metodologi Cloudflare, dengan mengatakan bahwa mereka tidak dapat memverifikasi perhitungan perusahaan dan berargumen bahwa fitur pencarian baru meningkatkan rujukan.

Mendaftarlah untuk buletin Tech Memo BI Di Sini. Hubungi saya melalui email di abarr@businessinsider.com.

Baca selanjutnya

Alistair Barr adalah penulis buletin Tech Memo Business Insider. Daftar di sini. Sebelumnya, beliau adalah Editor Teknologi Global BI dan pemimpin tim Big Tech di Bloomberg, setelah berkarir sebagai reporter di The Wall Street Journal, USA Today, Reuters, dan MarketWatch. Alistair memenangkan Penghargaan Gerald Loeb pada tahun 2007 untuk liputan penjualan pendek dan menjadi finalis pada tahun 2013 untuk berita IPO Facebook. Baru-baru ini, dia memenangkan penghargaan San Francisco Press Club tahun 2024 untuk komentarnya. Punya tip? Hubungi kami menggunakan aplikasi perpesanan aman Signal (+1 415-341-4927) atau melalui email di abarr@businessinsider.com.KeahlianAlistair mengawasi segala hal yang berhubungan dengan Teknologi Besar, bersama dengan startup dan modal ventura. Dia menulis analisis dan kolom tentang berbagai topik termasuk AI generatif, model bahasa besar, komputasi awan, semikonduktor, pencarian online, e-commerce, EV, robotika, dan kendaraan otonom.Cerita PopulerKecerdasan Buatan:Semakin sulit untuk membuat lompatan besar dalam bidang AIAngka pendapatan OpenAI yang disesuaikan dengan AI serupa dengan Groupon dan WeWorkKematian oleh LLM: Penurunan Stack Overflow, dan rencananya untuk bertahan, menunjukkan masa depan data online gratis di dunia AIKomputasi awan:Amazon mendominasi era cloud pertama. Booming AI telah mengawali Cloud 2.0, dan perusahaan belum memiliki keunggulan saat ini.Di cloud, ada AI (yang keren) dan yang lainnya (yang tidak keren)Keripik:Mengapa Intel masih begitu penting: Negara-negara nyata mempunyai teknologi yang luar biasaChip buatan Apple di AS menandakan perubahan haluan dalam taruhan besar semikonduktor ASEV dan Tesla:Superkomputer AI Tesla membuat kota di Silicon Valley bergegas memenuhi permintaan listrik yang melonjakCybertruck Tesla menjual lebih banyak daripada hampir semua kendaraan listrik lainnya di ASPencarian Daring:Google kehilangan statusnya sebagai kata kerjaCara sederhana untuk memperbaiki penelusuran: Iklan berwarna merah muda cerah