Apa yang terjadi di antaranya Anda dan chatbot AI tidak selalu berada di antara Anda dan chatbot. Tanyakan saja Google.
Selama akhir pekan, orang-orang terkejut saat mengetahui hal itu Antropis Claude obrolan dapat dengan mudah ditemukan melalui pencarian web. Masalah ini, yang tampaknya pertama kali ditandai oleh a redditorobrolan terbuka yang mencakup orang-orang yang meminta nasihat tentang partai politik apa yang harus mereka ikuti, apakah pengacara di Kansas diharuskan melaporkan diri ketika mereka yakin telah melakukan pelanggaran etika, dan permainan peran erotis.
Claude memungkinkan pengguna untuk berbagi “snapshot” obrolan dengan orang lain dengan membuat URL publik ke thread chatbot tertentu. Alasan beberapa URL ini diindeks oleh mesin pencari utama adalah karena fungsi dasar situs web, mesin pencari, dan benturan keduanya ketika AI generatif ikut campur.
Pada dasarnya, Anthropic menginstruksikan perayap web, seperti yang digunakan oleh mesin pencari seperti Google dan Bing, untuk tidak mengindeks obrolan yang diputuskan pengguna untuk dibagikan dengan orang lain. Perusahaan melakukan ini melalui sesuatu yang disebut file robots.txt, yang telah lama dianggap sebagai cara standar untuk memberi tahu web scraper bagian situs mana yang pantas untuk diakses. Robots.txt Anthropic telah melarang obrolan “bersama” bagi pengikis web setidaknya sejak September 2025, menurut a foto pada Mesin Wayback.
Namun mencegah halaman agar tidak disertakan dalam hasil mesin pencari lebih sulit dari yang Anda perkirakan.
Bing, yang masih menampilkan “sekitar 612 hasil” jika Anda mencari “situs:claude.ai/share” pada saat tulisan ini dibuat, disebutkan dalam dokumentasi teknisnya bahwa pengembang dapat melakukannya memblokir perayap web mesin telusur menggunakan robots.txt—tetapi pengembang web juga harus melakukannya termasuk tag “noindex” di setiap halaman juga.
Beberapa obrolan yang muncul di hasil pencarian yang ditandai di postingan Reddit telah dihapus saat WIRED melihatnya, dan hasilnya tidak lagi muncul di Google saat Anda mencari kueri “bagikan” yang masih berfungsi di Bing. Di sebuah panduan pengembangGoogle mengatakan bahwa mereka mengabaikan instruksi robots.txt jika halaman tersebut ditautkan dari tempat lain di internet dan pemilik halaman juga tidak menyertakan tag html “noindex” khusus pada halaman tersebut atau “x-robots-tag” di header respons halaman.
WIRED meninjau sampel halaman obrolan Claude yang terekspos dan menemukan bahwa halaman tersebut tidak menyertakan tag “noindex” yang menurut Bing dan Google akan dipertimbangkan saat memutuskan apakah akan mengindeks suatu halaman atau tidak.
Microsoft, pemilik Bing, tidak memberikan komentar sebelum dipublikasikan. Anthropic tidak menanggapi beberapa permintaan komentar.
Juru bicara Google Ned Adriance mengatakan kepada WIRED bahwa pengindeksan obrolan Claude yang dibagikan adalah tanggung jawab Anthropic. “Baik Google maupun mesin pencari lainnya tidak mengontrol halaman mana yang dipublikasikan di web, dan halaman-halaman ini diindeks di banyak mesin pencari,” kata Adriance. “Kami memberi pemilik situs kontrol yang jelas untuk memutuskan apakah halaman dapat dirayapi atau diindeks, dan kami selalu menghormati arahan tersebut.”
Anthropic tidak menanggapi pertanyaan tentang mengapa ia tidak menyertakan tag “noindex” di halaman obrolan bersama.
September lalu, Anthropic mendapat sorotan untuk masalah yang sama, dan menceritakannya Forbes bahwa ia menggunakan robots.txt untuk memberi tahu perayap bahwa mereka tidak boleh mengakses obrolan bersama. Namun seperti yang ditunjukkan dalam laporan Forbes, tidak ada jaminan bahwa mesin pencari akan berhenti mengindeks halaman web tertentu.
Meskipun robots.txt tidak selalu berfungsi untuk mencegah halaman diindeks di mesin pencari, laboratorium AI masih memanfaatkannya untuk tujuan lain. Banyak laboratorium janji pencipta bahwa situs web mereka tidak akan digunakan sebagai bahan pelatihan AI selama pengembang memastikan untuk “melarang” crawler tertentu di file robots.txt mereka, dan laboratorium itu sendiri juga mengikuti saran tersebut.
