Pada hari Senin, pengembang yang menggunakan populer Bertenaga ai Editor Kode Kursor Melihat sesuatu yang aneh: beralih antar mesin langsung mencatatnya, melanggar alur kerja umum untuk programmer yang menggunakan banyak perangkat. Ketika pengguna menghubungi dukungan kursor, agen bernama “Sam” memberi tahu mereka bahwa itu adalah perilaku yang diharapkan di bawah kebijakan baru. Tetapi tidak ada kebijakan seperti itu, dan Sam adalah bot. Model AI membuat kebijakan itu naik, memicu gelombang keluhan dan ancaman pembatalan yang didokumentasikan Berita peretas Dan Reddit.
Ini menandai contoh terbaru AI Percatuan (Juga disebut “halusinasi”) menyebabkan potensi kerusakan bisnis. Percayangan adalah jenis respons “pengisian celah kreatif” di mana model AI menciptakan informasi yang terdengar masuk akal tetapi salah. Alih -alih mengakui ketidakpastian, model AI sering memprioritaskan menciptakan tanggapan yang masuk akal dan percaya diri, bahkan ketika itu berarti pembuatan informasi dari awal.
Untuk perusahaan yang menggunakan sistem ini dalam peran yang dihadapi pelanggan tanpa pengawasan manusia, konsekuensinya dapat langsung dan mahal: pelanggan yang frustrasi, kepercayaan yang rusak, dan, dalam kasus kursor, berpotensi membatalkan langganan.
Bagaimana itu dibuka
Kejadian dimulai ketika seorang pengguna reddit bernama Brokentoasteroven diperhatikan bahwa saat bertukar antara desktop, laptop, dan kotak dev jarak jauh, sesi kursor secara tak terduga diakhiri.
“Masuk ke kursor pada satu mesin segera membatalkan sesi pada mesin lain,” tulis Brokentoasteroven dalam sebuah pesan yang dulu kemudian dihapus oleh moderator r/kursor. “Ini adalah regresi UX yang signifikan.”
Bingung dan frustrasi, pengguna menulis email ke dukungan kursor dan dengan cepat menerima balasan dari SAM: “Kursor dirancang untuk bekerja dengan satu perangkat per berlangganan sebagai fitur keamanan inti,” baca balasan email. Responsnya terdengar pasti dan resmi, dan pengguna tidak curiga bahwa Sam bukan manusia.
Setelah posting Reddit awal, pengguna mengambil posting sebagai konfirmasi resmi dari perubahan kebijakan yang sebenarnya – yang menyebabkan kebiasaan yang penting bagi banyak rutinitas harian pemrogram. “Alur kerja multi-perangkat adalah taruhan tabel untuk devs,” tulis seorang pengguna.
Tak lama kemudian, beberapa pengguna secara terbuka mengumumkan pembatalan langganan mereka di Reddit, mengutip kebijakan yang tidak ada sebagai alasan mereka. “Saya benar -benar baru saja membatalkan sub saya,” tulis poster Reddit asli, menambahkan bahwa tempat kerja mereka sekarang “membersihkannya sepenuhnya.” Yang lain bergabung: “Ya, saya juga membatalkan, ini Asinine.” Segera setelah itu, moderator mengunci utas Reddit dan menghapus posting asli.
“Hei! Kami tidak punya kebijakan seperti itu,” menulis Perwakilan kursor dalam balasan reddit tiga jam kemudian. “Anda tentu saja bebas menggunakan kursor pada beberapa mesin. Sayangnya, ini adalah respons yang salah dari bot dukungan AI garis depan.”
Konferensi AI sebagai risiko bisnis
Bencana kursor mengingatkan a Episode serupa Dari Februari 2024 ketika Air Canada diperintahkan untuk menghormati kebijakan pengembalian dana yang ditemukan oleh chatbotnya sendiri. Dalam insiden itu, Jake Moffatt menghubungi dukungan Air Canada setelah neneknya meninggal, dan agen AI maskapai itu secara keliru mengatakan kepadanya bahwa ia dapat memesan penerbangan dengan harga reguler dan mengajukan permohonan tingkat berkabung secara surut. Ketika Air Canada kemudian menolak permintaan pengembalian dana, perusahaan berpendapat bahwa “chatbot adalah badan hukum terpisah yang bertanggung jawab atas tindakannya sendiri.” Pengadilan Kanada menolak pembelaan ini, memutuskan bahwa perusahaan bertanggung jawab atas informasi yang diberikan oleh alat AI mereka.
Alih -alih membantah tanggung jawab seperti yang dilakukan Air Canada, Cursor mengakui kesalahan tersebut dan mengambil langkah -langkah untuk memperbaiki kesalahan. Pendiri kursor Michael Truell nanti meminta maaf pada berita peretas Untuk kebingungan tentang kebijakan yang tidak ada, menjelaskan bahwa pengguna telah dikembalikan dan masalah tersebut dihasilkan dari perubahan backend yang dimaksudkan untuk meningkatkan keamanan sesi yang secara tidak sengaja membuat masalah tidak validasi sesi untuk beberapa pengguna.
“Setiap tanggapan AI yang digunakan untuk dukungan email sekarang dengan jelas diberi label seperti itu,” tambahnya. “Kami menggunakan respons yang dibantu AI sebagai filter pertama untuk dukungan email.”
Namun, insiden itu menimbulkan pertanyaan yang tersisa tentang pengungkapan di antara pengguna, karena banyak orang yang berinteraksi dengan Sam tampaknya percaya itu adalah manusia. “LLMS berpura -pura menjadi orang (Anda menamakannya Sam!) Dan tidak diberi label seperti itu dengan jelas dimaksudkan untuk menipu,” seorang pengguna menulis di hacker news.
Sementara kursor memperbaiki bug teknis, episode menunjukkan risiko menggunakan model AI dalam peran yang menghadap pelanggan tanpa perlindungan dan transparansi yang tepat. Untuk perusahaan yang menjual alat produktivitas AI kepada pengembang, memiliki sistem pendukung AI sendiri menciptakan kebijakan yang mengasingkan pengguna intinya mewakili luka yang sangat canggung.
“Ada sejumlah ironi bahwa orang berusaha sangat keras untuk mengatakan bahwa halusinasi bukan masalah besar lagi,” menulis di hacker news“Dan kemudian sebuah perusahaan yang akan mendapat manfaat dari narasi itu terluka langsung karenanya.”
Kisah ini awalnya muncul di ARS Technica.
