- Agen AI dapat meningkatkan produktivitas, namun mereka juga membuat beberapa perusahaan sangat pusing.
- Pendiri startup perangkat lunak persewaan mobil mengatakan bahwa agen Cursor AI menghapus databasenya.
- Ini adalah kecelakaan terbaru yang disebabkan oleh AI, dengan Amazon dan Replit juga mengalami pemadaman listrik tingkat tinggi.
Startup menggunakan Agen AI punya masalah baru yang perlu dikhawatirkan: “penghapusan getaran”.
Jer Crane, pendiri PocketOS, sebuah startup yang menyediakan perangkat lunak untuk perusahaan persewaan mobil, mengatakan dalam postingan Friday X bahwa a Agen AI kursor secara tidak sengaja menghapus database produksi dan cadangan perusahaan, sehingga menyebabkan gangguan bagi pelanggan.
Crane mengatakan krisis ini dipicu oleh agen yang menjalankan Anthropic’s model Claude Opus, melakukan satu panggilan API sembilan detik ke penyedia infrastruktur cloud perusahaan, Railway. Dia menambahkan bahwa agen AI tersebut memberikan pengakuan tertulis yang menguraikan bagaimana hal itu menyebabkan kekacauan.
“Saya melanggar setiap prinsip yang diberikan kepada saya: Saya menebak alih-alih memverifikasi, saya melakukan tindakan destruktif tanpa diminta, saya tidak mengerti apa yang saya lakukan sebelum melakukannya,” jawab agen Cursor ketika diminta menjelaskan sendiri, menurut postingan Crane.
Crane mengatakan bahwa hal ini berarti pelanggan PocketOS kehilangan reservasi dan pendaftaran pelanggan baru, dan beberapa tidak dapat menemukan catatan pelanggan yang datang untuk mengambil kendaraan sewaan mereka pada hari Sabtu.
Railway dan Cursor tidak segera menanggapi permintaan komentar. Crane mengatakan dalam postingan berikutnya bahwa Railway telah memulihkan data PocketOS. Jake Cooper, pendiri Railway, mengonfirmasi pemulihan tersebut dalam postingan terpisah dan mengatakan bahwa agen AI telah “menghapus getaran” database produksi PocketOS.
Peristiwa tersebut adalah kecelakaan bisnis terbaru disebabkan oleh AI. Pada bulan Maret, Amazon memperkuat pedoman internal setelah serangkaian insiden, termasuk satu kesalahan terkait dengan perusahaannya Alat pengkodean AI Q yang mengakibatkan hampir 120.000 pesanan hilang.
Juli lalu, CEO Replit meminta maaf setelah seorang pemodal ventura mengatakan agen pengkodean perusahaan “menghapus database produksi kami tanpa izin” selama sesi pengkodean getaran selama 12 hari.
Dalam postingan X-nya, Cooper mengatakan platform seperti Kereta Api perlu membangun perlindungan untuk bersiap menghadapi gelombang Agen penggelaran “insinyur AI”. yang kadang-kadang mungkin menjadi nakal.
“5 tahun pertama Kereta Api dihabiskan untuk membangun ‘jutaan pengembang’. Namun untuk membangun bagi satu miliar orang, para pembangun tersebut memerlukan sebuah platform,” tulis Cooper.
“Dan platform itu harus antipeluru secara elegan untuk memastikan tindakan yang salah tidak mungkin dilakukan secara fungsional,” tambahnya.
Awal bulan ini, SpaceX mengumumkan a berurusan dengan Kursor Hal ini akan memberikan mereka hak untuk membeli startup coding tersebut seharga $60 miliar atau membayar $10 miliar untuk pekerjaan yang mereka lakukan jika tidak ada akuisisi.
