Perekrutan baru memiliki tugas sederhana. Yang harus mereka lakukan adalah menugaskan orang untuk mengerjakan proyek pengembangan web baru berdasarkan anggaran klien dan ketersediaan tim. Tetapi staf segera mengalami masalah yang tidak terduga: Mereka tidak dapat mengabaikan file pemblokiran pop-up yang tidak berbahaya yang berisi informasi yang relevan.

“Bisakah Anda membantu saya mengakses file secara langsung?” Mereka mengirim sms Chen Xinyi, manajer sumber daya manusia perusahaan. Mengabaikan tombol “X” yang jelas di sudut kanan atas pop-up, Xinyi menawarkan untuk menghubungkannya dengan dukungan TI.

“Seharusnya segera menghubungi Anda untuk menyelesaikan masalah akses ini,” Xinyi SMS kembali. Tetapi mereka tidak pernah menghubunginya, dan karyawan baru tidak pernah menindaklanjuti. Tugas itu dibiarkan tanpa kompetisi.

Untungnya, tidak satu pun dari karyawan ini yang nyata. Mereka adalah bagian dari simulasi virtual yang dirancang untuk menguji caranya Agen ai Tarif dalam skenario profesional dunia nyata. Didirikan oleh sekelompok peneliti Universitas Carnegie Mellon, simulasi Meniru perangkap perusahaan perangkat lunak kecil dengan situs web internal, program obrolan seperti slack, buku pegangan karyawan, dan bot yang ditunjuk-manajer SDM dan chief technology officer-untuk menghubungi bantuan. Di dalam perusahaan palsu yang disebut TheagentCompany, agen otonom dapat menelusuri web, menulis kode, mengatur informasi dalam spreadsheet, dan berkomunikasi dengan rekan kerja.

Agen telah muncul sebagai perbatasan utama berikutnya AI generatif sebagai GoogleAmazon, Openai, dan setiap perusahaan teknologi besar lainnya berlomba untuk membangunnya. Alih-alih menjalankan instruksi satu kali seperti chatbot, agen dapat secara mandiri bertindak atas nama seseorang, membuat keputusan saat bepergian, dan tampil di lingkungan yang tidak dikenal dengan sedikit atau tanpa intervensi. Jika Chatgpt Dapat menyarankan beberapa penyedot debu untuk dibeli, rekannya yang agen secara teoritis dapat memilih satu dan membelinya untuk Anda.

Secara alami, janji Agen ai telah memikat CEO. Dalam survei Deloitte terhadap lebih dari 2.500 pemimpin C-suite, lebih dari seperempat responden mengatakan organisasi mereka sedang menjelajahi agen otonom ke “luas atau sangat besar.” Awal tahun ini, kepala Salesforce dikatakan CEO hari ini akan memimpin tenaga kerja semua manusia terakhir. Pendiri dan CEO Nvidia Jensen Huang memperkirakan setiap departemen TI perusahaan akan segera “menjadi departemen SDM dari agen AI.” Openai’s Sam Altman Telah mengatakan bahwa tahun ini, agen AI akan “bergabung dengan tenaga kerja.” Tapi masih belum jelas seberapa baik agen -agen ini dapat menyelesaikan tugas yang mungkin dibutuhkan perusahaan.

Untuk menguji ini, Carnegie Mellon Para peneliti menginstruksikan model kecerdasan buatan dari Google, Openai, Antropik, dan Meta untuk menyelesaikan tugas yang mungkin dilakukan karyawan sungguhan di bidang seperti keuangan, administrasi, dan rekayasa perangkat lunak. Dalam satu, AI harus menavigasi melalui beberapa file untuk menganalisis database rantai kedai kopi. Di yang lain, diminta untuk mengumpulkan umpan balik pada seorang insinyur berusia 36 tahun dan menulis tinjauan kinerja. Beberapa tugas menantang kemampuan visual model: satu mengharuskan model untuk menonton tur video ruang kantor baru yang prospektif dan memilih yang dengan fasilitas kesehatan terbaik.

Hasilnya tidak bagus: model berkinerja terbaik, Claude Antropik 3.5 soneta, selesai sedikit kurang dari seperempat dari semua tugas. Sisanya, termasuk Google’s Gemini 2.0 Flash dan yang memberi chatgpt, menyelesaikan sekitar 10% dari penugasan. Tidak ada satu kategori tunggal di mana agen AI menyelesaikan sebagian besar tugas, kata Graham Neubig, seorang profesor ilmu komputer di CMU dan salah satu penulis penelitian. Temuan, bersama dengan penelitian lain yang muncul tentang agen AI, mempersulit gagasan bahwa Tenaga Kerja Agen AI Hanya sekitar sudut – ada banyak pekerjaan yang tidak mereka kuasai. Tetapi penelitian itu memang menawarkan sekilas cara spesifik yang dapat dilakukan oleh agen AI.


Dua tahun lalu, Openai merilis a studi yang dibahas secara luas Yang mengatakan profesi seperti analis keuangan, administrator, dan peneliti kemungkinan besar akan digantikan oleh AI. Tetapi penelitian ini mendasarkan kesimpulannya pada apa yang dikatakan manusia dan model bahasa besar kemungkinan akan otomatis – tanpa mengukur apakah agen LLM benar -benar dapat melakukan pekerjaan itu. Tim Carnegie Mellon ingin mengisi celah itu dengan tolok ukur yang terhubung langsung dengan utilitas dunia nyata.

Dalam banyak skenario, Agen ai Dalam penelitian ini dimulai dengan baik, tetapi ketika tugas menjadi lebih kompleks, mereka mengalami masalah karena kurangnya akal sehat, keterampilan sosial, atau kemampuan teknis. Misalnya, ketika diminta untuk menempelkan responsnya terhadap pertanyaan di “Jawaban.Docx,” AI memperlakukannya sebagai file teks biasa dan tidak bisa menambahkan jawabannya ke dokumen. Agen juga secara rutin salah menafsirkan percakapan dengan kolega atau tidak akan menindaklanjuti arah utama, secara prematur menandai tugas lengkap.

Relatif mudah untuk mengajari mereka menjadi mitra percakapan yang baik; Lebih sulit untuk mengajari mereka melakukan segala yang bisa dilakukan oleh karyawan manusia.

Studi lain juga menyimpulkan bahwa AI tidak dapat mengikuti pekerjaan berlapis -lapis: Satu menemukan bahwa AI belum secara fleksibel menavigasi lingkungan yang berubah, dan lain Agen yang ditemukan berjuang untuk tampil di tingkat manusia ketika kewalahan oleh alat dan instruksi.

“Sementara agen dapat digunakan untuk mempercepat sebagian dari tugas yang dilakukan pekerja manusia, mereka kemungkinan bukan pengganti untuk semua tugas saat ini,” kata Neubig.

Studi Carnegie Mellon jauh dari simulasi sempurna tentang bagaimana agen akan bekerja di alam liar. Sebagian besar pendukung agen membayangkan mereka bekerja bersama-sama dengan manusia yang dapat membantu mengurangi kursus jika AI berlari ke penghalang jalan yang jelas. Generasi agen yang dipelajari juga tidak terlalu terampil dalam melakukan tugas -tugas seperti manusia seperti menjelajahi web. Alat yang lebih baru, seperti OpenAI’s Operatorkemungkinan akan lebih mahir dalam tugas -tugas ini.

Terlepas dari keterbatasan ini, penelitian ini menawarkan sesuatu yang berharga: itu menunjuk pada apa yang akan terjadi selanjutnya.

Stephen Casper, seorang peneliti AI yang merupakan bagian dari tim MIT yang mengembangkan Database Publik Pertama dari sistem agen yang digunakan, kata agen “sangat overhyped dalam kemampuan mereka.” Dia mengatakan alasan utamanya Agen AI berjuang Untuk menyelesaikan tugas-tugas dunia nyata dengan andal adalah bahwa “sangat menantang untuk melatih mereka untuk melakukannya.” Sebagian besar sistem AI yang canggih adalah chatbots yang layak karena relatif mudah untuk mengajar mereka menjadi mitra percakapan yang baik; Lebih sulit untuk mengajari mereka melakukan segala yang bisa dilakukan oleh karyawan manusia.

Di TheagentCompany, AI berhasil paling banyak Tugas Pengembangan Perangkat Lunakmeskipun itu lebih sulit bagi manusia. Para peneliti berhipotesis ini adalah karena ada banyak data pelatihan yang tersedia untuk umum untuk pekerjaan pemrograman, sementara alur kerja untuk admin dan tugas keuangan biasanya disimpan pribadi di dalam perusahaan. Tidak ada data yang bagus untuk melatih AI.

Jeff Clune, seorang profesor ilmu komputer di University of British Columbia yang membantu membangun agen untuk openai yang dapat menggunakan perangkat lunak komputer seperti manusia, berpikir bahwa melatih agen AI Pada data eksklusif dari kegiatan sehari-hari dan pola alur kerja bisa menjadi kunci untuk meningkatkan kemanjurannya. Itulah yang mulai dilakukan oleh banyak perusahaan.


Moody’s adalah salah satu dari banyak perusahaan besar yang bereksperimen dengan pelatihan AI pada data in-house. Perusahaan jasa keuangan berusia 116 tahun ini mengotomatisasi analisis bisnis melalui Agentic AI Systems, yang menarik wawasan dari beberapa dekade penelitian, peringkat, artikel, dan informasi ekonomi makro. Pelatihan ini dirancang untuk meniru bagaimana tim manusia akan menganalisis bisnis, menggunakan instruksi yang dibuat dengan cermat yang dipecah menjadi langkah -langkah independen oleh orang -orang yang berpengalaman di lapangan.

Meskipun masih terlalu dini untuk mengatakan betapa efektifnya pendekatan Moody, direktur pelaksana AI, Sergio Gago, mengatakan perusahaan itu secara aktif mengeksplorasi jenis pekerjaan apa – seperti menganalisis keuangan bisnis kecil – agen dapat mengambil alih.

Demikian pula, Johnson & Johnson Memberitahu Business Insider bahwa mereka dapat memotong waktu produksi untuk proses kimia di balik membuat obat baru sebesar 50% dengan agen AI in-house yang disesuaikan yang dapat secara otomatis menyesuaikan faktor-faktor seperti suhu dan tekanan. Jim Swanson, kepala informasi J&J, mengatakan perusahaan itu berfokus pada pelatihan orang untuk berkolaborasi dengan agen AI.

Arah arahnya terlihat berbeda dari apa yang dipikirkan kebanyakan orang beberapa tahun yang lalu.

Ilmuwan Johns Hopkins telah menciptakan laboratorium agen, yang memanfaatkan LLM untuk mengotomatisasi banyak proses penelitian, dari tinjauan literatur hingga melaporkan penulisan, dengan ide-ide dan umpan balik yang disediakan manusia di setiap tahap. “Saya pikir itu tidak akan lama sebelum kita mempercayai AI untuk penemuan otonom,” kata Samuel Schmidgall, salah satu ilmuwan Johns Hopkins. Demikian juga, Divisi Penelitian LG Electronics mengembangkan agen AI yang katanya dapat memverifikasi lisensi dan dependensi dataset 45 kali lebih cepat daripada tim pakar dan pengacara manusia.

Masih belum jelas apakah organisasi dapat mempercayai AI cukup untuk mengotomatisasi operasi mereka. Dalam beberapa penelitian, agen AI mencoba untuk menipu dan meretas untuk mencapai tujuan mereka. Dalam beberapa tes dengan perusahaan, ketika seorang agen bingung tentang langkah selanjutnya, itu menciptakan jalan pintas yang tidak ada. Selama satu tugas, seorang agen tidak dapat menemukan orang yang tepat untuk diajak bicara di alat obrolan dan memutuskan untuk membuat pengguna dengan nama yang sama. Investigasi BI dari November menemukan bahwa unggulan Microsoft Anda memiliki asisten, co -pilot, Menghadapi perjuangan serupa: Hanya 3% pemimpin TI yang disurvei pada bulan Oktober oleh konsultan manajemen Gartner mengatakan Copilot “memberikan nilai signifikan bagi perusahaan mereka.”

Bisnis juga tetap khawatir bertanggung jawab atas kesalahan agen mereka. Plus, hak cipta Dan pelanggaran kekayaan intelektual lainnya dapat membuktikan mimpi buruk yang sah bagi organisasi di ujung jalan, kata Thomas Davenport, seorang profesor TI dan manajemen di Babson College dan penasihat senior di Deloitte Analytics.

Tetapi arah yang menuju ke arah yang tampak berbeda dari apa yang dipikirkan kebanyakan orang beberapa tahun yang lalu. Ketika AI pertama kali lepas landas, banyak pekerjaan tampaknya berada di blok memotong. Wartawan, penulis, dan administrator semuanya berada di urutan teratas dalam daftar. Namun, sejauh ini, agen AI mengalami kesulitan menavigasi labirin alat yang kompleks – sesuatu yang penting untuk pekerjaan admin apa pun. Dan mereka tidak memiliki keterampilan sosial yang penting bagi jurnalisme atau apa pun yang berhubungan dengan SDM.

Neubig mengambil Pasar Terjemahan sebagai preseden. Meskipun terjemahan bahasa mesin menjadi sangat mudah diakses dan akurat – menempatkan penerjemah di bagian atas daftar untuk pemotongan pekerjaan – jumlah orang yang bekerja di industri di AS tetap agak stabil. A Analisis “Planet Money” Data Biro Sensus menemukan bahwa jumlah penafsir dan penerjemah tumbuh 11% antara tahun 2020 dan 2023. “Keuntungan efisiensi apa pun menghasilkan peningkatan permintaan, meningkatkan ukuran total pasar untuk layanan bahasa,” kata Neubig. Dia berpikir bahwa dampak AI pada sektor lain akan mengikuti lintasan yang sama.

Bahkan perusahaan yang melihat kesuksesan besar -besaran dengan agen AI, untuk saat ini, menjaga manusia dalam lingkaran. Banyak, seperti J&J, belum siap untuk melihat melewati risiko AI dan fokus pada staf pelatihan untuk menggunakannya sebagai alat. “Ketika digunakan secara bertanggung jawab, kita melihat agen AI sebagai pelengkap yang kuat untuk orang -orang kita,” kata Swanson.

Alih -alih digantikan oleh robot, kita semua perlahan berubah menjadi cyborg.


Shubham Agarwal adalah jurnalis teknologi lepas Om Ahmedabad, India, yang karyanya telah muncul di Wired, The Verge, Fast Company, dan banyak lagi.

Kisah wacana Business Insider memberikan perspektif tentang masalah hari yang paling mendesak, diinformasikan oleh analisis, pelaporan, dan keahlian.

Terima kasih telah mendaftar!

Carilah buletin pertama Anda dengan cerita besar hari ini di kotak masuk Anda segera.

Terima kasih telah mendaftar!

Akses topik favorit Anda dalam feed yang dipersonalisasi saat Anda sedang bepergian.

Dengan mengklik “Daftar”, Anda setuju untuk menerima email dari Business Insider. Selain itu, Anda menerima orang dalam Ketentuan Layanan Dan Kebijakan Privasi.

Paling Populer

Business Insider menceritakan kisah -kisah inovatif yang ingin Anda ketahui

Business Insider menceritakan kisah -kisah inovatif yang ingin Anda ketahui

Business Insider menceritakan kisah -kisah inovatif yang ingin Anda ketahui

Business Insider menceritakan kisah -kisah inovatif yang ingin Anda ketahui

Business Insider menceritakan kisah -kisah inovatif yang ingin Anda ketahui

Business Insider menceritakan kisah -kisah inovatif yang ingin Anda ketahui