Eksekutif di kecerdasan buatan perusahaan mungkin Suka memberi tahu kami itu AGI Hampir di sini, tetapi model terbaru masih membutuhkan beberapa les tambahan untuk membantu mereka menjadi sepintar mungkin.
Skala AI, sebuah perusahaan yang memainkan peran penting dalam membantu perusahaan AI Frontier membangun model canggih, telah mengembangkan platform yang secara otomatis dapat menguji model di ribuan tolok ukur dan tugas, menunjukkan kelemahan, dan menandai data pelatihan tambahan yang seharusnya membantu meningkatkan keterampilan mereka. Skala, tentu saja, akan memasok data yang diperlukan.
Skala naik menjadi menonjol menyediakan tenaga kerja manusia untuk pelatihan dan pengujian model AI canggih. Model Bahasa Besar (LLM) dilatih tentang banyaknya teks yang dikikis dari buku, web, dan sumber lainnya. Mengubah model-model ini menjadi chatbots yang membantu, koheren, dan sopan memerlukan “pelatihan pasca” tambahan dalam bentuk manusia yang memberikan umpan balik pada output model.
Skala pasokan pekerja yang ahli dalam model penyelidikan untuk masalah dan keterbatasan. Alat baru, yang disebut evaluasi skala, mengotomatiskan beberapa pekerjaan ini menggunakan algoritma pembelajaran mesin skala sendiri.
“Di dalam laboratorium besar, ada semua cara serampangan untuk melacak beberapa kelemahan model,” kata Daniel Berrios, kepala produk untuk evaluasi skala. Alat baru “adalah cara untuk [model makers] Untuk melewati hasil dan mengiris dan memotongnya untuk memahami di mana model tidak berkinerja baik, “kata Berrios,” lalu gunakan itu untuk menargetkan kampanye data untuk perbaikan. “
Berrios mengatakan bahwa beberapa perusahaan model AI perbatasan sudah menggunakan alat ini. Dia mengatakan bahwa sebagian besar menggunakannya untuk meningkatkan kemampuan penalaran model terbaik mereka. Penalaran AI melibatkan model yang mencoba memecah masalah menjadi bagian -bagian konstituen untuk menyelesaikannya secara lebih efektif. Pendekatan ini sangat bergantung pada pasca-pelatihan dari pengguna untuk menentukan apakah model telah memecahkan masalah dengan benar.
Dalam satu contoh, kata Berrios, evaluasi skala mengungkapkan bahwa keterampilan penalaran model jatuh ketika diberi petunjuk non-Inggris. “Ketika [the model’s] Kemampuan penalaran tujuan umum cukup baik dan dilakukan dengan baik pada tolok ukur, mereka cenderung terdegradasi sedikit ketika petunjuknya tidak dalam bahasa Inggris, ”katanya. Skala Evolusi menyoroti masalah ini dan memungkinkan perusahaan untuk mengumpulkan data pelatihan tambahan untuk mengatasinya.
Jonathan Frankle, Kepala Ilmuwan AI di Databricks, sebuah perusahaan yang membangun model AI besar, mengatakan bahwa mampu menguji satu model fondasi terhadap suara lain yang berguna pada prinsipnya. “Siapa pun yang menggerakkan bola ke depan dalam evaluasi membantu kami membangun AI yang lebih baik,” kata Frankle.
Dalam beberapa bulan terakhir, skala telah berkontribusi pada pengembangan beberapa tolok ukur baru yang dirancang untuk mendorong model AI agar menjadi lebih pintar, dan untuk lebih hati -hati meneliti bagaimana mereka mungkin berperilaku buruk. Ini termasuk Enigmaeval, Multichallenge, MASKERDan Ujian terakhir umat manusia.
Skala mengatakan menjadi lebih menantang untuk mengukur peningkatan dalam model AI, karena mereka menjadi lebih baik dalam melakukan tes yang ada. Perusahaan mengatakan alat barunya menawarkan gambaran yang lebih komprehensif dengan menggabungkan banyak tolok ukur yang berbeda dan dapat digunakan untuk merancang tes khusus dari kemampuan model, seperti menyelidiki alasannya dalam berbagai bahasa. AI skala sendiri dapat mengambil masalah yang diberikan dan menghasilkan lebih banyak contoh, memungkinkan untuk tes keterampilan model yang lebih komprehensif.
Alat baru perusahaan juga dapat menginformasikan upaya untuk membakukan pengujian model AI untuk perilaku buruk. Beberapa peneliti mengatakan bahwa kurangnya standardisasi berarti itu beberapa model jailbreak tidak diungkapkan.
Pada bulan Februari, Institut Standar dan Teknologi Nasional AS mengumumkan bahwa skala akan membantunya mengembangkan metodologi untuk menguji model untuk memastikan mereka aman dan dapat dipercaya.
Jenis kesalahan apa yang Anda lihat di output alat AI generatif? Menurut Anda apa titik buta terbesar model? Beri tahu kami dengan mengirim email hello@wired.com atau dengan berkomentar di bawah ini.
