Gemini di Google Home Terus Mengira Anjing Saya adalah Kucing

Seekor kucing melompat di sofaku. Tunggu sebentar. Saya tidak punya kucing.

Peringatan tentang kucing yang melompat adalah sesuatu yang dikirim oleh aplikasi Google Home saat saya sedang berada di sebuah pesta. Ternyata itu adalah anjingku. Notifikasi ini datang sehari setelah saya menyalakannya Kemampuan Gemini untuk Rumah Google di aplikasi Google Home. Ini menghadirkan kekuatan model bahasa besar ke ekosistem rumah pintar, dan salah satu fitur yang paling berguna adalah peringatan yang lebih deskriptif dari saya Kamera keamanan Nest. Jadi, alih-alih “Orang terlihat”, ini dapat memberi tahu saya bahwa FedEx datang dan mengirimkan dua paket.

Dalam dua minggu sejak saya mengizinkan Gemini memberi daya pada Google Home saya, saya sangat menikmati kemampuannya dalam mendeteksi pengemudi pengiriman. Pada akhirnya, saya bisa bertanya di aplikasi Google Home, “Berapa paket yang datang hari ini” dan mendapatkan jawaban yang akurat. Senang rasanya mengetahui bahwa FedEx sudah siap, menurut saya Bel Pintu Sarangdan bukan penjual yang menawarkan untuk mengganti jendela saya. Namun dengan segala kecerdasannya, Gemini menolak untuk memahami bahwa saya tidak punya kucing di rumah saya.

Orang Terlihat

Google bukan satu-satunya perusahaan yang melengkapi ekosistem rumah pintarnya dengan AI. Amazon baru-baru ini mengumumkan fitur pada kamera Cincinnya disebut Kelompok Penelusuran yang akan menggunakan kamera Dering luar ruangan yang ada di lingkungan sekitar untuk membantu seseorang menemukan anjingnya yang hilang. (Saya tidak perlu bersusah payah membayangkan hal seperti ini digunakan untuk tujuan jahat.)

Pada awal Oktober, Google memperbarui asisten suara di perangkat rumah pintarnya—beberapa di antaranya telah ada selama satu dekade—dengan menggantikan Asisten Google dengan Gemini. Sebagian besar asisten adalah lebih baik. Ia dapat memahami banyak perintah dalam satu atau dua kalimat lisan, dan Anda dapat dengan mudah memintanya untuk mengotomatiskan sesuatu di rumah Anda tanpa harus repot dengan tab Rutinitas di aplikasi Google Home. Dan saat saya mengajukan pertanyaan sederhana, biasanya jawaban tersebut memberi saya jawaban yang dapat diandalkan tanpa mengarahkan saya ke halaman Google Penelusuran.

Peringatan kamera yang lebih cerdas memang sekilas lebih bermanfaat. Seringkali, saya mengabaikan notifikasi Orang Dilihat karena sering kali hanya orang yang berjalan di dekat rumah saya. Sekarang peringatannya benar-benar mengatakan “Orang lewat,” yang memberi saya keyakinan lebih besar untuk mengabaikannya. Beberapa peringatan secara akurat mengatakan “Dua orang membuka gerbang,” meskipun kadang-kadang akan berhalusinasi: “Seseorang berjalan menaiki tangga,” padahal sebenarnya tidak ada yang melakukannya. (Mereka hanya berjalan di trotoar.) Ada catatan yang cukup akurat ketika UPS, FedEx, atau USPS berada di depan pintu, yang merupakan hal yang baik untuk mengetahui kapan saya sedang sibuk atau bepergian, sehingga saya dapat memastikan untuk memeriksa paket ketika saya sampai di rumah—tidak perlu mencari-cari peringatan.

Tapi dengan kamera keamanan dalam ruangan saya, Gemini secara rutin mengatakan saya punya kucing yang berkeliaran di rumah. Itu anjingku. Bahkan dalam Home Brief saya—rekap di penghujung hari dari Gemini tentang apa yang terjadi di sekitar rumah—Gemini mengatakan, “Di pagi hari, seekor kucing putih aktif, berjalan ke ruang tamu dan duduk di sofa.” Lucu sekali, apalagi mengingat anjingku benci kucing.

Anjing Kucing

Anda akan berpikir bahwa saya akan mampu melakukannya memberi tahu asisten yang lebih cerdas ini, “Hei, saya tidak punya kucing. Saya punya anjing,” dan ia akan menyesuaikan modelnya dan memperbaiki kesalahannya. Ya, saya melakukan hal itu. Di fitur Tanya Rumah, Anda dapat berbicara dengan Gemini dan menanyakan apa saja tentang rumah tersebut. Di sinilah Anda dapat memintanya untuk mengatur otomatisasi, misalnya. Saya memintanya untuk menyalakan lampu ruang tamu ketika kamera mendeteksi saya atau istri saya tiba di rumah, dan ia memahami tindakannya. Bahkan saya kira saya ingin lampunya menyala hanya saat tiba di malam hari, padahal saya lupa menyebutkannya.

Ketika saya memberi tahu Gemini bahwa kamera keamanan terus mengidentifikasi seekor kucing tetapi itu seekor anjing, dan bahwa saya tidak punya kucing, ia mengakui hal ini dan menerima bahwa saya punya seekor anjing. Namun kesalahan terus berlanjut. Seorang juru bicara Google memberi tahu saya bahwa Home Brief dan Ask Home sedang dalam tahap akses awal, dan Google mendorong pengguna untuk mengirimkan masukan sehingga dapat meningkatkan pengalaman.

“Kami berinvestasi besar-besaran dalam meningkatkan identifikasi yang akurat, termasuk untuk hewan peliharaan,” kata juru bicara tersebut melalui email. “Ini termasuk menggabungkan koreksi yang disediakan pengguna (seperti memberi tahu Ask Home bahwa ‘kucing’ Anda sebenarnya adalah seekor anjing) untuk menghasilkan deskripsi AI yang lebih akurat. Karena semua fitur Gemini untuk Rumah (Tanya ke Rumah, Ringkasan Rumah, dan Teks AI) mengandalkan identifikasi Wajah Familiar yang mendasari kami, meningkatkan akurasi ini juga berarti meningkatkan kualitas Wajah yang Dikenal. Ini adalah area investasi yang aktif dan kami berharap fitur-fitur ini terus meningkat seiring waktu.”

Sistem Wajah Familiar Google memungkinkan Anda menambahkan nama orang yang sering dilihat kamera di sekitar rumah Anda. Ketika berhasil, itu bagus. Terutama ketika saya mengadakan pesta liburan dan teman-teman saya diumumkan namanya ketika mereka sampai di depan pintu depan saya, yang menyebabkan semua orang di dalam bertepuk tangan meriah. Namun sering kali saya dan istri saya duduk di rumah, hanya saat bel pintu Nest berbunyi dan mengumumkan bahwa saya berdiri di luar sambil membunyikan bel. (Masukkan wajah Pikachu yang terkejut.) Wajah yang Dikenal tidak berfungsi dengan hewan peliharaan saat ini, jadi penambahan kemampuan tersebut kemungkinan akan membantu Gemini memahami bahwa anjing saya bukan kucing, meskipun dia bertingkah seperti kucing.

Fitur-fitur ini mungkin masih baru, namun kisah ini menunjukkan bahwa AI, betapapun cerdasnya perusahaan-perusahaan ini, masih bisa gagal membedakan detail sederhana tentang kehidupan kita, bahkan jika Anda memberikan jawaban yang tepat.