Memberikan informasi kesehatan Anda ke chatbot, tidak mengherankan, adalah ide yang buruk

Setiap minggu, lebih dari 230 juta orang tanya ChatGPT untuk nasihat kesehatan dan kebugaran, menurut OpenAI. Perusahaan mengatakan bahwa banyak orang melihat chatbot sebagai “sekutu” untuk membantu menavigasi labirin asuransi, mengajukan dokumen, dan menjadi pembela diri yang lebih baik. Sebagai gantinya, mereka berharap Anda memercayai chatbotnya dengan detail tentang diagnosis, pengobatan, hasil tes, dan informasi medis pribadi lainnya. Meskipun berbicara dengan chatbot mungkin mulai terasa seperti ruang praktek dokter, sebenarnya hal tersebut tidaklah demikian. Perusahaan teknologi tidak terikat oleh kewajiban yang sama seperti penyedia layanan kesehatan. Para ahli memberi tahu Tepi sebaiknya pertimbangkan baik-baik apakah Anda ingin menyerahkan catatan Anda.

Kesehatan dan kesejahteraan dengan cepat muncul sebagai medan pertempuran utama bagi laboratorium AI dan ujian besar mengenai seberapa besar kesediaan pengguna untuk menyambut sistem ini ke dalam kehidupan mereka. Bulan ini, dua pemain terbesar dalam industri obat-obatan secara terang-terangan melakukan upaya besar di bidang kedokteran. OpenAI merilis Kesehatan ChatGPTtab khusus dalam ChatGPT yang dirancang bagi pengguna untuk mengajukan pertanyaan terkait kesehatan dalam lingkungan yang lebih aman dan personal. Antropis memperkenalkan Claude untuk Layanan Kesehatanproduk “siap HIPAA” yang dikatakan dapat digunakan oleh rumah sakit, penyedia layanan kesehatan, dan konsumen. (Yang paling tidak hadir adalah Google, yang memiliki chatbot Gemini yang merupakan salah satu alat AI yang paling kompeten dan paling banyak digunakan di dunia, meskipun perusahaan tersebut melakukannya mengumumkan pembaruan pada model AI medis MedGemma untuk pengembang.)

OpenAI secara aktif mendorong pengguna untuk berbagi informasi sensitif seperti rekam medis, hasil lab, serta data kesehatan dan kebugaran dari aplikasi seperti Apple Health, Peloton, Weight Watchers, dan MyFitnessPal dengan ChatGPT Health sebagai imbalan atas wawasan yang lebih mendalam. Perjanjian ini secara eksplisit menyatakan bahwa data kesehatan pengguna akan dijaga kerahasiaannya dan tidak akan digunakan untuk melatih model AI, dan bahwa langkah-langkah telah diambil untuk menjaga keamanan dan privasi data. OpenAI mengatakan percakapan ChatGPT Health juga akan diadakan di bagian terpisah dari aplikasi, sehingga pengguna dapat melihat atau menghapus “kenangan” Kesehatan kapan saja.

Jaminan OpenAI bahwa ia akan menjaga keamanan data sensitif pengguna telah terbantu oleh perusahaan yang meluncurkan produk yang terdengar identik dengan protokol keamanan yang lebih ketat pada waktu yang hampir bersamaan dengan ChatGPT Health. Alat tersebut, yang disebut ChatGPT untuk Layanan Kesehatan, adalah bagian dari rangkaian layanan yang lebih luas produk dijual untuk mendukung bisnis, rumah sakit, dan dokter yang menangani pasien secara langsung. Penggunaan OpenAI yang disarankan termasuk menyederhanakan pekerjaan administratif seperti menyusun surat klinis dan ringkasan pemulangan serta membantu dokter menyusun bukti medis terbaru untuk meningkatkan perawatan pasien. Mirip dengan produk tingkat perusahaan lainnya yang dijual oleh perusahaan, terdapat perlindungan yang lebih besar daripada yang ditawarkan kepada konsumen umum, terutama pengguna gratis, dan OpenAI mengatakan produk tersebut dirancang untuk mematuhi kewajiban privasi yang diwajibkan oleh sektor medis. Mengingat nama dan tanggal peluncuran yang mirip – ChatGPT untuk Layanan Kesehatan diumumkan sehari setelah ChatGPT Health – sangat mudah untuk mengacaukan keduanya dan berasumsi bahwa produk yang ditujukan kepada konsumen memiliki tingkat perlindungan yang sama dengan produk yang lebih berorientasi klinis. Banyak orang yang saya ajak bicara ketika melaporkan cerita ini melakukan hal yang sama.

Namun jaminan keamanan apa pun yang kami ambil, tetap saja tidak kedap air. Pengguna alat seperti ChatGPT Health sering kali hanya memiliki sedikit perlindungan terhadap pelanggaran atau penggunaan tidak sah selain dari ketentuan penggunaan dan kebijakan privasi, kata para ahli. Tepi. Karena sebagian besar negara bagian belum memberlakukan undang-undang privasi yang komprehensif – dan tidak ada undang-undang privasi federal yang komprehensif – perlindungan data untuk alat AI seperti ChatGPT Health “sangat bergantung pada janji perusahaan dalam kebijakan privasi dan ketentuan penggunaan mereka,” kata Sara Gerke, seorang profesor hukum di University of Illinois Urbana-Champaign.

Bahkan jika Anda memercayai janji perusahaan untuk melindungi data Anda – OpenAI mengatakan bahwa perusahaan tersebut mengenkripsi data Kesehatan secara default – perusahaan tersebut mungkin akan berubah pikiran. “Meskipun ChatGPT menyatakan dalam ketentuan penggunaannya saat ini bahwa mereka akan menjaga kerahasiaan data ini dan tidak menggunakannya untuk melatih model mereka, Anda tidak dilindungi oleh hukum, dan diperbolehkan untuk mengubah ketentuan penggunaan seiring waktu,” jelas Hannah van Kolfschooten, peneliti hukum kesehatan digital di Universitas Basel di Swiss. “Anda harus percaya bahwa ChatGPT tidak melakukan hal tersebut.” Carmel Shachar, asisten profesor hukum klinis di Harvard Law School, sependapat: “Perlindungan yang diberikan sangat terbatas. Beberapa di antaranya memang benar, namun mereka selalu dapat menarik kembali dan mengubah praktik privasi mereka.”

Jaminan bahwa suatu produk mematuhi undang-undang perlindungan data yang mengatur sektor perawatan kesehatan seperti Undang-Undang Portabilitas dan Akuntabilitas Asuransi Kesehatan, atau HIPAA, juga tidak memberikan banyak kenyamanan, kata Shachar. Meskipun merupakan panduan yang bagus, tidak ada risiko besar jika perusahaan yang secara sukarela mematuhinya gagal melakukan hal tersebut, jelasnya. Mematuhi secara sukarela tidak sama dengan terikat. “Nilai HIPAA adalah jika Anda melakukan kesalahan, ada penegakan hukum.”

Ini lebih dari sekedar privasi. Ada alasan mengapa kedokteran merupakan bidang yang diatur secara ketat – kesalahan bisa berbahaya, bahkan mematikan. Banyak sekali contoh yang menunjukkan chatbot dengan percaya diri menyebarkan informasi kesehatan yang salah atau menyesatkan, seperti ketika seorang pria mengembangkan kondisi langka setelah dia bertanya kepada ChatGPT tentang menghilangkan garam dari makanannya dan chatbot menyarankan agar dia mengganti garam dengan natrium bromida, yang merupakan secara historis digunakan sebagai obat penenang. Atau saat Ikhtisar AI Google salah menasihati penderita kanker pankreas menghindari makanan berlemak tinggi – kebalikan dari apa yang seharusnya mereka lakukan.

Untuk mengatasi hal ini, OpenAI secara eksplisit menyatakan bahwa alat yang berhubungan dengan konsumen dirancang untuk digunakan dalam kolaborasi erat dengan dokter dan tidak dimaksudkan untuk diagnosis dan pengobatan. Alat yang dirancang untuk diagnosis dan pengobatan ditetapkan sebagai perangkat medis dan tunduk pada peraturan yang lebih ketat, seperti uji klinis untuk membuktikan bahwa alat tersebut berfungsi dan pemantauan keselamatan setelah digunakan. Meskipun OpenAI sepenuhnya dan terbuka menyadari bahwa salah satu kasus penggunaan utama ChatGPT adalah mendukung kesehatan dan kesejahteraan pengguna — ingat 230 juta orang yang meminta nasihat setiap minggunya — pernyataan perusahaan bahwa hal itu tidak dimaksudkan sebagai perangkat medis membawa banyak beban bagi regulator, Gerke menjelaskan. “Tujuan penggunaan yang dinyatakan oleh produsen merupakan faktor kunci dalam klasifikasi perangkat medis,” katanya, yang berarti perusahaan yang menyatakan bahwa peralatan tersebut bukan untuk penggunaan medis akan lolos dari pengawasan bahkan jika produk tersebut digunakan untuk tujuan medis. Hal ini menggarisbawahi tantangan regulasi yang ditimbulkan oleh teknologi seperti chatbots.

Untuk saat ini, setidaknya penafian ini membuat ChatGPT Health berada di luar lingkup regulator seperti Badan Pengawas Obat dan Makanan (FDA), namun van Kolfschooten mengatakan sangat masuk akal untuk bertanya apakah alat seperti ini benar-benar harus diklasifikasikan sebagai perangkat medis dan diatur seperti itu. Penting untuk melihat cara penggunaannya, serta apa yang dikatakan perusahaan, jelasnya. Saat mengumumkan produknya, OpenAI menyarankan masyarakat dapat menggunakan ChatGPT Health untuk menafsirkan hasil laboratorium, melacak perilaku kesehatan, atau membantu mereka mengambil keputusan dalam mengambil keputusan pengobatan. Jika suatu produk mampu melakukan hal ini, maka kita dapat berargumentasi bahwa produk tersebut mungkin termasuk dalam definisi perangkat medis di Amerika Serikat, ujarnya. Hal ini menunjukkan bahwa kerangka peraturan Eropa yang lebih kuat mungkin menjadi alasan mengapa produk tersebut belum tersedia di wilayah tersebut.

Meskipun mengklaim ChatGPT tidak digunakan untuk diagnosis atau pengobatan, OpenAI telah melakukan banyak upaya untuk membuktikan bahwa ChatGPT adalah solusi yang bagus. tenaga medis yang mumpuni dan mendorong pengguna untuk mengetuknya untuk pertanyaan kesehatan. Perusahaan menyoroti kesehatan sebagai kasus penggunaan utama meluncurkan GPT-5dan bahkan CEO Sam Altman mengundang pasien kanker dan suaminya di atas panggung untuk mendiskusikan bagaimana alat tersebut membantunya memahami diagnosis. Perusahaan tersebut mengatakan bahwa mereka menilai kehebatan medis ChatGPT berdasarkan tolok ukur yang dikembangkan sendiri dengan lebih dari 260 dokter di berbagai spesialisasi. Bangku Kesehatanyang “menguji seberapa baik kinerja model AI dalam skenario kesehatan yang realistis”. catatan kritikus itu tidak terlalu transparan. Penelitian lain – sering kali berskala kecil, terbatas, atau dijalankan oleh perusahaan itu sendiri – juga mengisyaratkan potensi medis ChatGPT, yang menunjukkan bahwa dalam beberapa kasus hal ini dapat lulus ujian lisensi medis, berkomunikasi lebih baik dengan pasienDan mengungguli dokter dalam mendiagnosis penyakitserta membantu dokter membuat lebih sedikit kesalahan bila digunakan sebagai alat.

Upaya OpenAI untuk menghadirkan ChatGPT Health sebagai sumber informasi kesehatan yang kredibel juga dapat melemahkan penyangkalan apa pun yang dilakukan OpenAI, termasuk memberi tahu pengguna untuk tidak menggunakannya untuk tujuan medis, kata van Kolfschooten. “Ketika suatu sistem terasa dipersonalisasi dan memiliki aura otoritas, penyangkalan medis tidak serta merta menantang kepercayaan masyarakat terhadap sistem tersebut.”

Perusahaan seperti OpenAI dan Anthropic berharap mereka mendapatkan kepercayaan tersebut saat mereka bersaing untuk menjadi yang terdepan dalam apa yang mereka lihat sebagai pasar besar AI berikutnya. Angka-angka yang menunjukkan berapa banyak orang yang sudah menggunakan chatbot AI untuk kesehatan menunjukkan bahwa mereka mungkin tertarik pada sesuatu, dan mengingat hal tersebut kesenjangan kesehatan yang mencolok dan kesulitan yang dihadapi banyak orang mengakses bahkan perawatan dasarini bisa menjadi hal yang baik. Setidaknya, hal itu bisa terjadi jika kepercayaan itu diberikan dengan baik. Kami mempercayakan informasi pribadi kami kepada penyedia layanan kesehatan karena profesi tersebut telah mendapatkan kepercayaan tersebut. Belum jelas apakah industri dengan reputasi bergerak cepat dan inovatif juga mendapatkan hal yang sama.