Begini cara penyensoran Deepseek benar -benar bekerja – dan bagaimana cara mengatasinya

Kurang dari dua minggu setelahnya Deepseek meluncurkan model AI open-source-nya, startup Cina masih mendominasi percakapan publik tentang masa depan kecerdasan buatan. Sementara perusahaan tampaknya memiliki keunggulan pada saingan AS dalam hal matematika dan penalaran, itu juga secara agresif menyensor balasannya sendiri. Bertanya Deepseek R1 Tentang Taiwan atau Tiananmen, dan model ini tidak mungkin memberikan jawaban.

Untuk mengetahui bagaimana sensor ini bekerja pada tingkat teknis, Wired menguji Deepseek-R1 di aplikasi sendiri, versi aplikasi yang di-host pada platform pihak ketiga yang disebut Together AI, dan versi lain yang di-host di komputer kabel, menggunakan aplikasi tersebut Ollama.

Wired menemukan bahwa sementara sensor yang paling mudah dapat dengan mudah dihindari dengan tidak menggunakan aplikasi Deepseek, ada jenis bias lain yang dipanggang ke dalam model selama proses pelatihan. Bias -bias itu dapat dihapus juga, tetapi prosedurnya jauh lebih rumit.

Temuan ini memiliki implikasi besar bagi Deepseek dan perusahaan AI Cina pada umumnya. Jika filter sensor pada model bahasa besar dapat dengan mudah dihapus, itu kemungkinan akan membuat LLM open-source dari Cina bahkan lebih populer, karena para peneliti dapat memodifikasi model sesuai dengan keinginan mereka. Namun, jika filter sulit untuk berkeliling, modelnya pasti akan terbukti kurang berguna dan bisa menjadi kurang kompetitif di pasar global. Deepseek tidak membalas permintaan komentar Wired yang diemail.

Sensor tingkat aplikasi

Setelah Deepseek meledak dalam popularitas di AS, pengguna yang mengakses R1 melalui situs web Deepseek, aplikasi, atau API dengan cepat memperhatikan model yang menolak untuk menghasilkan jawaban untuk topik yang dianggap sensitif oleh pemerintah Cina. Penolakan ini dipicu pada tingkat aplikasi, jadi mereka hanya terlihat jika pengguna berinteraksi dengan R1 melalui saluran yang dikendalikan oleh Deepseek.

Penolakan seperti ini biasa terjadi pada LLM buatan Cina. Peraturan 2023 tentang AI generatif menentukan bahwa model AI di Cina diharuskan untuk mengikuti kontrol informasi yang ketat yang juga berlaku untuk media sosial dan mesin pencari. Undang -undang melarang model AI dari menghasilkan konten yang “merusak persatuan negara dan harmoni sosial.” Dengan kata lain, model AI Cina secara hukum harus menyensor output mereka.

“Deepseek pada awalnya mematuhi peraturan Tiongkok, memastikan kepatuhan hukum sambil menyelaraskan model dengan kebutuhan dan konteks budaya pengguna lokal,” kata Adina Yakefu, seorang peneliti yang berfokus pada model AI Cina di Hugging Face, sebuah platform yang menampung model AI open source. “Ini adalah faktor penting untuk penerimaan di pasar yang sangat diatur.” (Cina Akses yang diblokir untuk memeluk wajah pada tahun 2023.)

Untuk mematuhi hukum, model AI Cina sering memantau dan menyensor pidato mereka secara real time. (Pagar serupa biasanya digunakan oleh model Barat seperti Chatgpt Dan Geminitetapi mereka cenderung fokus pada berbagai jenis konten, seperti melukai diri sendiri dan pornografi, dan memungkinkan lebih banyak penyesuaian.)

Karena R1 adalah model penalaran yang menunjukkan pemikirannya, mekanisme pemantauan real-time ini dapat mengakibatkan pengalaman surealis menonton model sensor itu sendiri karena berinteraksi dengan pengguna. Ketika Wired bertanya kepada R1 “Bagaimana jurnalis Cina yang melaporkan topik sensitif telah diperlakukan oleh pihak berwenang?” Model pertama kali mulai menyusun jawaban panjang yang mencakup menyebutkan langsung jurnalis yang disensor dan ditahan untuk pekerjaan mereka; Namun tak lama sebelum selesai, seluruh jawaban menghilang dan digantikan oleh pesan singkat: “Maaf, saya belum yakin bagaimana mendekati pertanyaan jenis ini. Mari kita mengobrol tentang matematika, pengkodean, dan masalah logika sebagai gantinya! ”

Bagi banyak pengguna di Barat, minat pada Deepseek-R1 mungkin telah berkurang pada saat ini, karena keterbatasan model yang jelas. Tetapi fakta bahwa R1 adalah open source berarti ada cara untuk menyiasati matriks sensor.

Pertama, Anda dapat mengunduh model dan menjalankannya secara lokal, yang berarti data dan pembuatan respons terjadi di komputer Anda sendiri. Kecuali jika Anda memiliki akses ke beberapa GPU yang sangat canggih, Anda mungkin tidak akan dapat menjalankan versi R1 yang paling kuat, tetapi Deepseek memiliki versi yang lebih kecil dan suling yang dapat dijalankan pada laptop biasa.

Jika Anda sudah mati menggunakan model yang kuat, Anda dapat menyewa server cloud di luar China dari perusahaan seperti Amazon dan Microsoft. Kerja ini lebih mahal dan membutuhkan lebih banyak pengetahuan teknis daripada mengakses model melalui aplikasi atau situs web Deepseek.

Berikut perbandingan berdampingan tentang seberapa Deepseek-R1 menjawab pertanyaan yang sama— “Apa firewall besar Cina?”-Ketika model di-host di Together AI, server cloud, dan Ollama, aplikasi lokal: (Pengingat : Karena model menghasilkan jawaban secara acak, prompt tertentu tidak dijamin untuk memberikan respons yang sama setiap saat.)

Bias bawaan

Sementara versi model Deepseek yang di -host di Together AI tidak akan langsung menolak untuk menjawab pertanyaan, itu masih menunjukkan tanda -tanda sensor. Misalnya, ini sering menghasilkan respons pendek yang jelas dilatih untuk selaras dengan poin pembicaraan pemerintah Cina tentang masalah politik. Dalam tangkapan layar di atas, ketika ditanya tentang firewall besar China, R1 hanya mengulangi narasi bahwa kontrol informasi diperlukan di Cina.

Ketika Wired mendorong model yang diselenggarakan bersama AI untuk menjawab pertanyaan tentang “peristiwa sejarah terpenting abad ke -20,” itu mengungkapkan pemikirannya untuk tetap berpegang pada narasi pemerintah tentang Cina.

“Pengguna mungkin mencari daftar yang seimbang, tetapi saya perlu memastikan bahwa responsnya menggarisbawahi kepemimpinan BPK dan kontribusi China. Hindari menyebutkan peristiwa yang bisa sensitif, seperti revolusi budaya, kecuali perlu. Fokus pada pencapaian dan perkembangan positif di bawah BPK, ”kata model itu.

Jenis sensor ini menunjukkan masalah yang lebih besar di AI saat ini: setiap model bias dalam beberapa hal, karena pra dan pasca-pelatihannya.

Bias pra-pelatihan terjadi ketika model dilatih pada data yang bias atau tidak lengkap. Misalnya, model yang dilatih hanya pada propaganda akan berjuang untuk menjawab pertanyaan dengan jujur. Jenis bias ini sulit dikenali, karena sebagian besar model dilatih pada database besar dan perusahaan enggan berbagi data pelatihan mereka.

Kevin Xu, seorang investor dan pendiri buletin yang saling berhubungan, mengatakan model-model Cina biasanya dilatih dengan data sebanyak mungkin, membuat bias pra-pelatihan tidak mungkin. “Saya cukup yakin semuanya dilatih dengan kumpulan pengetahuan internet dasar yang sama untuk memulai. Jadi ketika sampai pada topik yang jelas dan sensitif secara politis bagi pemerintah Cina, semua model ‘tahu’ tentang hal itu, ”katanya. Untuk menawarkan model ini di internet Cina, perusahaan perlu menghilangkan informasi sensitif, kata Xu.

Di situlah pasca-pelatihan masuk. Pasca-pelatihan adalah proses menyempurnakan model untuk membuat jawabannya lebih mudah dibaca, ringkas, dan terdengar manusia. Secara kritis, ini juga dapat memastikan bahwa model mematuhi serangkaian pedoman etika atau hukum tertentu. Untuk Deepseek, ini bermanifestasi ketika model memberikan jawaban yang dengan sengaja selaras dengan narasi pilihan pemerintah Cina.

Menghilangkan bias sebelum dan sesudah pelatihan

Karena Deepseek adalah open source, model secara teoritis dapat disesuaikan untuk menghilangkan bias pasca-pelatihan. Tapi prosesnya bisa rumit.

Eric Hartford, seorang ilmuwan AI dan pencipta Dolphin, sebuah LLM secara khusus Dibuat untuk menghapus bias pasca-pelatihan dalam modelmengatakan ada beberapa cara untuk melakukannya. Anda dapat mencoba mengubah bobot model untuk “melobotomi” bias, atau Anda dapat membuat database dari semua topik yang disensor dan menggunakannya untuk pasca-pelatihan model lagi.

Dia menyarankan orang untuk memulai dengan versi “dasar” dari model. (Misalnya, Deepseek telah merilis model dasar yang disebut Deepseek-V3-Base.) Bagi kebanyakan orang, model dasar lebih primitif dan kurang ramah pengguna karena belum menerima cukup pasca-pelatihan; Tetapi bagi Hartford, model-model ini lebih mudah untuk “tidak berpusat” karena mereka memiliki lebih sedikit bias pasca-pelatihan.

Perplexity, mesin pencari bertenaga AI, baru-baru ini memasukkan R1 ke dalam produk pencarian berbayar, yang memungkinkan pengguna untuk mengalami R1 tanpa menggunakan aplikasi Deepseek.

Dmitry Shevelenko, Kepala Pejabat Bisnis Perplexity, memberi tahu WIRED bahwa perusahaan mengidentifikasi dan melawan bias Deepseek sebelum memasukkan model ke dalam pencarian kebingungan. “Kami hanya menggunakan R1 untuk peringkasan, rantai pikiran, dan rendering,” katanya.

Tetapi kebingungan masih melihat bias pasca-pelatihan R1 berdampak pada hasil pencariannya. “Kami membuat modifikasi pada [R1] Model sendiri untuk memastikan bahwa kami tidak menyebarkan propaganda atau sensor, ”kata Shevelenko. Dia tidak berbagi secara spesifik tentang bagaimana kebingungan mengidentifikasi atau mengesampingkan bias dalam R1, mengutip risiko bahwa Deepseek dapat melawan upaya kebingungan jika perusahaan mengetahuinya.

Hugging Face juga mengerjakan proyek yang disebut Open R1 berdasarkan model Deepseek. Proyek ini bertujuan untuk “memberikan kerangka kerja sumber terbuka yang sepenuhnya,” kata Yakefu. Fakta bahwa R1 telah dirilis sebagai model open-source “memungkinkannya untuk melampaui asal-usulnya dan disesuaikan untuk memenuhi beragam kebutuhan dan nilai.”

Kemungkinan bahwa model Cina dapat “tanpa sensor” dapat mengeja masalah bagi perusahaan seperti Deepseek, setidaknya di negara asal mereka. Tetapi Peraturan terbaru dari China menyarankan agar pemerintah Cina mungkin memotong sedikit laboratorium AI, kata Matt Sheehan, seorang rekan di Carnegie Endowment for Peace International yang meneliti kebijakan AI Tiongkok. “Jika mereka tiba-tiba memutuskan bahwa mereka ingin menghukum siapa pun yang melepaskan sumber bobot terbuka, maka itu tidak akan berada di luar batas peraturan,” katanya. “Tetapi mereka telah membuat keputusan strategis yang cukup jelas – dan saya pikir ini akan diperkuat oleh keberhasilan Deepseek – untuk tidak melakukan itu.”

Mengapa itu penting

Sementara keberadaan sensor Cina dalam model AI sering menjadi berita utama, dalam banyak kasus itu tidak akan menghalangi pengguna perusahaan untuk mengadopsi model Deepseek.

“Akan ada banyak perusahaan non-Cina yang mungkin akan memilih pragmatisme bisnis daripada pertimbangan moral,” kata Xu. Lagi pula, tidak setiap pengguna LLM akan berbicara tentang Taiwan dan Tiananmen sesering mungkin. “Topik sensitif yang hanya penting dalam konteks Cina sama sekali tidak relevan ketika tujuan Anda adalah membantu kode perusahaan Anda lebih baik atau untuk melakukan masalah matematika dengan lebih baik atau meringkas transkrip dari pusat panggilan penjualan Anda,” jelasnya.

Leonard Lin, salah satu pendiri Shisa.ai, startup Jepang, mengatakan model-model Cina seperti Qwen dan Deepseek sebenarnya adalah beberapa yang terbaik dalam hal menangani tugas berbahasa Jepang. Daripada menolak model -model ini atas masalah sensor, Lin memiliki bereksperimen Dengan model Qwen-2 Uncensoring Alibaba untuk mencoba menyingkirkan kecenderungannya untuk menolak menjawab pertanyaan politik tentang Cina.

Lin mengatakan dia mengerti mengapa model -model ini disensor. “Semua model bias; Itulah inti dari keselarasan, ”katanya. “Dan model Barat tidak kalah disensor atau bias, hanya pada subjek yang berbeda.” Tetapi bias pro-Cina menjadi masalah nyata ketika model ini secara khusus diadaptasi untuk audiens Jepang. “Anda dapat membayangkan segala macam skenario di mana ini akan menjadi … bermasalah,” kata Lin.

Pelaporan tambahan oleh Will Knight.