Cloudflare: Pemadaman tidak disebabkan oleh insiden keamanan, data aman

Cloudflare telah mengkonfirmasi bahwa pemadaman layanan besar kemarin tidak disebabkan oleh insiden keamanan dan tidak ada data yang hilang.

Masalah ini sebagian besar telah dimitigasi. Itu dimulai 17:52 UTC kemarin ketika sistem pekerja KV (value kunci) benar-benar offline, menyebabkan Kerugian layanan yang meluas melintasi beberapa layanan komputasi tepi dan AI.

Pekerja KV adalah toko nilai kunci yang terdistribusi secara global dan konsisten yang digunakan oleh CloudFlare Workers, platform komputasi server tanpa server perusahaan. Ini adalah bagian mendasar di banyak layanan CloudFlare dan kegagalan dapat menyebabkan masalah cascading di banyak komponen.

Gangguan ini juga memengaruhi layanan lain yang digunakan oleh jutaan orang, terutama Google Cloud Platform.

Dalam post mortem, Cloudflare menjelaskan bahwa pemadaman berlangsung hampir 2,5 jam dan akar penyebabnya adalah kegagalan pada pekerja KV yang mendasari infrastruktur penyimpanan karena pemadaman penyedia cloud pihak ketiga.

“Penyebab pemadaman ini adalah karena kegagalan dalam infrastruktur penyimpanan yang mendasari yang digunakan oleh layanan KV pekerja kami, yang merupakan ketergantungan kritis untuk banyak produk CloudFlare dan diandalkan untuk konfigurasi, otentikasi, dan pengiriman aset di seluruh layanan yang terkena dampak,” Cloudflare mengatakan.

“Bagian dari infrastruktur ini didukung oleh penyedia cloud pihak ketiga, yang mengalami pemadaman hari ini dan secara langsung memengaruhi ketersediaan layanan KV kami.”

Cloudflare telah menentukan dampak insiden pada setiap layanan:

• Pekerja KV – Mengalami tingkat kegagalan 90,22% karena penyimpanan backend tidak tersedianya, mempengaruhi semua bacaan dan penulisan yang tidak terkena.
• Akses, Warp, Gateway -Semua menderita kegagalan kritis dalam otentikasi berbasis identitas, penanganan sesi, dan penegakan kebijakan karena ketergantungan pada pekerja KV, dengan Warp tidak dapat mendaftarkan perangkat baru, dan gangguan proksi gateway dan kueri DOH.
• Dasbor, pintu putar, tantangan – Kegagalan login dan verifikasi CAPTCHA yang berpengalaman, dengan risiko penggunaan kembali token yang diperkenalkan karena aktivasi sakelar membunuh pada pintu putar.
• ISolasi & rendering browser browser -Gagal memulai atau mempertahankan sesi berbasis tautan dan tugas rendering browser karena kegagalan yang mengalir dalam akses dan gateway.
• Stream, gambar, halaman – Rincian fungsional utama yang dialami: Stream Playback dan Live Streaming gagal, unggahan gambar turun ke keberhasilan 0%, dan halaman membangun/porsi memuncak pada ~ 100% kegagalan.
• Pekerja AI & Autorag – Benar -benar tidak tersedia karena ketergantungan pada KV untuk konfigurasi model, perutean, dan fungsi pengindeksan.
• Objek yang tahan lama, d1, antrian – Layanan yang dibangun di atas lapisan penyimpanan yang sama karena KV menderita hingga 22% tingkat kesalahan atau tidak ada ketersediaan untuk antrian pesan dan operasi data.
• Gateway Realtime & AI -Menghadapi gangguan layanan yang hampir total karena ketidakmampuan untuk mengambil konfigurasi dari pekerja KV, dengan permintaan realtime turn/SFU dan AI gateway sangat terpengaruh.
• Aset Zaraz & Pekerja -Melihat kegagalan penuh atau parsial dalam memuat atau memperbarui konfigurasi dan aset statis, meskipun dampak pengguna akhir terbatas dalam ruang lingkup.
• CDN, Pekerja untuk Platform, Bangunan Pekerja – mengalami peningkatan kesalahan latensi dan regional di beberapa lokasi, dengan pekerja baru dibangun gagal 100% selama insiden.

Menanggapi pemadaman ini, CloudFlare mengatakan akan mempercepat beberapa perubahan yang berfokus pada ketahanan, terutama menghilangkan ketergantungan pada penyedia cloud pihak ketiga tunggal untuk pekerja KV Backend Storage.

Secara bertahap, toko pusat KV akan dimigrasi ke penyimpanan objek R2 Cloudflare sendiri untuk mengurangi ketergantungan eksternal.

Cloudflare juga berencana untuk mengimplementasikan perlindungan lintas layanan dan mengembangkan alat baru untuk secara bertahap memulihkan layanan selama pemadaman penyimpanan, mencegah lonjakan lalu lintas yang dapat membanjiri sistem pemulihan dan menyebabkan kegagalan sekunder.