Upaya untuk memblokir URL phishing di platform penyimpanan objek R2 Cloudflare yang menjadi bumerang kemarin, memicu pemadaman luas yang menjatuhkan beberapa layanan selama hampir satu jam.
Cloudflare R2 adalah layanan penyimpanan objek yang mirip dengan Amazon S3, yang dirancang untuk penyimpanan data yang dapat diskalakan, tahan lama, dan berbiaya rendah. Ini menawarkan pengambilan data bebas biaya, kompatibilitas S3, replikasi data di beberapa lokasi, dan integrasi layanan cloudflare.
Pemadaman terjadi kemarin ketika seorang karyawan menanggapi laporan penyalahgunaan tentang URL phishing di platform R2 Cloudflare. Namun, alih -alih memblokir titik akhir tertentu, karyawan secara keliru mematikan seluruh layanan gateway R2.
“Selama perbaikan penyalahgunaan rutin, tindakan diambil atas keluhan yang secara tidak sengaja menonaktifkan layanan gateway R2 alih -alih titik akhir/ember tertentu yang terkait dengan laporan,” dijelaskan Cloudflare dalam penulisan post-mortemnya.
“Ini adalah kegagalan beberapa kontrol tingkat sistem (pertama dan terutama) dan pelatihan operator.”
Peristiwa itu berlangsung selama 59 menit, antara 08:10 dan 09:09 UTC, dan terlepas dari penyimpanan objek R2 itu sendiri, itu juga mempengaruhi layanan seperti:
- Sungai kecil – Kegagalan 100% dalam unggahan video dan pengiriman streaming.
- Gambar – 100% kegagalan dalam unggahan/unduhan gambar.
- Cadangan cache – Kegagalan 100% dalam operasi, menyebabkan peningkatan permintaan asal.
- Vektorisasi – Kegagalan 75% dalam kueri, 100% kegagalan dalam insert, upsert, dan hapus operasi.
- Pengiriman log -Penundaan dan kehilangan data: Hingga 13,6% kehilangan data untuk log terkait R2, hingga 4,5% kehilangan data untuk pekerjaan pengiriman non-R2.
- Auditor Transparansi Utama – Kegagalan 100% dalam Operasi Penerbitan & Baca Tanda Tangan.
Ada juga layanan yang terkena dampak secara tidak langsung yang mengalami kegagalan parsial seperti Objek yang tahan lamayang mengalami kenaikan tingkat kesalahan 0,09% karena koneksi kembali setelah pemulihan, Pembersihan cacheyang mengalami peningkatan kesalahan 1,8% (http 5xx) dan lonjakan latensi 10x, dan Pekerja & Halamanyang memiliki kegagalan penyebaran 0,002%, hanya mempengaruhi proyek dengan binding R2.
Sumber: Cloudflare
Cloudflare mencatat bahwa kesalahan manusia dan tidak adanya perlindungan seperti pemeriksaan validasi untuk tindakan berdampak tinggi adalah kunci dari insiden ini.
Raksasa Internet kini telah menerapkan perbaikan langsung seperti menghapus kemampuan untuk mematikan sistem dalam antarmuka tinjauan penyalahgunaan dan pembatasan dalam API admin untuk mencegah penyandang cacat layanan di akun internal.
Langkah-langkah tambahan yang akan diimplementasikan di masa mendatang termasuk peningkatan penyediaan akun, kontrol akses yang lebih ketat, dan proses persetujuan dua partai untuk tindakan berisiko tinggi.
Pada bulan November 2024, Cloudflare mengalami pemadaman penting lainnya selama 3,5 jam, menghasilkan yang tidak dapat diubah Kehilangan 55% dari semua log dalam layanan.
Insiden itu disebabkan oleh kegagalan cascading dalam sistem mitigasi otomatis CloudFlare yang dipicu dengan mendorong konfigurasi yang salah ke komponen utama dalam pipa logging perusahaan.
