Microsoft mengatakan bug dalam sistem permintaan pemeliharaan jaringan otomatisnya menyebabkan pemadaman besar-besaran pada hari Kamis karena secara keliru menghapus rute IP dari lebih banyak perangkat dari yang diharapkan, sehingga mengganggu layanan Azure dan Microsoft 365.
Pemadaman ini dimulai pada pukul 10:44 AM ET pada hari Kamis, 23 Juli, dan sebagian besar memengaruhi pelanggan yang mengakses layanan Microsoft 365 melalui infrastruktur jaringan yang tersambung ke wilayah Microsoft Azure di AS Barat.
Pada pukul 11.11 ET, Downdetector telah mencatat 2.403 laporan pemadaman, jauh di atas batas normalnya yaitu 29. SharePoint menyumbang 78% dari keluhan, diikuti oleh Excel sebesar 11% dan Pusat Admin Microsoft 365 sebesar 6%.
Microsoft melacak pemadaman Microsoft 365 berdasarkan ID insiden MO1437424 dan mengonfirmasi bahwa beberapa layanan Microsoft 365 terpengaruh:
- Microsoft OneDrive – Akses ke OneDrive terputus-putus.
- BagikanPoint Daring – Pengguna menerima kesalahan “Ada yang tidak beres”.
- Tim Microsoft – Fungsi obrolan menurun, termasuk gambar tidak dimuat.
- Pusat Admin Microsoft 365 – Pusat Admin dimuat dengan lambat atau tidak dimuat sama sekali.
- Otomatisasi Daya – Aliran otomatis tidak dimuat.
- Obrolan Kopilot – Pengguna mengalami penundaan atau kegagalan sewaktu-waktu saat melakukan tindakan dan pertanyaan.
- Lingkaran Microsoft – Pengguna tidak dapat membuka atau memuat halaman Loop.
Layanan lain yang terpengaruh termasuk Fabric dan Power BI, Power Apps, Copilot Studio, Windows 365, dan Microsoft Defender.
Beberapa pelanggan Defender mengalami penundaan dalam menerima respons dari Pakar Microsoft Defender, sementara investigasi, alur kerja, dan tindakan remediasi yang dipicu melalui Threat Explorer dan Advanced Hunting bisa gagal.
Microsoft pada awalnya berupaya memitigasi gangguan ini dengan mengubah rute lalu lintas melalui jalur jaringan alternatif, yang membantu pelanggan, namun banyak layanan yang terus terpengaruh.
Sebelum menentukan penyebab pemadaman, Microsoft memperingatkan pelanggan bahwa mereka mungkin perlu meninjau kelangsungan bisnis dan rencana pemulihan bencana serta mengambil tindakan yang sesuai dengan lingkungan mereka.
Perusahaan kemudian mengidentifikasi perubahan jaringan baru-baru ini sebagai penyebabnya dan mulai memperbaikinya.
Microsoft menyelesaikan pengembalian pada pukul 14.26 ET dan mengonfirmasi melalui telemetri layanan dan laporan pelanggan bahwa insiden Microsoft 365 telah teratasi.
Bug pemeliharaan menyebabkan pemadaman
Dalam Tinjauan Pasca Insiden awal untuk insiden Azure, Microsoft mengatakan pemadaman listrik dipicu selama pemeliharaan rutin perangkat di wilayah Azure AS Barat, tempat jalur jaringan tertentu diisolasi.
Microsoft mengatakan proses pemeliharaannya mengubah jenis permintaan ini menjadi instruksi yang dapat dibaca sistem dan memeriksa bahwa setidaknya satu dari dua jalur redundan tetap berfungsi sebelum pekerjaan dimulai.
Namun, bug dalam sistem konversi permintaan salah menandai perangkat jaringan tambahan sebagai bagian dari peristiwa pemeliharaan.
Akibatnya, rute IP dihapus dari lebih banyak perangkat dari yang seharusnya antara pusat data Microsoft di AS Barat dan jaringan area luasnya.
Rute yang dihapus mengganggu lalu lintas jaringan yang memasuki atau meninggalkan wilayah AS Barat. Namun, Microsoft mengatakan lalu lintas yang seluruhnya berada di wilayah tersebut tidak terpengaruh.
Insiden Azure menyebabkan kegagalan konektivitas, peningkatan latensi, dan masalah dalam mengakses berbagai layanan cloud, termasuk Azure App Service, Application Gateway, Azure AD B2C, Azure AI Search, Azure API Management, Azure Cosmos DB, Azure Databricks, Azure Firewall, Azure Kubernetes Service, Azure Monitor, Azure Virtual Desktop, ExpressRoute, Log Analytics, Microsoft Graph, Microsoft Sentinel, Power BI Embedded, Virtual WAN, dan VPN Gateway.
Microsoft mengatakan para insinyurnya mulai menyelidiki masalah ini segera setelah pemadaman dimulai pada pukul 10:44 ET.
Masalah awalnya muncul sebagai perubahan rute berskala besar di WAN Microsoft. Para insinyur kemudian menelusuri penghapusan rute tersebut ke pusat data di wilayah AS Barat dan menghubungkannya dengan aktivitas pemeliharaan baru-baru ini.
Microsoft memulai pengembalian perubahan pemeliharaan pada pukul 13.45 ET, yang selesai pada pukul 14.26 ET.
Rollback ini memulihkan infrastruktur jaringan yang terpengaruh dan memungkinkan layanan Microsoft 365 pulih. Beberapa layanan Azure terus pulih setelah perbaikan diterapkan, dengan Microsoft melaporkan bahwa semua layanan yang terpengaruh telah pulih sepenuhnya pada pukul 15.41 ET.
Microsoft kini melakukan tinjauan internal penuh yang berfokus pada pemeriksaan keamanan dan proses otomatis yang digunakan untuk menjalankan permintaan pemeliharaan.
“Kami akan melakukan analisis lengkap yang berfokus pada pemeriksaan keselamatan, proses perubahan permintaan pemeliharaan otomatis, dan banyak lagi seiring kemajuan kami melalui retrospektif internal pasca mitigasi,” jelas Microsoft.
Perusahaan mengatakan akan menerbitkan Tinjauan Pasca Insiden akhir setelah menyelesaikan penyelidikannya, yang biasanya dalam waktu 14 hari.
Uji setiap lapisan sebelum penyerang melakukannya
Tim keamanan mencatat 54% serangan yang berhasil dan hanya memberikan peringatan 14%. Sisanya bergerak melalui lingkungan Anda tanpa terlihat.
Whitepaper Picus menunjukkan bagaimana simulasi pelanggaran dan serangan menguji aturan SIEM dan EDR Anda sehingga ancaman berhenti lolos saat terdeteksi.
