Visame pasaulyje veikiantis sutrikimas, nutraukęs daugelio „Microsoft 365“ paslaugų darbą, penktadienio rytą vis dar tęsiasi.
Sutrikimas prasidėjo ketvirtadienį vidurdienį ir paveikė „Microsoft“ el. pašto, debesijos ir dirbtinio intelekto paslaugų naudotojus. „Microsoft“ paskelbė visą klaidos paveiktų paslaugų sąrašą, o penktadienio rytą ėmėsi priemonių, kad visame pasaulyje klientai dėl užsitęsusių trikdžių neprarastų laiškų.
„Atkūrimo veiksmai tęsiami“, – socialiniame tinkle X patvirtino „Microsoft 365 Status“ paskyra. „Kad šio incidento metu būtų išsaugoti uždelsti laiškai, el. pašto skirtąjį laiką (timeout) pratęsėme iki 48 valandų.“
Kaip ir pastarieji pasaulį sukrėtę plačiai naudojamų technologijų, tokių kaip „Amazon Web Services“ ir „CrowdStrike“, sutrikimai, „Microsoft“ gedimas atrodo kaip „vienas didžiausių sutrikimų per visą istoriją“, sakė NBC News buvęs Jungtinės Karalystės Nacionalinio kibernetinio saugumo centro vadovas Ciaranas Martinas. Jis užsiminė, kad jis galbūt netgi yra „blogesnis“.
Paaiškinimas: „CrowdStrike“ yra kibernetinio saugumo bendrovė, kurios programinės įrangos klaida kadaise sutrikdė daugybės kompiuterių darbą visame pasaulyje. „Amazon Web Services“ – viena didžiausių debesijos paslaugų teikėjų, kurių infrastruktūra remiasi daugybė svetainių ir programų.
Įmonės, ligoninės, policijos departamentai ir mokyklos buvo tarp tų, kurie skubėjo rasti apeinamų sprendimų. Japonijoje sutrikimas paveikė vyriausybės IT infrastruktūrą, teigė vyriausiojo kabineto sekretoriaus pavaduotojas Masanao Ozaki. NBC reportaže aprašyta įvairi žala, pažymima, kad „nedaugelis valstybės institucijų išvengė sutrikimo“. Kai kuriais atvejais gydytojai negalėjo išsiųsti pacientams „svarbių“ pranešimų apie vaistų pakeitimus ar tolesnę priežiūrą.
Nukentėjo ir finansų sektorius: žmonės negalėjo atlikti banko pavedimų, nes negaudavo patvirtinimo kodų.
Sutriko ir teisingumo sistemos darbas. NBC pranešė, kad Filipinų Aukščiausiojo Teismo teisinis darbas buvo sutrikdytas. Vienos JAV šerifo tarnybos Kolorado valstijoje duomenimis, dėl sutrikimo žmonėms buvo sunku sumokėti užstatą, kad kaliniai būtų nedelsiant paleisti.
Neaišku, kiek naudotojų nukentėjo, tačiau „Microsoft“ sausį įvertino, kad bendras mokamų „Microsoft 365“ komercinių prenumeratų skaičius viršijo 450 milijonų.
„Microsoft“ kaltina nepavykusias serverių būklės patikras
Būsenos puslapyje „Microsoft“ pareiškė, kad „neturime įrodymų apie su šiuo incidentu susijusią kenkėjišką veiklą“, ir pažadėjo, kad „užbaigus švelninimo veiksmus, pateiks pilną pranešimą po incidento (Post-Incident Report), kuriame bus nurodyta pagrindinė priežastis ir giluminės gynybos (defense-in-depth) veiksmai“.
„Aktyviai ieškome visų būdų poveikiui sumažinti“, – socialiniame tinkle X teigė „Microsoft“.
Tačiau iš viešų „Microsoft“ pareiškimų aišku, kad technologijų milžinė buvo užklupta netikėtai ir kelias valandas negalėjo rasti sprendimų, kurie patikimai atkurtų naudotojų prieigą.
Netrukus po sutrikimo aptikimo „Microsoft“ patvirtino, kad pagrindinė problema – „infrastruktūros dalis“, kuri „patiria padidėjusią apkrovą keliuose regionuose“. Tai, pasak bendrovės, sukėlė ne išaugęs srautas, o „problema, dėl kurios serveriai neišlaiko automatinių būklės patikrų (health checks) ir tampa nepasiekiami“.
Paaiškinimas: Serverių būklės patikra – automatinis mechanizmas, kuris nuolat tikrina, ar serveris veikia ir gali priimti užklausas. Jei serveris patikros neišlaiko, sistema laiko jį neveikiančiu ir nustoja jam siųsti srautą.
Paaiškėjus, kad kalti nepavykę būklės patikrinimai, „Microsoft“ teigė ėmusi veiksmų, kad būtų išvengta tolesnių serverių sutrikimų, ir kartu tikrino alternatyvius būklės patikros metodus. Tačiau po keturių valandų bendrovė pripažino, kad vis dar nerado išeities.
„Atveriame visus galimus kelius paslaugai atkurti, nes iki šiol imtasi veiksmai nedavė tikėtos naudos“, – teigė „Microsoft“. „Nustatėme, kad paveiktuose serveriuose esantis pagrindinis procesas yra perkraunamas, todėl prarandama pajėgumų. Siekdami patikrinti galimą atkūrimo būdą, izoliuojame dalį infrastruktūros, perkrauname paveiktus komponentus ir vėl nukreipiame srautą, kad įsitikintume, jog paslaugos išlieka stabilios, prieš taikydami pakeitimą plačiau.“
Atrodė, kad net nedideli laimėjimai virsdavo naujais nesėkmių etapais. Kol „Microsoft“ stengėsi išspręsti problemą, kai kurie vėl įjungti serveriai, gavę srautą, „vėl nustodavo reaguoti“, o tai bendrovei sukėlė dar vieną sprendžiamą problemą.
Supratusi, kad greitų sprendimų nebus, „Microsoft“ pratęsė el. pašto skirtąjį laiką iki 48 valandų. Kadangi „viltingi“ atkūrimo darbai tebevyko, bendrovė perspėjo naudotojus, kad atkūrus srautą „kai kurie protarpiniai sutrikimai gali tęstis“.
Naudotojus papiktino „Copilot“ ir „Outlook“ problemos
Naujausiuose „Microsoft“ pranešimuose patvirtinta, kad matoma „platesnių pagerėjimų Šiaurės Amerikoje, tvarių pagerėjimų didelėje Europos dalyje ir viltingų atsigavimo ženklų Azijos ir Ramiojo vandenyno regione“.
„Kai kurie naudotojai vis dar gali patirti protarpinių prieigos problemų arba uždelstą laiškų pristatymą, nes švelninimo veiksmai tęsiami likusioje paveiktoje infrastruktūroje“, – teigė „Microsoft“. „Daugiausia dėmesio skiriame atkurtos infrastruktūros stabilizavimui, švelninimo užbaigimui likusiose paveiktose vietose ir uždelstų el. laiškų eilių bei užsilikusių laiškų mažinimui, kol tikriname paslaugų nuoseklumą naudojant skirtingus prisijungimo būdus.“
„DownDetector“, kuris visame pasaulyje seka naudotojų pranešimus apie paslaugų sutrikimus, parodė, kad ryšio praradimai pasiekė piką ketvirtadienio popietę, o penktadienio rytą gerokai sumažėjo.
Komentaruose vienas „Outlook“ naudotojas aprašė, kaip sunku stebėti el. pašto atsigavimą: pasak jo, siunčiami laiškai, regis, išsiunčiami normaliai, bet gaunami laiškai pasiekia nenuosekliai. Kai kurie „Copilot“ naudotojai atrodė nusivylę, kad prieiga nebuvo atkurta taip greitai kaip prie „Outlook“. Vienas „Microsoft 365“ naudotojas svarstė: „Kiek biurų turėjo darbuotojų, kurie praktiškai neturėjo ką veikti? Kiek tai kainavo?“
