Paslėptas Microsoft debesijos šliuzo defektas, ramiai glūdėjęs nuo liepos, buvo vienos didžiausių bendrovės istorijoje sutrikimų praėjusią savaitę priežastis. Bendrovės paskelbtoje preliminarioje incidento ataskaitoje (Post-Incident Report, PIR) aprašoma, kaip latentinė klaida, pasikeitęs srautas ir sumažėjusi serverių talpa kartu paveikė didelę dalį „Microsoft 365“ ir „Exchange“ infrastruktūros praėjusios savaitės pabaigoje. Galutinė incidento būsena Microsoft ataskaitoje nurodyta kaip „techninė problema, nesusijusi su kibernetine ataka ar dirbtiniu intelektu / agentais“.
Preliminarioje Microsoft ataskaitoje sutrikimas datuojamas nuo lapkričio 12 d. 16:20 UTC iki lapkričio 13 d. 16:10 UTC, t. y. truko kiek mažiau nei 24 valandas, o papildoma paveiktų sistemų stebėsena tęsėsi iki lapkričio 14 d.
Sutrikimas prasidėjo lapkričio 12 d. ir greitai persirito per įmones ir valstybines įstaigas, kurios naudojasi Microsoft debesijos bei el. pašto infrastruktūra. Incidentas registruotas Microsoft incidentų numeriais EX1550543 ir MO1550821. Norint matyti visą ataskaitą bendrovės būsenos puslapiuose, reikia „Microsoft 365“ administratoriaus prisijungimo duomenų, tačiau „Office Watch“ paskelbė preliminarios ataskaitos kopiją, o Pensilvanijos universitetas saugo Microsoft paslaugų būklės pranešimų archyvą.
Tobula audra
Microsoft sutrikimą aiškina trimis veiksniais. Nuo liepos į Microsoft debesijos šliuzą įdiegtas pakeitimas sukėlė klaidą: tam tikromis sąlygomis procesoriaus ir atminties ištekliai galėjo išsekti, o sistema nustodavo reaguoti. Bendrovė tvirtina, kad defekto nepavyko aptikti prieš išleidimą atliekamų testų metu, nes naudota įranga buvo silpnesnė nei kai kurios jau gamyboje veikiančios sistemos, kuriose didesnis procesoriaus branduolių skaičius naujesnėse mašinose, regis, prisidėjo prie užstrigimo.
Antrasis veiksnys buvo serverių apkrova. Microsoft nurodė, kad „srauto perkėlimai įprastos tinklo priežiūros ir atnaujinimų metu atskleidė latentinę klaidą“. Siekdama atsparumo, bendrovė naudoja dvi nepriklausomas šliuzų sistemas prieigai prie „Microsoft 365“. Jei viena sistema sutrinka ir naudotojai negali patekti pro „priekines duris“, atveriama kita, kad srautas nenutrūktų. Remiantis ataskaita, likus maždaug 15 valandų iki sutrikimo, „Teams“ srautas buvo perkeltas iš atsarginio šliuzo į pagrindinį, kuriame palaikoma „Exchange Online“ prieiga. Perjungimas buvo standartinė saugos priemonė, tačiau šliuzas ėmė apdoroti didesnį srautą ir kitokią užklausų sudėtį nei anksčiau. Užklausoms toliau kaupiantis, paveikti serveriai išnaudojo savo pajėgumus ir ėmė atmesti naujas prisijungimo užklausas.
Srauto perkėlimas atskleidė trečiąjį veiksnį – infrastruktūros talpą. Dėl esamo gedimo Microsoft šliuzų serverių parkas veikė 14 procentų žemiau optimalių sąlygų. Šios trūkstamos atsargos paprastai būtų sugėrusios paklausą, tačiau kartu su pasikeitusiais srauto modeliais ir pagrindiniu defektu šliuzuose, užklausoms toliau kaupiantis, atsirado užraktų kovojimas (lock contention).
Paaiškinimas: Šliuzas yra tarpinis serveris, pro kurį praeina naudotojų užklausos į debesijos paslaugas. Kai jis sutrinka, paslaugos tampa nepasiekiamos, nors pačios jų programos gali veikti.
Kai JAV įmonių veikla pasiekė kasdienį piką, šliuzų serveriai ėmė stingti. Atsarginės sistemos, perkėlusios užklausas nuo nereaguojančių serverių, savo darbą atliko, tačiau tą patį užstrigimą patyrė ir tariamai sveiki atsarginiai šliuzai. Tai sukėlė sniego gniūžtės efektą: daugiau nei 80 procentų paveiktų Microsoft šliuzų serverių užstrigo. Mechanizmai, skirti paveiktoms sistemoms izoliuoti pagal regionus, atrodo, nesuveikė. Dabartinėje ataskaitoje Microsoft nepaaiškina, kodėl šios izoliavimo sistemos galėjo nesuveikti.
Lengvo kelio atgal nebuvo
Atkūrimas truko ilgiau nei įprastai, nes taisymui reikėjo Microsoft inžinierių parengto tikslinio sistemos atnaujinimo. Bandymai iš naujo paleisti šliuzų serverius buvo neveiksmingi: kai serveriai vėl pradėdavo veikti, jų jau laukdavo didelės užklausų eilės, todėl iškart pasikartodavo tas pats išteklių išsekimas, kuris iš pradžių ir prisidėjo prie sutrikimo. Microsoft teigia, kad tokias paslaugas kaip „Teams“, „OneDrive“ ir kitas „Office“ programas buvo galima nukreipti nuo paveiktos infrastruktūros, tačiau mastelio apribojimai neleido to pačio padaryti „Exchange Online“.
Paaiškinimas: „Exchange Online“ yra Microsoft debesyje veikianti el. pašto ir kalendoriaus paslauga, kuria remiasi daugybė įmonių ir institucijų.
Kadangi liepos klaida vis dar nebuvo aptikta, sistemų grąžinimas į ankstesnę būseną taip pat nepadėjo. Tiesiog sugrįžti į ankstesnę būseną, kai viskas „veikė“, buvo neįmanoma, nes „vaiduoklis jau buvo mašinoje“. Serveriai buvo palaipsniui pataisomi ir grąžinami į darbą, o Microsoft teigia, kad pridėjo papildomos talpos ir srauto paskirstymo apsaugos priemonių, kad panašus incidentas nepasikartotų. Bendrovė taip pat pratęsė paveiktų el. laiškų pristatymo laiko limitus, kad uždelsti laiškai nebūtų grąžinami kaip nepristatomi.
Microsoft tikisi paskelbti visą galutinę incidento ataskaitą lapkričio 20 d. Joje gali būti papildomai paaiškinta, kodėl neveikė regioninės izoliacijos sistemos ir kokių taisomųjų veiksmų bus imtasi, kad tokio pobūdžio sutrikimų ateityje būtų išvengta. Pirmadienio rytą visos Microsoft debesijos paslaugos atrodė veikiančios ir pasiekiamos.



