Microsoft ang Nanguna sa Limang Malawakang Pagpalya ng Sistema sa Loob ng Isang Linggo: Imprastrakturang Binuo para sa Nakaraang Panahon, Nahihirapang Makasabay sa Bilis at mga Pangangailangan ng Panahon ng AI

Noong Nobyembre 17, kinumpirma ng NSA ang pagkaantala sa operasyon ng NSANet, ang panloob nitong network para sa pagpapadala ng impormasyong klasipikado. Itinalaga ang insidente bilang “Code Yellow,” ang ikalawang pinakamataas na antas sa tatlong antas ng sistema ng alerto nito. Sa araw ding iyon, nagdulot ang isang panloob na pag-update ng sistema sa Apple ng malawakang aberya sa portal ng mga empleyado, mga panloob na sistema ng pag-sign in, malayuang pag-access sa VPN, at mga serbisyo para sa mga mamimili, kabilang ang iCloud, App Store, at Apple Pay. Naantala ang pagbebenta at pagkukumpuni sa maraming tindahan nito sa buong mundo.

TMGM Analysis: Financial Market News, Economic Calendar & Market Insights

Isang araw bago nito, naantala ang pagproseso ng mga transaksyon dahil sa isang bug sa software ng mga sistema ng hardware ng JPMorgan na nasa sarili nitong mga pasilidad. Nagtala ang Downdetector ng mahigit 3,000 ulat ng pagkaantala ng serbisyo, habang nag-ulat din ng mga kaugnay na aberya ang mga kliyente ng Bank of America, Wells Fargo, at iba pang institusyon. Tatlong araw bago iyon, nag-utos ang FAA ng pansamantalang pagpapatigil ng mga paglipad sa buong bansa matapos ang isang pagkabigo sa komunikasyon, kung saan mahigit 5,100 flight ang nakansela at halos 10,000 ang naantala. Nagsimula ang sunod-sunod na insidente noong Nobyembre 12, nang tumigil sa paggana ang mga pangunahing serbisyo ng Microsoft 365 sa hindi bababa sa 70 bansa. Sabay-sabay na pumalya ang Outlook, Teams, at Copilot, at tumagal nang mahigit dalawang araw ang mga aberya.

Anim na araw. Limang kritikal na sistema. Walang insidenteng natukoy bilang pag-atake, at wala ring iniugnay sa AI. Gayunman, ang mismong salaysay na ito, na ang bawat isa ay hiwalay na teknikal na pagkabigong walang malisyosong layunin, ay naglalantad ng problemang mas mahirap ayusin kaysa sa isang pag-atake.


Microsoft: Paano Nauwi sa Dalawang Araw na Pagkawala ng Serbisyo ang Isang “Pagpapalawak ng Kapasidad”

Ayon sa paunang ulat ng Microsoft para sa mga kliyente na inilabas noong Nobyembre 15 at sa muling pagbuo ng Bloomberg sa pagkakasunod-sunod ng mga pangyayari, nagsimula ang pagkawala ng serbisyo sa isang karaniwang paglilipat ng trapiko ng mga user. Noong gabi ng Nobyembre 11, awtomatikong inilipat ang trapiko ng Teams sa ibang sistema ng server na humahawak sa trapiko ng Outlook. Kasabay ng nabawas nang kapasidad dahil sa isang hiwalay na problema, napagana nito ang isang bug na hindi pa nagdudulot ng problema sa mga data center ng kumpanya mula pa noong Hulyo: naubos ang memory ng mga server habang sumisipa ang trapiko, at nagsimulang bumagsak ang mga ito.

Lalo pang lumala ang pinsala nang ilipat ng awtomatikong sistema ng failover ng Microsoft ang karagdagang trapiko sa iba pang server na itinuring nitong maayos, kaya kumalat ang pagkabigo. Pagsapit ng rurok ng trapiko sa umaga ng araw ng trabaho noong Nobyembre 12, mahigit 80% ng mga server ng Outlook ang hindi na tumutugon. Gumugol pa ang Microsoft ng karagdagang 15 oras sa pagtukoy sa problema bago sinimulang ipatupad ang solusyon.

Itinuro ng paliwanag ni Ramanna, Executive Vice President ng Microsoft, ang isang kakulangan sa proseso ng pagsusuri ng kumpanya: hindi tumutugma sa aktuwal na mga kondisyon ang mga pattern ng trapiko at pagsasaayos ng hardware na ginagaya sa mga laboratoryo nito. Karaniwang nakatuon ang pagsusuri sa mas luma at hindi gaanong makapangyarihang mga sistema, samantalang napatunayang “mas mapaminsala” sa mas bagong hardware ang bug na nagdulot ng mga pagbagsak.

Ngunit dapat bigyang-pansin ang usapin ng mga tauhan gaya rin ng teknikal na paliwanag. Sa Blind, isang forum tungkol sa trabaho kung saan hindi ibinubunyag ang pagkakakilanlan ng mga kalahok, sinabi ng isang user na nagpakilalang empleyado ng Microsoft na dumaan sa ilang serye ng pagbabawas ng kawani at boluntaryong pag-alis ang mga pangkat na namamahala sa pangunahing imprastraktura ng Microsoft 365 nitong mga nakaraang taon. Umalis na ang mga inhinyerong matagal na nagpanatili sa mga lumang sistema, kaya nahihirapan ang natitirang mga tauhan na mabilis na matukoy ang sanhi ng masasalimuot na pagkabigo. Ang pagpapanumbalik ng mga sistema sa dating bersyon, na dating umaabot nang humigit-kumulang 45 minuto, ay maaari na ngayong tumagal nang limang oras. Sa insidenteng ito, iniulat na may pagkakataong hindi maayos na nag-load ang mga panloob na kasangkapan sa pamamahala ng insidente, kaya napilitang magtulungan ang mga inhinyero mula sa iba’t ibang departamento hanggang hatinggabi upang siyasatin ang code at mga arkitektura ng serbisyo na minana nila sa mga dating kasamahan.

Hindi pa tumutugon sa publiko ang Microsoft sa mga pahayag na ito. Gayunman, naaayon ang mga ito sa di-karaniwang tagal ng pagkaantala at sa kabiguan ng mga pagtatangkang ibalik ang mga sistema sa dating bersyon upang malutas ang problema.


Ano Talaga ang Nangyayari: Lumalaking Agwat sa Pagitan ng Bilis ng AI at ng Pagpapanibago ng Imprastraktura

Wala sa limang insidenteng ito ang iniugnay sa AI. Tahasang itinanggi ng Microsoft na may kinalaman ang “AI o mga ahente,” habang ibinukod din ng FAA at NSA ang AI bilang isang salik. Ngunit magkaiba ang “hindi dulot ng AI” at “walang kaugnayan sa panahon ng AI.”

Ang nangyayari ay ang paglayo ng dalawang kurba sa isa’t isa. Kinakatawan ng isa ang dalas ng mga pagbabago at tindi ng mga gawaing pinoproseso na dulot ng AI: nagbabago ang mga pattern ng trapiko, nagbabago ang mga pagsasaayos ng hardware, at bumibilis ang mga pag-update ng software, habang nahihirapang makasabay ang mga kapaligiran ng pagsusuri at kakayahang tumugon sa mga insidente. Kinakatawan naman ng isa ang mga siklo ng pagpapanibago ng imprastraktura: ang mga tansong kable at router ng FAA ay ginagamit sa mga panahong sinusukat sa mga dekada, ang mga network ng NSA ay umuunlad sa paglipas ng mga henerasyon, at ang panloob na kakayahan ng Microsoft na panatilihin ang mga lumang sistema ay humihina sa bawat quarter.

Ginagawang posible ng AI na matukoy ang napakaraming kahinaan sa mga sistema sa bilis na hindi pa nararanasan noon. Naglalagay ito ng napakalaking presyon sa mga kumpanya at ahensya ng pamahalaan na ayusin agad ang mga ito, kadalasan sa pamamagitan ng sabay-sabay na pagpapatupad ng maraming patch, na nagdudulot ng matinding bigat sa mga sistemang hindi kailanman idinisenyo para sa ganoon kabilis na pagbabago. Ang ugnayan ng sanhi at bunga rito ay hindi ang paglikha ng AI ng mga kahinaan, kundi ang pagpapabilis nito sa takbo ng pagbabago, samantalang ang mga sistemang sumasalo sa mga pagbabagong iyon ay idinisenyo para sa mas mabagal na ritmo.

Pinakamalinaw na inilalarawan ng kaso ng Microsoft ang mekanismong ito. Naroon na ang bug mula pa noong Hulyo ngunit hindi pa nagdudulot ng problema. Napagana ito ng isang karaniwang paglilipat ng trapiko. Pinalala ito ng awtomatikong failover. At naging di-karaniwang mabagal ang pagpapanumbalik dahil sa pagkawala ng kadalubhasaan sa pagpapanatili ng mga lumang sistema. Wala sa mga hakbang na ito ang AI mismo, ngunit nangyari ang bawat isa sa ilalim ng presyong dulot ng pagpapalawak ng mga serbisyo sa cloud na itinutulak ng AI.