本月早些時(shí)候，澳大利亞電信公司 Optus 發(fā)生大面積故障，導(dǎo)致 1,000 萬澳大利亞人和 40 萬家企業(yè)在長達(dá) 12 個(gè)小時(shí)的時(shí)間里無法使用電話或互聯(lián)網(wǎng)，在此之后，Optus 首席執(zhí)行官 Kelly Bayer Rosmarin 本周辭職。

在上周澳大利亞參議院的一次調(diào)查中，該電信公司的網(wǎng)絡(luò)總經(jīng)理 Lambo Kanagaratnam 告訴當(dāng)局，Optus “沒有針對(duì)這種特定規(guī)模的中斷制定計(jì)劃”。Rosmarin 本人也承認(rèn)，在停電之前，她攜帶了一張競(jìng)爭對(duì)手沃達(dá)豐的備用 SIM 卡，而停電之后，她現(xiàn)在又?jǐn)y帶了一張競(jìng)爭對(duì)手 Telstra 的備用 SIM 卡。

網(wǎng)絡(luò)中斷期間，Optus 未能接通 228 個(gè)緊急呼叫，其中包括一名心臟病發(fā)作男子的同事打來的電話。

這次網(wǎng)絡(luò)故障顯示了互聯(lián)系統(tǒng)的脆弱性，它提醒人們，盡管系統(tǒng)很先進(jìn)，但還是有可能出錯(cuò)，而且一定會(huì)出錯(cuò)，它為 CIO 們提供了一些重要的經(jīng)驗(yàn)教訓(xùn)，要求他們現(xiàn)在就采取謹(jǐn)慎的行動(dòng)。

盡管 Optus 的停電事件影響巨大且范圍廣泛，但此類事件絕非孤立的異常現(xiàn)象，許多組織都曾發(fā)生過此類事件，嚴(yán)重程度各不相同。根據(jù) Uptime Institute 的《2023 年年度故障報(bào)告》，行業(yè)分析發(fā)現(xiàn)此類故障的成本正在增加。

對(duì)于 CIO 來說，處理此類事件不僅僅是管理 IT 系統(tǒng)那么簡單。它要求將前瞻性、戰(zhàn)略優(yōu)先級(jí)和有效的災(zāi)難恢復(fù)計(jì)劃結(jié)合起來。Optus 故障為評(píng)估提供了提示，讓 IT 領(lǐng)導(dǎo)者深入了解如何更好地加強(qiáng)防御以及如何在出現(xiàn)問題時(shí)更好地應(yīng)對(duì)。以下是最近這次備受矚目的 IT 故障的一些重要教訓(xùn)。

采用協(xié)議，首先測(cè)試更新

Optus 公司的初步報(bào)告稱，此次故障與 “例行軟件升級(jí)”后“國際對(duì)等網(wǎng)絡(luò)路由信息的變化” 有關(guān)。母公司新加坡電信（SingTel）隨后駁斥了這一解釋，稱是 Optus 路由器的安全系統(tǒng)出了問題，而不是軟件升級(jí)。

Bayer Rosmarin 在參議院作證時(shí)指出，根本原因是該公司的路由器“觸發(fā)了故障安全機(jī)制，這意味著每臺(tái)路由器都獨(dú)立關(guān)閉”，她說這是“新加坡電信國際對(duì)等網(wǎng)絡(luò)升級(jí)引發(fā)的”。

盡管如此，這次故障強(qiáng)調(diào)了一個(gè)重要問題：在推出更新，尤其是組織或網(wǎng)絡(luò)范圍的更新之前，最好先在內(nèi)部系統(tǒng)上進(jìn)行測(cè)試，然后再上傳到網(wǎng)絡(luò)。電信分析師 Paul Budde 說：“這就是所謂的‘fat fingers’”。

Budde 說：“如果其中有錯(cuò)誤，你希望網(wǎng)絡(luò)能夠識(shí)別并過濾掉它，否則你就會(huì)在整個(gè)系統(tǒng)中產(chǎn)生連帶效應(yīng)。如果整個(gè)網(wǎng)絡(luò)癱瘓，技術(shù)人員在進(jìn)入系統(tǒng)時(shí)就會(huì)遇到問題。那么問題就來了：你的冗余是什么？”

在 Optus 的案例中，修復(fù)工作涉及對(duì)澳大利亞 14 個(gè)站點(diǎn)的 100 多臺(tái)設(shè)備進(jìn)行系統(tǒng)重置。據(jù) ABC News 根據(jù)參議院調(diào)查文件報(bào)道“同時(shí)還有 250 名其他員工和五家國際公司也提供了支持”。

找出薄弱點(diǎn)并加以解決

IT 研究和咨詢公司 Adapt 的數(shù)據(jù)和分析主管 Gabby Fredkin 說，必須繪制公司的基礎(chǔ)設(shè)施地圖，對(duì)服務(wù)進(jìn)行細(xì)分，以便在發(fā)生故障時(shí)能夠獨(dú)立運(yùn)行，找出薄弱點(diǎn)，并對(duì)這些薄弱點(diǎn)進(jìn)行壓力測(cè)試，以了解系統(tǒng)中的任何漏洞。

Fredkin 承認(rèn):“說起來容易做起來難?！?/p>

不過，網(wǎng)絡(luò)的穩(wěn)健性取決于其最薄弱的環(huán)節(jié)，如果出現(xiàn)單點(diǎn)故障，尤其是涉及關(guān)鍵基礎(chǔ)設(shè)施的單點(diǎn)故障，就會(huì)導(dǎo)致整個(gè)系統(tǒng)癱瘓。至少，CIO 必須知道他們的系統(tǒng)中存在哪些單點(diǎn)故障，以幫助確保冗余，并為圍繞優(yōu)先級(jí)和預(yù)算做出決策提供背景信息。

Enex 測(cè)試實(shí)驗(yàn)室總經(jīng)理 Matt Tett 說：“你可能無法在整個(gè)網(wǎng)絡(luò)中建立冗余路徑，因?yàn)槌杀咎摺５?，?dāng)你的組織或其他組織發(fā)生重大故障時(shí)，這是一個(gè)審查風(fēng)險(xiǎn)與成本的機(jī)會(huì)。值得對(duì)預(yù)算進(jìn)行審查，并考慮在網(wǎng)絡(luò)上增加雙重負(fù)載是否能在將來省去一些麻煩?！?/p>

為不可避免的故障做好規(guī)劃

即使不是在監(jiān)管像 Optus 這樣的龐大網(wǎng)絡(luò)，IT 領(lǐng)導(dǎo)人及其執(zhí)行同行也必須為自己或服務(wù)提供商的網(wǎng)絡(luò)中斷做好計(jì)劃，因?yàn)榧词故切∫?guī)?；蚓植康木W(wǎng)絡(luò)中斷，也會(huì)對(duì)企業(yè)及其客戶造成干擾。

Tett 指出：“重要的是審查業(yè)務(wù)連續(xù)性計(jì)劃，確保在可能的情況下有某種備份，以繼續(xù)[照常]開展業(yè)務(wù)?！?/p>

這種業(yè)務(wù)連續(xù)性計(jì)劃可能包括恢復(fù)紙質(zhì)系統(tǒng)的流程、改用蜂窩網(wǎng)絡(luò)而不是互聯(lián)網(wǎng)、確保高管和關(guān)鍵員工擁有雙 SIM 卡手機(jī)以切換網(wǎng)絡(luò)，從而確保通信的連續(xù)性，或任何與組織相關(guān)的流程。

他說：“這就像一本飛行手冊(cè)，如果你失去了很大一部分技術(shù)，你可以嘗試確保有一些離線方法來繼續(xù)運(yùn)作?！?/p>

啟動(dòng)災(zāi)難恢復(fù)對(duì)話

CIO 可以利用這些頭條新聞事件來激發(fā)他們與基礎(chǔ)設(shè)施領(lǐng)導(dǎo)者的對(duì)話，以審查他們的災(zāi)難恢復(fù)計(jì)劃。Fredkin 表示：“不要坐等事情發(fā)生。這應(yīng)該是一個(gè)持續(xù)的、系統(tǒng)的方法，來研究漏洞在哪里?！彼?Netflix 的 Chaos Monkey（在其生產(chǎn)環(huán)境中制造隨機(jī)中斷）作為流媒體巨頭提高其復(fù)雜系統(tǒng)恢復(fù)能力戰(zhàn)略的關(guān)鍵組成部分。

他說：“在他們的系統(tǒng)中制造混亂可以讓他們暴露薄弱點(diǎn)，了解可能發(fā)生的情況，并對(duì)可能發(fā)生的情況進(jìn)行規(guī)劃和演練。關(guān)于災(zāi)難恢復(fù)的討論需要首席財(cái)務(wù)官和首席執(zhí)行官的參與，以確定脫機(jī)和失去客戶信任的風(fēng)險(xiǎn)，以及降低這些風(fēng)險(xiǎn)的成本。Fredkin 表示：“一家公司受到影響的方式可能與另一家公司受到影響的方式大相徑庭，因此你必須考慮到這一點(diǎn)?！?/p>

了解第三方風(fēng)險(xiǎn)

根據(jù) Uptime 的數(shù)據(jù)，包括云、主機(jī)托管、電信和托管公司在內(nèi)的托管數(shù)字基礎(chǔ)設(shè)施服務(wù)在當(dāng)今的故障中占越來越大的比例。因此，IT 領(lǐng)導(dǎo)者必須意識(shí)到并知道如何管理第三方供應(yīng)商的風(fēng)險(xiǎn)，Budde 認(rèn)為“尤其是在節(jié)約成本措施和外包已成為普遍現(xiàn)象的技術(shù)環(huán)境下”。

對(duì)于軟件或硬件的更新，關(guān)鍵是要有一份重要供應(yīng)商的名單，以及更新的時(shí)間和性質(zhì)。Fredkin 表示，CIO 需要考慮向某些客戶而不是其他客戶推出更新是否可行，或者向基礎(chǔ)設(shè)施的某些部分而不是其他部分推出更新是否可行。他們還需要找到 “一種可以進(jìn)行測(cè)試的方法，這樣就不會(huì)影響整個(gè)生產(chǎn)環(huán)境”，他補(bǔ)充道。

他表示：“與提供硬件和軟件的人員保持良好關(guān)系至關(guān)重要。提前知道什么時(shí)候會(huì)有更新，并對(duì)何時(shí)將更新推送到企業(yè)進(jìn)行某種控制，這將非常有益?！?/p>

提出 IT 現(xiàn)代化的理由

Fredkin 建議說，頭條新聞式的故障雖然令人遺憾，但往往也為 IT 領(lǐng)導(dǎo)者提供了機(jī)會(huì)，讓他們?yōu)樽约旱?IT 現(xiàn)代化辯護(hù)。他說，雖然 Optus 的情況并不明顯，但當(dāng)系統(tǒng)脫機(jī)時(shí)，往往與遺留技術(shù)問題有關(guān)，這些事件有助于促使領(lǐng)導(dǎo)層和董事會(huì)支持更新系統(tǒng)，以確保系統(tǒng)安全、彈性、速度和規(guī)模。

他說：“當(dāng) CIO 們提出現(xiàn)代化使用案例時(shí)，他們需要得到利益相關(guān)者的支持，讓企業(yè)也能參與其中?！?/p>

復(fù)雜的關(guān)鍵任務(wù)功能可能需要兩到三年的時(shí)間才能完成，因此還需要一種排序和確定優(yōu)先級(jí)的方法。Fredkin 說：“把它想象成一個(gè)交通燈系統(tǒng)，看看哪些是關(guān)鍵和重要的，哪些是緊急的。系統(tǒng)中最大的漏洞是什么？就長期更新而言，這是一個(gè)不同的優(yōu)先級(jí)排序，因?yàn)橛行┦虑樾枰凑仗囟ǖ捻樞騺硗瓿伞！?/p>

他補(bǔ)充說：“這就是典型的瀑布思維，在重新設(shè)計(jì)關(guān)鍵基礎(chǔ)設(shè)施時(shí)，這種思維仍然占據(jù)著重要位置?！?/p>

從大處著眼

無論故障是源于你的系統(tǒng)還是連接網(wǎng)絡(luò)的結(jié)果，故障都會(huì)同時(shí)影響眾多企業(yè)。因此，IT 領(lǐng)導(dǎo)者可能需要考慮超越組織的四面圍墻，Budde 說。

他說：“量身定制的災(zāi)難和恢復(fù)計(jì)劃需要包括遵守行業(yè)標(biāo)準(zhǔn)以及定期審查 IT 系統(tǒng)和協(xié)議，以確保其穩(wěn)健性，尤其是在應(yīng)對(duì)潛在的網(wǎng)絡(luò)壓力和安全威脅時(shí)。我們可能需要打破常規(guī)思維，開始研究全國性解決方案和全行業(yè)解決方案，研究各組織如何在這些情況下相互協(xié)助?！?/p>

忽視溝通，后果不堪設(shè)想

最后，但絕非最不重要的一點(diǎn)是，當(dāng)發(fā)生故障或中斷時(shí)，無論這些故障是否源于組織自身，組織都需要一個(gè)全面的通信手冊(cè)。

Enex Test Labs 的 Tett 認(rèn)為：“就任何故障或問題進(jìn)行清晰、簡明的溝通至關(guān)重要。這種溝通應(yīng)向上延伸至首席執(zhí)行官，向下延伸至客戶和媒體，以盡可能清晰地說明情況。組織需要考慮的第一件事是如何與客戶進(jìn)行清晰的溝通，即使造成中斷的不是他們。其次，如果因?yàn)榫W(wǎng)絡(luò)中斷而無法與客戶溝通，也要制定能夠通過媒體進(jìn)行溝通的策略。還應(yīng)該包括某種時(shí)間框架，以幫助管理對(duì)停機(jī)和恢復(fù)正常業(yè)務(wù)的預(yù)期。無論是幾小時(shí)還是 48 小時(shí)，都要公開透明?！?/p>