政策硬杠下的思考| 成都農(nóng)商行孟小疆:銀行災(zāi)備中心建設(shè)應(yīng)重視幾個(gè)關(guān)鍵環(huán)節(jié)
原創(chuàng)【51CTO記者 李玲玲 北京報(bào)道】近年,迭代速度明顯加快的科技新態(tài)勢(shì)使全社會(huì)邁入了一個(gè)嶄新的商業(yè)環(huán)境,特別是新金融的快速發(fā)展,在加劇傳統(tǒng)銀行競(jìng)爭(zhēng)的同時(shí),也使其所面臨的科技風(fēng)險(xiǎn)不斷攀升。這些變化無(wú)疑對(duì)保障銀行數(shù)據(jù)中心安全、可靠、穩(wěn)定運(yùn)行以及提高銀行業(yè)務(wù)連續(xù)性水平的要求更高,也迫使銀行需要重新審視過(guò)往的災(zāi)備建設(shè)是否也做到了與時(shí)俱進(jìn)。
從2007年推出《 信息安全技術(shù)信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》(GB/T20988-2007),到2008年央行發(fā)布《銀行業(yè)信息系統(tǒng)災(zāi)難恢復(fù)管理規(guī)范》、2010年銀監(jiān)會(huì)制定《商業(yè)銀行數(shù)據(jù)中心監(jiān)管指引》,我們可以看出,監(jiān)管層的連續(xù)發(fā)文對(duì)銀行業(yè)的災(zāi)備建設(shè)直接設(shè)置了多道“政策硬杠”。比如上述條文中明確規(guī)定,“商業(yè)銀行應(yīng)于取得金融許可證后兩年內(nèi),設(shè)立生產(chǎn)中心;生產(chǎn)中心設(shè)立后兩年內(nèi),設(shè)立災(zāi)備中心。而總資產(chǎn)規(guī)模達(dá)一千億元人民幣以上且跨省設(shè)立分支機(jī)構(gòu)的法人商業(yè)銀行,及省級(jí)農(nóng)村信用聯(lián)合社應(yīng)設(shè)立異地模式的災(zāi)備中心,重要信息系統(tǒng)災(zāi)難恢復(fù)能力應(yīng)達(dá)到《 信息安全技術(shù)信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》 中定義的災(zāi)難恢復(fù)等級(jí)第5級(jí)(含)以上;其他法人商業(yè)銀行應(yīng)設(shè)立同城模式的災(zāi)備中心并實(shí)現(xiàn)數(shù)據(jù)異地備份,重要信息系統(tǒng)災(zāi)難恢復(fù)能力應(yīng)達(dá)到《信息安全技術(shù)信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》中定義的災(zāi)難恢復(fù)等級(jí)第4級(jí)(含)以上。”換而言之,能否抵御突發(fā)風(fēng)險(xiǎn),是否具有一定的災(zāi)難恢復(fù)能力,已經(jīng)成為銀行獲取相關(guān)經(jīng)營(yíng)牌照的必要條件。
基于此,銀行災(zāi)備建設(shè)的目的就是確保其科技基礎(chǔ)設(shè)施具備應(yīng)對(duì)災(zāi)難風(fēng)險(xiǎn)的抵御和控制能力,能夠?qū)I(yè)務(wù)損失降到最低。目前,在各類銀行中,災(zāi)備建設(shè)的主流方案主要采用的是“兩地三中心”,即主生產(chǎn)中心、同城災(zāi)備中心加異地災(zāi)備中心的布局模式。其中,同城和異地災(zāi)備中心又有兩種模式:大同城小異地和大異地小同城,所謂“大”指的是應(yīng)用級(jí),“小”指的是數(shù)據(jù)級(jí)。而這兩種模式也是各具優(yōu)勢(shì)。一般來(lái)說(shuō),在銀行業(yè)中大同城小異地模式采用較多。在此模式下,同城應(yīng)用級(jí)災(zāi)備中心是按照主生產(chǎn)中心技術(shù)架構(gòu)來(lái)建設(shè)對(duì)應(yīng)的業(yè)務(wù)系統(tǒng)和基礎(chǔ)設(shè)施,可以通過(guò)虛擬化或者單機(jī)來(lái)減少設(shè)備投入,但是網(wǎng)絡(luò)、存儲(chǔ)、應(yīng)用架構(gòu)必須是一致的。日常主備中心要保持兩地存儲(chǔ)數(shù)據(jù)同步復(fù)制,關(guān)鍵業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)同步復(fù)制,理論上可達(dá)“零丟失”級(jí)。而對(duì)于異地?cái)?shù)據(jù)級(jí)災(zāi)備中心,只需保持?jǐn)?shù)據(jù)異步復(fù)制,定期恢復(fù)數(shù)據(jù),并驗(yàn)證其完整性,根據(jù)監(jiān)管規(guī)范和異地災(zāi)備策略容忍災(zāi)難情況下一定幾率的數(shù)據(jù)丟失。對(duì)于沒(méi)有災(zāi)備建設(shè)經(jīng)驗(yàn),且科技投入和人力有限、合規(guī)要求迫切的中小銀行可以先進(jìn)行恢復(fù)等級(jí)要求稍低的異地?cái)?shù)據(jù)級(jí)災(zāi)備中心建設(shè),滿足一定監(jiān)管合規(guī)要求并積累災(zāi)備經(jīng)驗(yàn)后,再進(jìn)行同城應(yīng)用級(jí)災(zāi)備中心建設(shè),這樣項(xiàng)目開(kāi)展穩(wěn)妥有序,風(fēng)險(xiǎn)較小。
雖然銀行災(zāi)備建設(shè)項(xiàng)目普遍具有投資高、周期長(zhǎng),各類項(xiàng)目風(fēng)險(xiǎn)多且影響大,而且建成后的維護(hù)和持續(xù)升級(jí)優(yōu)化成本也非常巨大的特點(diǎn),但是,一旦災(zāi)備中心投入使用,它所能發(fā)揮的綜合風(fēng)險(xiǎn)控制能力是不可低估的。
原因在于這樣的災(zāi)備中心不僅僅是一個(gè)數(shù)據(jù)中心的基礎(chǔ)設(shè)施建設(shè),它還包含了銀行內(nèi)組織建設(shè)、流程建設(shè)、政策制度建設(shè)等多個(gè)方面的規(guī)劃布局,具體在后面的訪談中還將深入談到。我們這里可以先設(shè)想一個(gè)具體的災(zāi)備運(yùn)作場(chǎng)景:假設(shè)一家銀行的主生產(chǎn)中心突發(fā)災(zāi)難情況,如大樓火災(zāi)、供配電系統(tǒng)癱瘓、機(jī)房通訊電纜挖斷等,數(shù)據(jù)中心對(duì)外服務(wù)完全中斷并且短時(shí)間無(wú)法恢復(fù)。而此時(shí)由于我們具備同城應(yīng)用級(jí)災(zāi)備中心,那么就可以將銀行業(yè)務(wù)損失和社會(huì)影響極大地降低。“因?yàn)槭峭莾芍行模粘R恢北3謨芍行拇鎯?chǔ)之間的數(shù)據(jù)實(shí)時(shí)同步復(fù)制,設(shè)計(jì)上可以對(duì)關(guān)鍵業(yè)務(wù)的RTO、RPO設(shè)定較低,RPO甚至達(dá)到理論上數(shù)據(jù)零丟失。災(zāi)難發(fā)生后,可以迅速啟動(dòng)應(yīng)急預(yù)案,啟動(dòng)災(zāi)備中心的關(guān)鍵業(yè)務(wù)系統(tǒng),將所有分支機(jī)構(gòu)網(wǎng)絡(luò)路由到災(zāi)備中心,就可立即恢復(fù)銀行的主要業(yè)務(wù)并持續(xù)對(duì)外提供服務(wù)。在主生產(chǎn)中心故障處理完畢后,再重新同步復(fù)制兩中心數(shù)據(jù),數(shù)據(jù)一致后,再做同樣的業(yè)務(wù)切換步驟切回到主生產(chǎn)中心。我們?cè)陧?xiàng)目實(shí)踐中經(jīng)過(guò)反復(fù)的切換演練已經(jīng)可以做到關(guān)鍵業(yè)務(wù)RTO在一個(gè)小時(shí)左右,RPO 0-15分鐘。當(dāng)然理論上很簡(jiǎn)單,但實(shí)際操作起來(lái)涉及了大量科技、業(yè)務(wù)內(nèi)容,實(shí)施起來(lái)難度很大。尤其對(duì)中小規(guī)模的銀行而言,人員資源、管理措施都有局限,就光業(yè)務(wù)系統(tǒng)的關(guān)聯(lián)性影響分析(BIA)一項(xiàng)全行上下就花費(fèi)了大量的精力,其他的集成測(cè)試、全行培訓(xùn)、模擬演練的困難性更是成倍增長(zhǎng)。 ”
綜上介紹,盡管國(guó)內(nèi)銀行災(zāi)備建設(shè)起步較晚,但在愈加嚴(yán)格的監(jiān)管政策和自身日益提高的風(fēng)控需求激勵(lì)下,國(guó)內(nèi)銀行業(yè)災(zāi)備建設(shè)一日千里,不僅大型國(guó)有、股份制銀行迅速完成并完善自身災(zāi)備體系,廣大中小城商行、農(nóng)商行也快速跟進(jìn),積極行動(dòng)起來(lái),成為我國(guó)銀行業(yè)信息化建設(shè)進(jìn)入新世紀(jì)的一道亮色。
當(dāng)然,隨著銀行業(yè)災(zāi)備建設(shè)的推進(jìn),災(zāi)備理論方法也在不斷發(fā)展。此次僅就災(zāi)備建設(shè)從規(guī)劃、到策略制定、實(shí)施及后續(xù)的管理整個(gè)過(guò)程中應(yīng)該注意哪些問(wèn)題,51CTO記者對(duì)曾經(jīng)作為項(xiàng)目經(jīng)理全程親歷某銀行災(zāi)備建設(shè)項(xiàng)目的孟小疆(現(xiàn)成都農(nóng)商行村鎮(zhèn)銀行基礎(chǔ)架構(gòu)室經(jīng)理)進(jìn)行了獨(dú)家專訪。
對(duì)此,孟小疆感觸頗深。他表示,“銀行災(zāi)備建設(shè)任務(wù)重,責(zé)任大,風(fēng)險(xiǎn)高,當(dāng)時(shí)作為剛進(jìn)入災(zāi)難恢復(fù)領(lǐng)域的新人壓力可想而知,光是做災(zāi)備演練的那兩個(gè)月里,我基本上沒(méi)時(shí)間理發(fā),胡子拉碴的,跟野人一樣。現(xiàn)在回想,完成項(xiàng)目也是一次身心的磨礪,好在挺過(guò)來(lái)了!”
能夠親歷整個(gè)災(zāi)備建設(shè),過(guò)程雖苦,卻讓孟小疆對(duì)這段過(guò)往生出了“不憾此生”的感慨,“回頭想想,真心感謝行里給了我這次機(jī)會(huì),當(dāng)時(shí)行領(lǐng)導(dǎo)決定盡快建立滿足合規(guī)要求的災(zāi)備體系,按照‘統(tǒng)一規(guī)劃、分步實(shí)施’的項(xiàng)目思路,最終完成了‘兩地三中心’的布局,這其中最難的第一步,就是同城災(zāi)備中心建設(shè)。我既是基礎(chǔ)運(yùn)維團(tuán)隊(duì)經(jīng)理也是項(xiàng)目經(jīng)理,一人兩肩挑,從2011年接手項(xiàng)目到2012年正式上線,干了將近19個(gè)月,期間內(nèi)外協(xié)調(diào),專題匯報(bào),監(jiān)管備案的次數(shù)已無(wú)法計(jì)算,只記得每天都有忙不完的事,可能也是‘初生牛犢不怕虎’吧。加之行領(lǐng)導(dǎo)、科技部同事們的全力支持,和業(yè)務(wù)部門合作關(guān)系也不錯(cuò),使得整個(gè)災(zāi)備項(xiàng)目最終順利上線。雖然過(guò)程中也走了一些彎路,但整體上還是達(dá)到了行領(lǐng)導(dǎo)的要求,尤其是行里決定以真實(shí)切換的方式實(shí)現(xiàn)了同城災(zāi)備中心的正式上線。這在當(dāng)時(shí)的國(guó)內(nèi)銀行里也是不多見(jiàn)的。而且整個(gè)項(xiàng)目過(guò)硬的技術(shù)和組織都給蒞臨指導(dǎo)的監(jiān)管機(jī)構(gòu)留下了深刻的印象。”
銀行災(zāi)備中心建設(shè)中的幾個(gè)關(guān)鍵環(huán)節(jié)
回顧整個(gè)災(zāi)備建設(shè)項(xiàng)目,孟小疆認(rèn)為,其中幾個(gè)關(guān)鍵點(diǎn)對(duì)銀行災(zāi)備系統(tǒng)建設(shè)至關(guān)重要:
一、項(xiàng)目建設(shè)要立足全行業(yè)務(wù)連續(xù)性,需由高層領(lǐng)導(dǎo)牽頭多部門協(xié)作,整合全行資源。
按照目前通行的業(yè)務(wù)連續(xù)性理論,災(zāi)備建設(shè)是全行業(yè)務(wù)連續(xù)性策略的組成部分之一,在銀行內(nèi)部往往是先形成較完整的業(yè)務(wù)連續(xù)性策略,再分配到各部門按照統(tǒng)一策略進(jìn)行落地細(xì)化。在災(zāi)備建設(shè)項(xiàng)目的組織和管理上,由風(fēng)控部門組織協(xié)調(diào)各業(yè)務(wù)主管部門,配合科技部門落地實(shí)施是最為理想的項(xiàng)目組織結(jié)構(gòu)。
“銀行的業(yè)務(wù)連續(xù)性內(nèi)容很廣,業(yè)務(wù)部門有業(yè)務(wù)部門的連續(xù)性策略,而科技的業(yè)務(wù)連續(xù)性策略主要就是災(zāi)備這一塊,但是最終都會(huì)統(tǒng)一到全行業(yè)務(wù)風(fēng)控的層級(jí)上。我們?cè)谶@個(gè)項(xiàng)目建設(shè)中走過(guò)彎路,即在項(xiàng)目之初由于行內(nèi)還沒(méi)有成文的業(yè)務(wù)連續(xù)性策略,科技部的災(zāi)備建設(shè)成為先行者,有種摸著石頭過(guò)河的感覺(jué)。有段時(shí)間出現(xiàn)了冒進(jìn)求快的思想苗頭,與業(yè)務(wù)部門的配合脫節(jié),造成業(yè)務(wù)系統(tǒng)風(fēng)險(xiǎn)定級(jí)不能完全反映業(yè)務(wù)實(shí)際需求的項(xiàng)目風(fēng)險(xiǎn),好在我們能及時(shí)反思,在科技部?jī)?nèi)對(duì)于災(zāi)備建設(shè)項(xiàng)目應(yīng)該‘走出去、納進(jìn)來(lái)’形成了一致意見(jiàn),并迅速調(diào)整實(shí)施,首先主動(dòng)與風(fēng)控和業(yè)務(wù)部門座談,收集他們的意見(jiàn)。”
“第二個(gè)轉(zhuǎn)變就是立即向主管領(lǐng)導(dǎo)逐級(jí)匯報(bào),最終組成由多位主管,包括行領(lǐng)導(dǎo)和職能部門領(lǐng)導(dǎo)在內(nèi)組成的行級(jí)項(xiàng)目領(lǐng)導(dǎo)小組直接指導(dǎo)推進(jìn)項(xiàng)目,領(lǐng)導(dǎo)小組的成立加速了項(xiàng)目進(jìn)展,使全行資源得以集中。最顯著的是相關(guān)業(yè)務(wù)部門積極參與本部門的業(yè)務(wù)影響分析和RPO、RTO定級(jí)??梢哉f(shuō),這是本次項(xiàng)目整體能夠得以順利完成的一個(gè)關(guān)鍵轉(zhuǎn)折點(diǎn)。”
二、切換演練方案更要貼近實(shí)際、實(shí)現(xiàn)跨部門多層級(jí),還要敢于真切實(shí)練。
美軍有句名言“如戰(zhàn)斗般訓(xùn)練,如訓(xùn)練般戰(zhàn)斗”,美軍發(fā)現(xiàn)在真實(shí)戰(zhàn)場(chǎng)上完成任務(wù)的難度實(shí)際往往小于訓(xùn)練場(chǎng)的模擬,其高水平訓(xùn)練出高素質(zhì)作戰(zhàn)單位正是美軍近二十年來(lái)在多場(chǎng)戰(zhàn)爭(zhēng)中戰(zhàn)損率之低的主要原因之一。這個(gè)道理其實(shí)可以完全移用到我們對(duì)待災(zāi)備演練的認(rèn)識(shí)上。
災(zāi)備中心的設(shè)立實(shí)質(zhì)上是對(duì)極端災(zāi)難情況下科技風(fēng)險(xiǎn)的一種技術(shù)應(yīng)對(duì)措施,可能在現(xiàn)實(shí)中大多數(shù)的生產(chǎn)中心在其生命周期內(nèi)都不見(jiàn)得會(huì)遇到一次災(zāi)難事件,但是只要這種風(fēng)險(xiǎn)存在,那么災(zāi)備中心就要具備隨時(shí)可切可用的能力。如同軍隊(duì)在無(wú)仗可打時(shí)要通過(guò)軍事演習(xí)保持戰(zhàn)斗力一樣,定期的切換演練同樣是保持和驗(yàn)證災(zāi)備中心可靠性、可用性的主要方法。
災(zāi)備切換演練從形式上大致分為桌面演練、模擬演練、真實(shí)演練,難度和風(fēng)險(xiǎn)由低到高,但對(duì)于災(zāi)備中心的主要職能——災(zāi)難情況下的業(yè)務(wù)接管能力而言,災(zāi)備中心的真實(shí)切換演練是不可替代的,所有的桌面、模擬演練的目的也是為了完善最終的真實(shí)切換演練方案。
“在項(xiàng)目過(guò)程中,災(zāi)備切換演練往往是項(xiàng)目組花費(fèi)精力最多,動(dòng)員并調(diào)動(dòng)全行資源最多的階段。也是災(zāi)備日常運(yùn)維中的重點(diǎn)、難點(diǎn)。所謂真切,即啟動(dòng)災(zāi)備中心業(yè)務(wù)系統(tǒng),將原來(lái)對(duì)主生產(chǎn)中心的業(yè)務(wù)訪問(wèn)切換至災(zāi)備中心,不僅總行而且下面的全部分支行網(wǎng)點(diǎn)也要接入災(zāi)備中心做業(yè)務(wù)。”孟小疆說(shuō),“為了實(shí)現(xiàn)災(zāi)備中心真實(shí)切換,我們不僅在網(wǎng)絡(luò)設(shè)計(jì)上花了很大的心力,同時(shí)在災(zāi)備中心應(yīng)急業(yè)務(wù)系統(tǒng)上也做了很多細(xì)節(jié)保障,要確保業(yè)務(wù)人員能登錄正確的災(zāi)備業(yè)務(wù)系統(tǒng),而科技人員也能發(fā)現(xiàn)可能的網(wǎng)絡(luò)隱患。例如,我們專門給柜面客戶端界面做好清晰標(biāo)識(shí),為柜面人員提前編輯好業(yè)務(wù)系統(tǒng)訪問(wèn)列表,提前和每個(gè)支行網(wǎng)點(diǎn)的會(huì)計(jì)主管做好災(zāi)備環(huán)境檢查等等大量的細(xì)節(jié)工作,這些工作大部分技術(shù)含量并不高,但別小看這些‘土辦法’,實(shí)踐表明真的是好使管用,基層業(yè)務(wù)人員也能夠快速掌握災(zāi)備應(yīng)急操作步驟。最終全行級(jí)真實(shí)切換演練這個(gè)檻我們是比較順利地跨過(guò)去了。”
此外,在災(zāi)備演練的準(zhǔn)備和實(shí)施過(guò)程中,還有三個(gè)重要的環(huán)節(jié)需要注意:
1、 一定要重視災(zāi)備的全行培訓(xùn)和動(dòng)員。這一點(diǎn)往往在銀行內(nèi)是被優(yōu)先靠后排的。災(zāi)備建設(shè)最需避免的誤區(qū)就是項(xiàng)目圈于科技一隅。如何與業(yè)務(wù)部門配合,獲得業(yè)務(wù)部門的理解和認(rèn)可是項(xiàng)目成功和后續(xù)運(yùn)維的群眾基礎(chǔ),如果沒(méi)有動(dòng)員組織,以及進(jìn)行長(zhǎng)期化的培養(yǎng),這個(gè)基礎(chǔ)就變成一盤散沙。
2、 切換演練方案的設(shè)計(jì)可以引入專業(yè)咨詢公司的幫助。切換演練以什么形式切,切多少次,達(dá)到什么目標(biāo)結(jié)果,需要災(zāi)備方法論結(jié)合實(shí)踐經(jīng)驗(yàn)。切換演練方案設(shè)計(jì)是項(xiàng)目切換演練階段的核心任務(wù),它涉及了應(yīng)急預(yù)案、場(chǎng)景設(shè)計(jì)、切換步驟、演練組織等多個(gè)方面。“我們有幸與災(zāi)備咨詢行業(yè)的著名企業(yè)合作,得到了專業(yè)的指導(dǎo),尤其是在全行演練的組織安排方面獲益良多,少走了很多彎路,所以適當(dāng)引入咨詢合作值得大家考慮。”
3、 業(yè)務(wù)案例驗(yàn)證要全面覆蓋。災(zāi)備中心能夠?qū)崿F(xiàn)業(yè)務(wù)系統(tǒng)的切換還只是成功了一半,真正業(yè)務(wù)能否正確運(yùn)行并且對(duì)外服務(wù)一定時(shí)間,才能說(shuō)明災(zāi)備中心的切換是成功的。“當(dāng)時(shí)我們先確定第一批十幾個(gè)關(guān)鍵業(yè)務(wù)系統(tǒng)的災(zāi)備建設(shè),為保證真實(shí)切換后業(yè)務(wù)是否可用,業(yè)務(wù)部門為此編制了近千個(gè)業(yè)務(wù)驗(yàn)證案例,這些都是業(yè)務(wù)和風(fēng)控部門綜合考慮又通過(guò)多次全行反復(fù)演練后篩選出來(lái),具有典型意義的案例。全行災(zāi)備演練時(shí),由運(yùn)管部帶領(lǐng)各業(yè)務(wù)部門進(jìn)行業(yè)務(wù)驗(yàn)證,現(xiàn)場(chǎng)氣氛緊張但有序,如同流水線一般。每完成一個(gè)業(yè)務(wù)系統(tǒng)驗(yàn)證,歸屬部門的業(yè)務(wù)驗(yàn)證人員就要向總指揮部報(bào)告,所有過(guò)程都是明確記錄下來(lái)的,作為向銀監(jiān)會(huì)、人行的報(bào)備材料,備案文件里需要寫明業(yè)務(wù)驗(yàn)證案例內(nèi)容和驗(yàn)證結(jié)果,可見(jiàn)業(yè)務(wù)部門對(duì)演練的嚴(yán)謹(jǐn)態(tài)度。”
三、災(zāi)備日常運(yùn)維和持續(xù)優(yōu)化管理的關(guān)鍵是要看災(zāi)備管理崗位能否發(fā)揮作用
眾所周知,災(zāi)備中心建成,災(zāi)備切換成功并不代表災(zāi)備體系的建成,這僅僅是災(zāi)備體系建設(shè)有了起點(diǎn),后續(xù)還有大量的配套運(yùn)維和持續(xù)優(yōu)化建設(shè)。本文孟小疆結(jié)合自己的項(xiàng)目親身經(jīng)歷分享了他在實(shí)踐中認(rèn)為比較重要的幾點(diǎn):
1、項(xiàng)目組織架構(gòu)如何平滑過(guò)渡到常設(shè)應(yīng)急組織
從前面的介紹中,我們知道災(zāi)備建設(shè)項(xiàng)目往往作為全行重點(diǎn)項(xiàng)目,一般由行領(lǐng)導(dǎo)牽頭,各業(yè)務(wù)部門配合,科技部主導(dǎo)技術(shù)落實(shí),通過(guò)應(yīng)急預(yù)案、演練方案將所有這些組織、技術(shù)、管理要素串聯(lián)起來(lái),完成災(zāi)備基礎(chǔ)設(shè)施、基本制度、基本流程的建設(shè),并且進(jìn)行了可用性、可靠性的驗(yàn)證。從中其實(shí)已經(jīng)可以看出一個(gè)基本架構(gòu)完備的災(zāi)備體系組織結(jié)構(gòu)雛形,接下來(lái)的工作就是在這個(gè)基礎(chǔ)上更加完善和拓展。
“在項(xiàng)目結(jié)束后主動(dòng)與風(fēng)控部門對(duì)接,將災(zāi)備建設(shè)中的應(yīng)急預(yù)案部分交由風(fēng)控部門審核頒布,項(xiàng)目領(lǐng)導(dǎo)小組成員經(jīng)過(guò)適當(dāng)調(diào)整擴(kuò)充,基本上轉(zhuǎn)變?yōu)樾碌娜袘?yīng)急領(lǐng)導(dǎo)小組,業(yè)務(wù)部門的項(xiàng)目參與人員轉(zhuǎn)變?yōu)闃I(yè)務(wù)連續(xù)性接口人,科技部項(xiàng)目主要參與人轉(zhuǎn)變?yōu)闉?zāi)備管理崗,在項(xiàng)目過(guò)程中鍛煉形成的技能、經(jīng)驗(yàn)和組織結(jié)構(gòu)基本保留了下來(lái),做到了項(xiàng)目成果的最大化利用。”
2、科技部災(zāi)備管理崗位編制的設(shè)定
由于災(zāi)備中心實(shí)際上也是一個(gè)完備的數(shù)據(jù)中心,所以對(duì)于災(zāi)備中心的維護(hù)以及后續(xù)建設(shè)、演練等工作理論上應(yīng)該是有專職專崗負(fù)責(zé)較好。但是實(shí)際落實(shí)起來(lái)卻有很多的問(wèn)題,比如崗位設(shè)置的部門層級(jí)關(guān)系到協(xié)調(diào)力度,編制的多寡涉及到實(shí)際的管理范圍,考核制度涉及到權(quán)責(zé)的梳理等等。由于各家銀行的科技部門組織結(jié)構(gòu)和管理思路差異很大,只能根據(jù)實(shí)際情況來(lái)決定。
“我們?cè)陧?xiàng)目完成后也遇到這個(gè)問(wèn)題,項(xiàng)目建設(shè)時(shí)領(lǐng)導(dǎo)重視,要什么有什么,項(xiàng)目一結(jié)束第一個(gè)感覺(jué)就是找不到人了,即使找到人也不一定配合你。雖然在項(xiàng)目收尾階段已經(jīng)預(yù)先制定了相關(guān)的管理制度,但是在執(zhí)行上還是遇到這樣那樣的困難。尤其受困于人力資源、崗位定級(jí)、薪酬等非科技因素困擾,短時(shí)間無(wú)法實(shí)現(xiàn)崗位定編。我們初期就采用生產(chǎn)、災(zāi)備團(tuán)隊(duì)一體化運(yùn)維的方針,由一人專職負(fù)責(zé),統(tǒng)籌各技術(shù)專業(yè)人員,對(duì)主備中心的日常更新、建設(shè)、演練做好計(jì)劃和協(xié)調(diào)工作。雖然這只是一個(gè)過(guò)渡方案,但是因?yàn)闉?zāi)備初期涉及的關(guān)鍵業(yè)務(wù)系統(tǒng)并不多,也還能運(yùn)作開(kāi),而隨著全行業(yè)務(wù)連續(xù)性的進(jìn)一步推廣,這種模式肯定是無(wú)法長(zhǎng)期維持的,仍需要在更高組織層級(jí)、更多崗位編制、更大的管理權(quán)限方面做提升。”
3、如何克服對(duì)災(zāi)備演練的兩難心理
在災(zāi)備行業(yè)內(nèi)有句名言“不要讓災(zāi)難演練變成演練災(zāi)難”,這句話真實(shí)道出了科技人員對(duì)于災(zāi)備演練的兩難態(tài)度。隨著監(jiān)管對(duì)銀行災(zāi)備建設(shè)愈加規(guī)范化,其審計(jì)標(biāo)準(zhǔn)也已不再僅限于災(zāi)備建設(shè)的基礎(chǔ)設(shè)施條件是否滿足要求,而是對(duì)災(zāi)備中心的例行演練和業(yè)務(wù)數(shù)據(jù)的恢復(fù)檢查頻次都做了更為明確的規(guī)定,而且有愈來(lái)愈強(qiáng)化的趨勢(shì)。在這種監(jiān)管政策趨嚴(yán)的大環(huán)境下,銀行方面自然要按照規(guī)定去落實(shí),但另一方面,由于銀行業(yè)自身的特殊性,以及我國(guó)銀行業(yè)自改革開(kāi)放以來(lái)業(yè)務(wù)系統(tǒng)快速發(fā)展的歷史特點(diǎn),造成了新舊系統(tǒng)之間關(guān)聯(lián)龐雜,架構(gòu)繁復(fù),配置管理和文檔規(guī)范化工作又相對(duì)滯后,尤其中小銀行在人力、物力、管理能力等多方面受限,災(zāi)備切換操作的確存在太多的風(fēng)險(xiǎn)點(diǎn),稍許不慎就會(huì)造成業(yè)務(wù)系統(tǒng)主機(jī)宕機(jī),甚至產(chǎn)生因網(wǎng)絡(luò)沖突引發(fā)主生產(chǎn)中心癱瘓的危局。
“可以說(shuō)每做一次災(zāi)備切換演練肝兒都會(huì)顫一次。因?yàn)檎鎸?shí)生產(chǎn)系統(tǒng)很復(fù)雜,不可能每個(gè)細(xì)節(jié)都梳理的那么清楚,特別在建設(shè)銀行的初期,行里業(yè)務(wù)發(fā)展迅速,每個(gè)月都有新系統(tǒng)上線,每個(gè)星期少則幾十個(gè)多則上百個(gè)系統(tǒng)的變更,整個(gè)生產(chǎn)環(huán)境還處于不斷變化完善的階段,遺漏情況就更為常見(jiàn)了。另外,對(duì)災(zāi)備更新的審核機(jī)制還牽扯到災(zāi)備的管理問(wèn)題,初期生產(chǎn)、災(zāi)備運(yùn)維團(tuán)隊(duì)一體化,災(zāi)備環(huán)境是否變更的操作復(fù)核仍然是同一批人,這是有一定風(fēng)險(xiǎn)的。” 孟小疆提醒說(shuō),“所以在項(xiàng)目結(jié)束后的一段時(shí)間里,大家對(duì)切換演練存在畏難情緒,一方面災(zāi)備管理要求遲遲不能推下去,要求的反饋也收不上來(lái);另一方面,對(duì)上級(jí)風(fēng)控部門的切換要求存在避重就輕的思想。其實(shí)‘說(shuō)一千道一萬(wàn)’,對(duì)切換演練畏難的根源還是在日常運(yùn)維管理存在問(wèn)題,要想把災(zāi)備切換變得例行、順暢起來(lái),首先還是要把日常生產(chǎn)環(huán)境的運(yùn)維先梳理順暢,制度落實(shí)。”
對(duì)此,孟小疆當(dāng)時(shí)所在行有針對(duì)性地采取了三點(diǎn)應(yīng)對(duì)措施:
1、 在制度和組織上確保災(zāi)備中心和主生產(chǎn)中心運(yùn)維同等地位。
這體現(xiàn)在制度上,災(zāi)備管理辦法、應(yīng)急預(yù)案都是全行級(jí)制度,科技部制度則凡是涉及災(zāi)備的全部進(jìn)行更新,不留制度死角;在組織上,要求所有專業(yè)組必須要有直接對(duì)口災(zāi)備管理負(fù)責(zé)人的技術(shù)人員,災(zāi)備管理負(fù)責(zé)人可以直接安排其工作。同時(shí),提高災(zāi)備管理負(fù)責(zé)人管理層級(jí),即可以向運(yùn)維、安全部門經(jīng)理直接匯報(bào)和溝通。
2、 抓好日常運(yùn)維的規(guī)范化,以變更管理為核心確保主備配置一致。
在災(zāi)備切換中絕大多數(shù)的失敗源自于兩中心系統(tǒng)軟硬件配置不同,通過(guò)梳理統(tǒng)計(jì)發(fā)現(xiàn)造成配置不同的最大來(lái)源,是在變更過(guò)程中少做甚至沒(méi)做災(zāi)備中心的對(duì)等變更,這個(gè)不僅是運(yùn)維習(xí)慣問(wèn)題,也是管理中對(duì)災(zāi)備的不重視,對(duì)流程和風(fēng)險(xiǎn)把控不嚴(yán)格的問(wèn)題。我們首先從變更流程入手,要求變更人員必須完成災(zāi)備變更才能算變更全部完成;其次要求災(zāi)備管理負(fù)責(zé)人定期組織各專業(yè)人員對(duì)主備中心配置進(jìn)行比對(duì)。當(dāng)然,如果有一個(gè)專職的災(zāi)備運(yùn)維團(tuán)隊(duì),這樣的工作就可以固定為每日例行的運(yùn)維巡檢,極大降低風(fēng)險(xiǎn)。
3、 通過(guò)桌面、模擬切換來(lái)培養(yǎng)運(yùn)維人員的素質(zhì)和能力。
為了確保運(yùn)維人員的災(zāi)備技能,我們通過(guò)定期的桌面、模擬演練培養(yǎng)他們的災(zāi)備意識(shí),克服他們的畏難情緒,讓他們掌握災(zāi)備運(yùn)維、災(zāi)備切換的主要制度、流程內(nèi)容,并能熟練操作。其中尤其以桌面演練方式最為便捷和安全,這種方式要經(jīng)常練,如同演員背臺(tái)詞一般熟練。而模擬演練由于涉及真實(shí)環(huán)境操作,具有一定的風(fēng)險(xiǎn),每專業(yè)每季度至少要進(jìn)行一次模擬切換。
四、災(zāi)備后續(xù)建設(shè)要關(guān)注技術(shù)發(fā)展,做好規(guī)劃,適當(dāng)引入一些成熟的先進(jìn)技術(shù)。
災(zāi)備建設(shè)是一個(gè)龐大的系統(tǒng)工程,從資金到人員的投入成本都很大,因此項(xiàng)目需求一定要按照監(jiān)管要求和在行內(nèi)風(fēng)控指導(dǎo)下進(jìn)行,不要好高騖遠(yuǎn),追求太先進(jìn)的目標(biāo)。談到目前的技術(shù)熱點(diǎn)以及對(duì)當(dāng)前災(zāi)備建設(shè)的技術(shù)路線影響,結(jié)合過(guò)往經(jīng)歷,孟小疆認(rèn)為,目前正在快速發(fā)展的云計(jì)算、虛擬化、以及分布式技術(shù)在銀行業(yè)的成熟應(yīng)用離預(yù)期還有一定的距離。銀行業(yè)的技術(shù)發(fā)展受限于行業(yè)特點(diǎn)、監(jiān)管規(guī)范,如果在安全穩(wěn)定和先進(jìn)快捷中選擇,無(wú)疑更傾向于前者。
因此,孟小疆表示,對(duì)于中小銀行而言,與其冒這種未知技術(shù)路線的選擇風(fēng)險(xiǎn),還不如在已有成熟技術(shù)路線上進(jìn)行挖潛優(yōu)化,因此他更看好能夠開(kāi)發(fā)出包括災(zāi)備切換自動(dòng)化、可視化功能的災(zāi)備系統(tǒng)管理平臺(tái)軟件。“目前銀行的災(zāi)備切換很多還是采用人工指令、手工切換的方式,即大家制定一個(gè)操作步驟列表,然后手動(dòng)輸入執(zhí)行。比如現(xiàn)在大家開(kāi)始做災(zāi)備切換演練了,第一步生產(chǎn)環(huán)境停機(jī),依照列表,誰(shuí)來(lái)停主機(jī),執(zhí)行哪幾步命令,非常明確。其實(shí)在這個(gè)基礎(chǔ)上再進(jìn)一步就可以腳本化,有腳本化就可以形成功能模塊,并進(jìn)一步加入觸發(fā)條件形成自動(dòng)化執(zhí)行的能力?,F(xiàn)在有的咨詢廠商已經(jīng)在開(kāi)發(fā)和推廣類似的災(zāi)備切換系統(tǒng),中小銀行可以加以關(guān)注。”
誠(chéng)然,未來(lái)隨著智能化、分布式技術(shù)的涌現(xiàn),災(zāi)備建設(shè)會(huì)越來(lái)越向著智能化、多中心方向發(fā)展,“或許不久的將來(lái)主備中心概念也會(huì)消失,轉(zhuǎn)而是以全互備的結(jié)構(gòu)來(lái)替代都未可知。”但無(wú)論災(zāi)備技術(shù)如何發(fā)展,抵御災(zāi)難,降低風(fēng)險(xiǎn),保障業(yè)務(wù)運(yùn)行仍然是其主旨,而銀行科技人依然會(huì)戰(zhàn)斗在災(zāi)備建設(shè)的第一線,有擔(dān)當(dāng)有作為。(完)
【51CTO原創(chuàng)稿件,合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】