企業(yè)構(gòu)建大數(shù)據(jù)平臺(tái)的痛點(diǎn)、思路與解決路徑
創(chuàng)建大數(shù)據(jù)平臺(tái),是個(gè)系統(tǒng)性的工程,并不像簡(jiǎn)簡(jiǎn)單單開發(fā)一款A(yù)PP一樣,需要深度了解當(dāng)下以及未來的技術(shù)發(fā)展。
曾幾何時(shí),組織多半會(huì)選擇以增量方式實(shí)現(xiàn)大數(shù)據(jù)解決方案。而并非每個(gè)分析和報(bào)告需求、大型數(shù)據(jù)集或來自多個(gè)數(shù)據(jù)源的臨時(shí)報(bào)告執(zhí)行并行處理的項(xiàng)目,都對(duì)大數(shù)據(jù)解決方案有著重要需求。
隨著大數(shù)據(jù)技術(shù)的到來,企業(yè)會(huì)問自己:大數(shù)據(jù)是否是我的業(yè)務(wù)問題的正確解決方案,或者它是否為我提供了業(yè)務(wù)機(jī)會(huì)?大數(shù)據(jù)中是否隱藏著業(yè)務(wù)機(jī)會(huì)?
CIO在考慮創(chuàng)建大數(shù)據(jù)平臺(tái)往往遇到以下問題:
● 如果我使用大數(shù)據(jù)技術(shù),可能會(huì)獲得何種洞察和業(yè)務(wù)價(jià)值?
● 它是否可以擴(kuò)充我 現(xiàn)有的數(shù)據(jù)倉庫?
● 我如何評(píng)估擴(kuò)展當(dāng)前環(huán)境或采用新解決方案的成本?
● 對(duì)我現(xiàn)有的IT治理有何影響?
● 我能否以增量方式實(shí)現(xiàn)大數(shù)據(jù)解決方案?
● 我需要掌握哪些具體的技能來理解和分析構(gòu)建和維護(hù)大數(shù)據(jù)解決方案的需求?
● 我的現(xiàn)有企業(yè)數(shù)據(jù)能否用于提供業(yè)務(wù)洞察?
● 來自各種來源的數(shù)據(jù)的復(fù)雜性在不斷增長(zhǎng)。
● 大數(shù)據(jù)解決方案對(duì)我有幫助嗎?
● 維度可幫助評(píng)估大數(shù)據(jù)解決方案的可行性?
為了回答這些問題,本文提出了一種依據(jù)下圖中所示的維度來評(píng)估大數(shù)據(jù)解決方案的可行性的結(jié)構(gòu)化方法。
對(duì)于每個(gè)維度,我們都給出了一些關(guān)鍵問題。依據(jù)業(yè)務(wù)上下文,為每個(gè)維度分配一個(gè)權(quán)重和優(yōu)先級(jí)。評(píng)估會(huì)因業(yè)務(wù)案例和組織的不同而有所不同。
一、通過大數(shù)據(jù)技術(shù)獲取何種業(yè)務(wù)價(jià)值?
許多組織想知道,他們尋找的業(yè)務(wù)洞察能否通過大數(shù)據(jù)解決方案來解決。然而事實(shí)上,沒有權(quán)威的指南能夠用來定義可從大數(shù)據(jù)獲取的洞察。
具體場(chǎng)景需要由組織識(shí)別,而且這些場(chǎng)景在不斷演變。
在確定和識(shí)別在實(shí)現(xiàn)后會(huì)給企業(yè)帶來重大價(jià)值的業(yè)務(wù)用例和場(chǎng)景的過程中,數(shù)據(jù)科學(xué)家起著至關(guān)重要的作用。數(shù)據(jù)科學(xué)家必須能夠理解關(guān)鍵績(jī)效指標(biāo),對(duì)數(shù)據(jù)應(yīng)用統(tǒng)計(jì)算法和復(fù)雜算法來獲得一個(gè)用例列表。用例行業(yè)和業(yè)務(wù)不同而有所不同。
研究市場(chǎng)競(jìng)爭(zhēng)對(duì)手的行動(dòng)、發(fā)揮作用的市場(chǎng)力量,以及客戶在尋找什么,會(huì)很有幫助。下表給出了來自各行各業(yè)的用例示例。
潛在的客戶正在社交網(wǎng)絡(luò)和評(píng)論站點(diǎn)上生成大量新數(shù)據(jù)。在企業(yè)內(nèi),隨著客戶切換到在線渠道來執(zhí)行業(yè)務(wù)和與公司交互,交易數(shù)據(jù)和 Web 日志與日俱增。
二、確定數(shù)據(jù)的優(yōu)先級(jí)
首先為企業(yè)內(nèi)存在的數(shù)據(jù)創(chuàng)建一個(gè)清單,識(shí)別內(nèi)部系統(tǒng)和應(yīng)用程序中存在的數(shù)據(jù)以及從第三方傳入的數(shù)據(jù)。如果業(yè)務(wù)問題可使用現(xiàn)有數(shù)據(jù)解決,那么有可能不需要使用來自外部來源的數(shù)據(jù)。這個(gè)時(shí)候,需考慮構(gòu)建一個(gè)大數(shù)據(jù)解決方案的成本,并權(quán)衡它與帶給業(yè)務(wù)部門的新洞察的價(jià)值。在有關(guān)現(xiàn)有客戶的歸檔數(shù)據(jù)的上下文中分析此新數(shù)據(jù)時(shí),業(yè)務(wù)人員將獲得對(duì)新業(yè)務(wù)機(jī)會(huì)的洞察。
主要滿足以下條件,大數(shù)據(jù)可提供可行的解決方案:
● 從數(shù)據(jù)中開發(fā)的洞察所生成的價(jià)值,值得在大數(shù)據(jù)解決方案中投入的資本成本
●面向客戶的場(chǎng)景可證明來自洞察的潛在價(jià)值
評(píng)估通過大數(shù)據(jù)解決方案獲取的業(yè)務(wù)價(jià)值時(shí),企業(yè)還應(yīng)考慮當(dāng)前的環(huán)境是否可擴(kuò)展并權(quán)衡此投資的成本。
三、我當(dāng)前的環(huán)境能否擴(kuò)展?
詢問以下問題,確定企業(yè)能否擴(kuò)充現(xiàn)有的數(shù)據(jù)倉庫平臺(tái)?
●當(dāng)前的數(shù)據(jù)集是否非常大,是否達(dá)到了 TB 或 PB 數(shù)量級(jí)?
●現(xiàn)有的倉庫環(huán)境是否包含生成或獲取的所有 數(shù)據(jù)的存儲(chǔ)庫?
●是否有大量冷數(shù)據(jù)或人們很少接觸的數(shù)據(jù)未分析,可以通過分析這些數(shù)據(jù)獲得業(yè)務(wù)洞察?
●您是否需要丟棄數(shù)據(jù),因?yàn)闊o法存儲(chǔ)或處理它?
●您是否希望能夠在復(fù)雜且大量的數(shù)據(jù)上執(zhí)行數(shù)據(jù)探索?
●您是否希望能夠?qū)Ψ遣僮鲾?shù)據(jù)執(zhí)行分析?
●您是否有興趣使用數(shù)據(jù)執(zhí)行傳統(tǒng)和新類型的分析?
●您是否試圖延遲對(duì)現(xiàn)有數(shù)據(jù)倉庫的升級(jí)?
●您是否在尋求途徑降低執(zhí)行分析的總體成本?
如果任何這些問題的答案是 “是”,那么企業(yè)就可以探索擴(kuò)充現(xiàn)有數(shù)據(jù)倉庫環(huán)境的方式。
四、擴(kuò)展企業(yè)當(dāng)前的環(huán)境的成本是多少?
擴(kuò)展現(xiàn)有數(shù)據(jù)倉庫平臺(tái)或 IT 環(huán)境與實(shí)現(xiàn)大數(shù)據(jù)解決方案的成本和可行性取決于:
●現(xiàn)有工具和技術(shù)
●現(xiàn)有系統(tǒng)的可伸縮性
●現(xiàn)有環(huán)境的處理能力
●現(xiàn)有平臺(tái)的存儲(chǔ)能力
●執(zhí)行的治理和策略
●現(xiàn)有 IT 應(yīng)用程序的異構(gòu)性
●組織中存在的技術(shù)和業(yè)務(wù)技能
它還依賴于將從新數(shù)據(jù)來源收集的數(shù)據(jù)量、業(yè)務(wù)用例的復(fù)雜性、處理的分析復(fù)雜性,以及獲取數(shù)據(jù)和擁有恰當(dāng)技能集的人員的成本?,F(xiàn)有的資源池能否開發(fā)新的大數(shù)據(jù)技能,或者是否可從外部雇傭擁有稀缺技能的人員?
值得注意的是,大數(shù)據(jù)舉措會(huì)對(duì)其他正在實(shí)施的項(xiàng)目產(chǎn)生影響。從新的來源獲取數(shù)據(jù)具有很高的成本。您首先應(yīng)當(dāng)識(shí)別系統(tǒng)和應(yīng)用程序內(nèi)部存在的數(shù)據(jù),以及目前收到的第三方數(shù)據(jù),這一點(diǎn)很重要。如果業(yè)務(wù)問題可以使用現(xiàn)有數(shù)據(jù)解決,那么有可能不需要使用來自外部來源的數(shù)據(jù)。
在生成新工具和應(yīng)用程序之前,請(qǐng)?jiān)u估組織的應(yīng)用程序組合。例如,一個(gè)普通的 Hadoop 平臺(tái)可能無法滿足您的需求,您可能必須購買專業(yè)的工具?;蛘呦鄬?duì)而言,Hadoop 的商業(yè)版本對(duì)當(dāng)前用例而言可能很昂貴,但可能需要用作長(zhǎng)期投資來支持一個(gè)戰(zhàn)略性的大數(shù)據(jù)平臺(tái)??紤]大數(shù)據(jù)工具和技術(shù)需要的基礎(chǔ)架構(gòu)、硬件、軟件和維護(hù)的成本。
五、對(duì)現(xiàn)有的 IT 治理有何影響?
在決定是否實(shí)現(xiàn)一個(gè)大數(shù)據(jù)平臺(tái)時(shí),組織可能會(huì)查看新數(shù)據(jù)源和新的數(shù)據(jù)元素類型,而這些信息當(dāng)前的所有權(quán)尚未明確定義。一些行業(yè)制度會(huì)約束組織獲取和使用的數(shù)據(jù)。例如,在醫(yī)療行業(yè),通過訪問患者數(shù)據(jù)來從中獲取洞察是否合法?類似的規(guī)則約束著所有行業(yè)。除了 IT 治理問題之外,組織的業(yè)務(wù)流程可能也需要重新定義和修改,讓組織能夠獲取、存儲(chǔ)和訪問外部數(shù)據(jù)。
還需考慮以下治理相關(guān)問題:
● 安全性和隱私:為了與當(dāng)?shù)胤ㄒ?guī)一致,解決方案可以訪問哪些數(shù)據(jù)?可以存儲(chǔ)哪些數(shù)據(jù)?哪些數(shù)據(jù)應(yīng)在移動(dòng)過程中加密?靜止數(shù)據(jù)呢?誰可以查看原始數(shù)據(jù)和洞察?
● 數(shù)據(jù)的標(biāo)準(zhǔn)化:是否有標(biāo)準(zhǔn)約束數(shù)據(jù)?數(shù)據(jù)是否具有專用的格式?是否有部分?jǐn)?shù)據(jù)為非標(biāo)準(zhǔn)格式?
● 數(shù)據(jù)可用的時(shí)段:數(shù)據(jù)在一個(gè)允許及時(shí)采取操作的時(shí)段是否可用?
● 數(shù)據(jù)的所有權(quán):誰擁有該數(shù)據(jù)?解決方案是否擁有適當(dāng)?shù)脑L問權(quán)和權(quán)限來使用數(shù)據(jù)?
● 允許的用法:允許如何使用該數(shù)據(jù)?
六、企業(yè)能否增量地實(shí)現(xiàn)大數(shù)據(jù)解決方案?
大數(shù)據(jù)解決方案可以采用增量方式實(shí)現(xiàn)。明確地定義業(yè)務(wù)問題的范圍,并以可度量的方式設(shè)置預(yù)期的業(yè)務(wù)收入提升,這樣做會(huì)很有幫助。對(duì)于基礎(chǔ)業(yè)務(wù)案例,請(qǐng)仔細(xì)列出問題的范圍和解決方案帶來的預(yù)期收益。
如果該范圍太小,業(yè)務(wù)收益將無法實(shí)現(xiàn),如果范圍太大,獲得資金和在恰當(dāng)?shù)钠谙迌?nèi)完成項(xiàng)目就會(huì)很有挑戰(zhàn)性。在項(xiàng)目的***次迭代中定義核心功能,以便能夠輕松地贏得利益相關(guān)者的信任。
七、組織是否具備恰當(dāng)技能的技術(shù)人員?
需要特定的技能來理解和分析需求,并維護(hù)大數(shù)據(jù)解決方案。這些技能包括行業(yè)知識(shí)、領(lǐng)域?qū)iL(zhǎng),以及有關(guān)大數(shù)據(jù)工具和技術(shù)的技術(shù)知識(shí)。擁有建模、統(tǒng)計(jì)、分析和數(shù)學(xué)方面的專業(yè)經(jīng)驗(yàn)的數(shù)據(jù)科學(xué)家,是任何大數(shù)據(jù)舉措成功的關(guān)鍵。
在實(shí)施一個(gè)新的大數(shù)據(jù)項(xiàng)目之前,確保已安排了合適的人員:
● 是否獲得利益相關(guān)者和其他愿意投資該項(xiàng)目的業(yè)務(wù)贊助者的支持?
● 是否擁有熟悉該領(lǐng)域、能分析大量數(shù)據(jù)、而且能識(shí)別從數(shù)據(jù)生成有意義且有用的洞察的途徑的數(shù)據(jù)科學(xué)家?
八、是否擁有可用于獲取業(yè)務(wù)洞察的現(xiàn)有數(shù)據(jù)?
所有組織都擁有大量未用于獲取業(yè)務(wù)洞察的數(shù)據(jù)。這些數(shù)據(jù)包括日志文件、錯(cuò)誤文件和來自應(yīng)用程序的操作數(shù)據(jù)。不要忽略此數(shù)據(jù),它是寶貴信息的潛在來源。
1. 數(shù)據(jù)復(fù)雜性是否在增長(zhǎng)?
查找數(shù)據(jù)復(fù)雜性增長(zhǎng)的線索,尤其是在數(shù)據(jù)量、種類、速度和真實(shí)性方面。
2. 數(shù)據(jù)量是否已增長(zhǎng)?
如果滿足以下條件,企業(yè)可以考慮大數(shù)據(jù)解決方案:
● 數(shù)據(jù)大小達(dá)到 PB 和 EB 級(jí),而且在不久的將來,它們可能增長(zhǎng)到 ZB 級(jí)別。
● 這一數(shù)據(jù)量給使用傳統(tǒng)方法(比如關(guān)系數(shù)據(jù)庫引擎)存儲(chǔ)、搜索、共享、分析和可視化數(shù)據(jù)帶來的技術(shù)和經(jīng)濟(jì)挑戰(zhàn)。
● 數(shù)據(jù)處理目前可使用可用硬件上的大規(guī)模并行處理能力。
3. 數(shù)據(jù)種類是否已增多?
如果滿足以下條件,各種各樣的數(shù)據(jù)可能都需要大數(shù)據(jù)解決方案:
● 數(shù)據(jù)內(nèi)容和結(jié)構(gòu)無法預(yù)期或預(yù)測(cè)。
● 數(shù)據(jù)格式各不相同,包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
● 用戶和機(jī)器能夠以任何格式生成數(shù)據(jù),例如:Microsoft® Word 文件、Microsoft Excel® 電子表格、Microsoft PowerPoint 演示文稿、PDF 文件、社交媒體、Web 和軟件日志、電子郵件、來自相機(jī)的照片和視頻、信息感知的移動(dòng)設(shè)備、空中感知技術(shù)、基因組和醫(yī)療記錄。
● 以前沒有為了獲得洞察而被挖掘的數(shù)據(jù)來源不斷地在產(chǎn)生新的數(shù)據(jù)類型。
● 領(lǐng)域?qū)嶓w在不同的上下文中具有不同的含義。
4. 數(shù)據(jù)的速度是否已增長(zhǎng)或改變?
考慮您的數(shù)據(jù)是否:
● 在快速更改,必須立即響應(yīng)。
● 擁有過多的傳統(tǒng)技術(shù)和方法,它們不再足以實(shí)時(shí)處理傳入的數(shù)據(jù)。
5. 您的數(shù)據(jù)是否值得信賴?
如果滿足以下條件,那么請(qǐng)考慮使用大數(shù)據(jù)解決方案:
● 數(shù)據(jù)的真實(shí)性或準(zhǔn)確性未知。
● 數(shù)據(jù)包含模糊不清的信息。
● 不清楚數(shù)據(jù)是否完整。
如果數(shù)據(jù)的量、種類、速度或真實(shí)性具有合理的復(fù)雜性,那么有可能會(huì)適合地采用大數(shù)據(jù)解決方案。對(duì)于更復(fù)雜的數(shù)據(jù),需要評(píng)估與實(shí)現(xiàn)大數(shù)據(jù)解決方案關(guān)聯(lián)的任何風(fēng)險(xiǎn)。對(duì)于不太復(fù)雜的數(shù)據(jù),則應(yīng)該評(píng)估傳統(tǒng)的解決方案。
九、是否所有大數(shù)據(jù)都存在大數(shù)據(jù)問題?
不是所有大數(shù)據(jù)情形都需要大數(shù)據(jù)解決方案,我們需在市場(chǎng)中尋找線索:競(jìng)爭(zhēng)對(duì)手在做什么?哪些市場(chǎng)力量在發(fā)揮作用?客戶想要什么?
通過根據(jù)本文中的問題,確定大數(shù)據(jù)解決方案是否適合企業(yè)自身的業(yè)務(wù)情形和所需要的業(yè)務(wù)洞察。
【編輯推薦】