根據(jù)分析公司IDC的全球數(shù)據(jù)圈預測，2021年至2025年，商業(yè)和消費者數(shù)據(jù)自去年以來一直在以約23%的復合年增長率(CAGR)累積，其中企業(yè)數(shù)據(jù)的復合年增長率為28%，預計到2025年將達到180ZB。云計算所創(chuàng)建的數(shù)據(jù)也在以每年36%的速度增長，而通過各種物聯(lián)網和傳感設備收集的邊緣數(shù)據(jù)則將以每年33%的速度增長，到2025年將占全球數(shù)據(jù)總量的22%。

[[394006]]

對于企業(yè)來說，隨著數(shù)據(jù)量的增長，使數(shù)據(jù)具備計算能力的任務已經變得更加復雜了，而企業(yè)只花費很少的時間和精力來開發(fā)有效的數(shù)據(jù)管理流程和平臺來使數(shù)據(jù)易于操作。例如，許多公司收集了大量與客戶、訂單、產品使用、安裝基礎、維修單、故障日志和市場情報相關的數(shù)字交易數(shù)據(jù)，但卻沒有好的方法來創(chuàng)建每個客戶或其業(yè)務的360度的視圖--盡管他們比以往任何時候都有更多的技術選擇來從數(shù)據(jù)中提取情報。

許多企業(yè)已經到了這樣一種狀態(tài)，他們清楚地知道，他們所擁有的數(shù)據(jù)量既不能提供持續(xù)的競爭優(yōu)勢，也不能讓他們輕松地從中釋放價值。同時，這種擴大的數(shù)據(jù)所有權既增加了保密問題和實施成本，也增加了環(huán)境的復雜性。

邁向更好的數(shù)據(jù)管理戰(zhàn)略

當前的狀態(tài)架構是在沒有首先制定有效和智能地使用數(shù)據(jù)的策略，實現(xiàn)技術和碎片化過程的復雜組合以及依賴基于非常薄弱的數(shù)據(jù)基礎的數(shù)據(jù)工程實踐的情況下積累數(shù)據(jù)的結果。

在很大程度上，這些基礎是基于提取、轉換和加載(ETL)方法的--從多個源中提取數(shù)據(jù)，通過ETL服務器將數(shù)據(jù)轉換為特定格式，然后將數(shù)據(jù)加載到數(shù)據(jù)倉庫中，在那里可以對其進行分析，并有望以商業(yè)智能的形式呈現(xiàn)。但是，數(shù)據(jù)轉換過程可能會有些復雜，并且需要大量計算，因為它需要被轉換成一種可以被業(yè)務線數(shù)據(jù)庫識別和使用的格式。由于該過程涉及大量的I/O活動、字符串處理和數(shù)據(jù)解析，因此也需要花費大量的時間。

一個更好的數(shù)據(jù)管理策略是先對字母“ETL”進行一點洗牌，然后采用一個從提取數(shù)據(jù)時就開始處理的過程，然后將其加載到特定的數(shù)據(jù)存儲庫中，這些存儲庫可以將數(shù)據(jù)分別轉換為更有用的和相關的形式。這種ELT方法是先將數(shù)據(jù)加載到你的目標系統(tǒng)，然后再進行轉換，并會將這些任務轉移到單獨的基于云的數(shù)據(jù)倉庫當中。

不是使用單個的ETL引擎/服務器來轉換所有結構化和非結構化的原始數(shù)據(jù)，而是使用ELT方法，將數(shù)據(jù)段傳送到特定的云數(shù)據(jù)倉庫當中，在那里這些部分將被單獨的轉換。結果是更少的I/O時間和更快的解析。

少一些混亂，多一些智能

基于ELT結構的未來狀態(tài)數(shù)據(jù)架構將著重于建立一個強大的數(shù)據(jù)基礎層和一個基于平臺的方法，為整個組織提供一個無所不包的數(shù)據(jù)管理解決方案。無論是物聯(lián)網數(shù)據(jù)、點擊流、銷售和營銷智能、業(yè)務指標還是用戶分析，未來的架構都將依賴一個內聚的平臺來縮小數(shù)據(jù)獲取和釋放價值之間的差距。

未來狀態(tài)架構的一些關鍵考慮因素包括：

•  基礎層功能的實現(xiàn)，包括連接器、事件流、源寫回和MapReduce。下一層還將包括數(shù)據(jù)管理生命周期、數(shù)據(jù)建模、模式實施、數(shù)據(jù)隱私、治理、批準、安全、數(shù)據(jù)項目和管理。
• 該架構的核心是一個發(fā)現(xiàn)和自我學習引擎，它可以從生態(tài)系統(tǒng)中的各種來源抓取和檢索數(shù)據(jù)--能夠適應不斷變化的業(yè)務需求，并吸收適當數(shù)量的可計算數(shù)據(jù)。
• 為了滿足符合數(shù)據(jù)隱私法規(guī)的現(xiàn)實，數(shù)據(jù)結構和持久性抽象需要為數(shù)據(jù)駐留提供解決方案。

未來狀態(tài)架構的最終目標是通過獲取可計算的數(shù)據(jù)元素來消除長時間運行的查詢和與業(yè)務數(shù)據(jù)的連接，從而優(yōu)化數(shù)據(jù)存儲和處理資源的使用。這不僅可以將存儲的數(shù)據(jù)量減少到我們今天所需存儲的一小部分，還可以提高企業(yè)釋放有用且可操作商業(yè)智能的速度。