數字化轉型數據治理的3個發(fā)展趨勢
實現數據從源到數據中心再到應用端的全過程管理,為用戶提供了準確便捷的企業(yè)資產信息。數據治理平臺也包括數據標準,數據質量。
1. 從質量管理到質量與服務并重
在傳統(tǒng)的關系型數據庫時代,開展數據治理更多的是為了能夠解決數據質量問題,提升數據決策水平。而在大數據時代,除了需要保證數據質量之外,對數據治理也提出了更高的要求,數據必須更好地適應不確定性的需求,即插即用,服務不斷變化的業(yè)務創(chuàng)新,發(fā)揮出數據更大的價值。
在這種要求下,可以通過數據資產管理,在傳統(tǒng)的數據治理能力之外,提供數據資產視圖能力、數據檢索能力、數據共享能力、數據價值運營能力等,實現數據的可見、可懂、可用、可運營,并不斷增值。數據管理部門也有機會從一個純粹的的成本中心逐漸轉變成企業(yè)的創(chuàng)新中心和高利潤部門。
可見:通過對數據資產的全面盤點,形成數據資產地圖。針對數據生產者、管理者、使用者等不同的角色,用數據資產目錄的方式共享數據資產,用戶可以快速、精確地查找到自己關心的數據資產。
可懂:通過元數據管理,完善對數據資產的描述。同時在數據資產的建設過程中,注重數據資產業(yè)務含義的提煉,將數據加工和組織成人人可懂的、無歧義的數據資產。具體來說,在數據中臺之上,需要將數據資產進行標簽化。標簽是面向業(yè)務視角的數據組織方式。
可用:通過統(tǒng)一數據標準、提升數據質量和數據安全性等措施,增強數據的可信度,讓數據科學家和數據分析人員沒有后顧之憂,放心使用數據資產,降低因為數據不可用、不可信而帶來的溝通成本和管理成本。
可運營:數據資產運營的最終目的是讓數據價值越滾越大,因此數據資產運營要始終圍繞資產價值來開展。通過建立一套符合數據驅動的組織管理制度流程和價值評估體系,改進數據資產建設過程,提升數據資產管理的水平,提升數據資產的價值。
2. 人工智能大幅提升數據治理效率
高質量的大數據作為AI的原料,不斷地訓練出表現越來越出色的AI模型。反過來,AI也可以反哺大數據的處理能力,幫助人類大幅度提升大數據處理效率。目前很多企業(yè)和大數據服務提供商都在探索用機器人學習的方式幫助組織增強數據治理能力。
通過應用機器學習技術,來識別哪些數據可能有問題,哪些數據是用戶的隱私數據。一旦數據特征被確認,就會自動給它們打上標簽,從而使用這種自動化的機制來完成一部分數據治理工作。
比如當碰到某類有特殊標記的數據時,就會有相應的流程契動。而解決這類問題的傳統(tǒng)機制往往需要人工操作,費時費力,在大數據時代,這樣的人力成本投入已經不再實現,機器學習惡意將這一整串流程完全自動化,且準確率達到較高的水平。
在數據安全管理方面,人工智能的介入將幫助組織發(fā)現更多可疑的數據竊取、數據泄露的潛在風險,識別潛在的系統(tǒng)攻擊,幫助組織建立健全的數據安全管理措施,填補技術上的漏洞。
3. 以元數據為核心的分布式數據治理
隨著云計算、邊緣計算的興起,未來的數據治理必須滿足分布式的要求,因為數據治理總是隨著數據存儲的位置進行。而實現這些,需要數據治理圍繞元數據展開,無論數據分散在何處,都可以在數據保留在原地的情況下,通過元數據把它們關聯在一起,因此元數據將成為未來數據治理的基礎和核心。