壹家企業是以意識到數據的重要性 為戰略規劃起點的,我們叫做數據意識覺醒,所以數據管理的前提是公司決策高層的堅定支持和理解。數據管理(DM)和數據治理(DG)的概念在大部分情況下都模糊不清,DAMA體系裏數據管理是大於數據治理的,數據治理只是數據管理的壹個行為子集。
如果公司高層有了數據意識覺醒,交給妳壹個數據管理或者數據治理的任務,我們應該怎麽做?
首先需要了解數據管理的概念,數據的特性決定了做數據管理是壹個系統工程,需要有科學的方法論體系,建議妳參考DAMA;其次需要評估組織數據管理的現狀,參照數據管理成熟度模型進行;然後基於評估結果制定PDCA計劃;最後需要啟動組織變更,目的是支撐數據管理實施的路線圖。
數據管理成熟度模型定義了5個層級:
等級壹:初始級。組織沒有意識到數據的重要性,數據需求的管理主要是在項目級來體現,沒有統壹的數據管理流程,存在大量的數據孤島,經常由於數據的問題導致低下的客戶服務質量、繁重的人工維護工作等。
等級二:受管理級。組織已經意識到數據是資產,根據管理策略的要求制定了管理流程,指定了相關人員進行初步的管理,並且識別了與數據管理、應用相關的幹系人。
等級三:穩健級。數據已經被當作實現組織績效目標的重要資產,在組織層面制定了系列的標準化管理流程以促進數據管理的規範化,數據的管理者可以快速地滿足跨多個業務系統、準確、壹致的數據要求,有詳細的數據需求響應處理規範、流程。
等級四:量化管理級。數據被認為是獲取競爭優勢的重要資源,組織認識到數據在流程優化、工作效率提升等方面的作用,針對數據管理方面的流程進行全面的優化,針對數據管理的崗位進行關鍵績效指標(key performance indicator,KPI)的考核,規範和加強數據相關的管理工作,並且根據過程的監控和分析對整體的數據管理制度和流程進行優化。
等級五:優化級。數據被認為是組織生存的基礎,相關管理流程能夠實時優化,能夠在行業內進行最佳實踐的分享。
本書的重點是介紹數據管理的概念,後面我們將各個章節融合到DAMA數據體系去講解,妳將可以參考DAMA去深入數據管理。
數據無處不在,是企業的資產;數據是壹種有價值的資產,但也隱含著風險。低質量的數據帶來損耗,高質量的數據帶來收益。,但需要將技術管理和數據管理分開。數據管理的挑戰首先是由數據資產的特性決定的,數據資產不可觸摸、持久的、不會被消耗,但在使用的時候有被盜的風險;容易被拷貝和遷移,但是如果丟失或被破壞,將不可再生;數據是動態的,可以在同壹時刻被多人使用。以上特性造成數據管理的難度:(1)難以盤點組織有多少數據資產;(2)很難定義數據的所有權和責任;(3)很難防止濫用數據;(4)數據風險管理很難;(5)很難定義和執行統壹的數據質量標準;
數據管理需要站在企業全局的視角去規劃、協同和技術實現,數據管理的核心是管理數據的生命周期,專註於數據的產生、遷移和維護的全過程,數據有不同的分類規則,不同類型的數據又會有不同的生命周期需求,但也有***性的規則如下:(1)在數據生命周期中,數據的產生和使用是最主要的關鍵點;(2)數據質量管理必須貫穿數據生命周期的全過程;(3)元數據管理必須貫穿數據生命周期全過程;(4)數據安全管理必須貫穿數據生命周期全過程;(5)數據管理應該專註於最關鍵的數據;
DAMA數據管理的原則如下:
DAMA數據管理包括11個知識領域和3大主題域,全景視圖如下:
數據管理11個知識域如下:
數據治理: 依據組織的整體需求,通過建立數據決策的權限和責任,為數據管理活動和職能提供整體的指導和監督;
數據架構: 基於組織的戰略目標,建立符合戰略需求的數據架構;
數據建模和設計: 探索、分析、表示和溝通數據需求的壹個過程,最後輸出數據模型;
數據存儲和操作: 包括數據存儲的設計、實施和支持,目的是達到利益最大化;該活動貫穿數據的整個生命周期——從數據規劃到數據消除;
數據安全: 確保數據隱私和安全;
數據整合與互操作性 (翻譯錯誤,應該為集成與交換):包括存在於不同數據系統、應用程序和組織之內,以及組織之間的數據遷移和集成等;
文檔和內容管理 :通過PDCA活動,來管理那些存儲於非結構化介質中的數據和它們的生命周期,甚至是那些與法律及合規性相關的文件的管理;
參考數據 (翻譯錯誤,應該為字典數據) 和主數據管理 :對核心關鍵***享數據的持續更新和維護,以便得到最準確、及時並和基礎業務相關的數據;
數據倉庫和商務智能 :通過PDCA活動,為管理決策提供數據量化的支持,使相關工作人員能夠通過數據分析和數據報告獲取價值;
元數據管理 :通過PDCA活動,支持訪問高質量的元數據集,包括定義、模型、數據流和其他對理解數據及其創建、維護和訪問至關重要的信息;
數據質量管理 :包括規劃和實施質量管理技術,以衡量、評估和改善組織使用的數據;
DAMA數據管理的三大核心領域:數據治理、數據生命周期管理、數據的基礎活動;
數據治理需要EMT領導層的承諾和投入,是壹項持續性的工作,貫穿整個數據管理的生命周期,通過闡明戰略、建立框架、制定方針及實現數據***享,為其他數據管理職能提供指導和監督;數據治理是實現業務目標的壹種手段,本身不是目的;通過將獲得和行為與數據管理原則相結合,來支持組織的業務戰略,應對數據管理的挑戰。
壹個成功的數據治理項目將:1.建立符合並支持業務戰略的數據治理戰略;2.基於數據管理原則,制定和執行相關行動計劃;3.設置數據質量標準;4.提供關鍵數據的管理;5.確保組織遵守和數據相關的法規;6.管理那些與數據和治理的各方面相關的問題。
企業數據架構描述如何組織和管理數據,由數據架構師、建模師和數據管理專員負責,負責管理業務架構創建和要求的數據,包括數據模型、數據定義、數據映射規範、數據流、結構化數據API;
數據架構的核心是數據模型(數據結構和數據規範)和數據流設計。數據建模是發現、分析和界定數據需求的過程,然後以數據模型的文檔準確表示和傳遞這些數據需求:
目標:描述結構、範圍定義,然後進行文檔化;
如何做:5w1h描述實體,描述實體關系,定義屬性,定義值域;
(1)數據存儲與操作:DBA確保數據引擎正常運行;
(2)數據集成與交換;
(3)數據倉庫:
數據倉庫建設理論有2個核心流派,而在實際假設過程中需要選擇性予以參考和綜合,無需完全參考理論。
Bill Inmon: 面向主題的、集成的、反映歷史變化的、相對穩定的數據集和,以支持管理層的決策過程。
Ralph Kimball :專門為查詢和分析構建的交易數據的副本。
(4)字典管理;
(5)主數據管理:
主數據管理是壹個全數據生命周期的過程,不僅在MDM系統中管理,還必須可供其他系統和流程使用,依靠能夠***享和反饋數據的技術,還需要可備份。主數據管理的核心業務邏輯:1.確定主數據源;2.建立精確匹配和合並實體實例的規則;3.建立識別和恢復不恰當適配與合並數據的方法;4.建立向整個企業系統分發可信數據的方法;
(6)文檔與內容管理;
(7)大數據存儲;
(1)主數據的使用;
(2)商務智能;
(3)數據科學:是指開發預測模型的過程,數據分析師使用科學的方法(觀察、假設、實驗、分析和給出結論)來開發和評估分析模型或預測模型;
(4)預測性分析;
(5)數據可視化;
(6)數據貨幣化;
數據保護、隱私、安全和風險管理;
元數據管理:管理“數據的數據”,是數據管理的基礎;
數據質量管理:
規範的數據質量管理主要包括:
(1)通過數據質量DQ標準、規則和需求來定義高質量的數據;
(2)對照已制定的相關標準評估數據,並向利益相關方通報評估結果;
(3)對應用中的數據和數據存儲進行監控和報告;
(4)識別問題並提出改進意見。
數據質量提升周期:PDCA;數據質量的保障需要堅定的領導層;
通過本文,妳將了解如果妳的企業需要做數據管理或數據治理,妳應該從熟悉DAMA體系開始,獲取公司高層的堅定支持,通過指導合理評估數據管理現狀,基於評估制定改進計劃,從方法論落地到實際數據管理。本文講解了數據管理的11大知識領域和3大核心業務領域,以最簡的內容快速解析數據管理核心內容,從全局上為數據管理 以及 數據治理 進行導航。針對原書中的翻譯的不妥之處進行了改進,如有疑問,歡迎留言討論。