深入理解數據治理:關鍵要素及操作步驟
什麼是數據治理 Data Governance?
數據治理(Data Governance)是企業內部確保數據的可得性、可用性、完整性和安全性的過程,貫穿數據從取得到拋棄的數據生命週期。有效的數據治理可保障數據一致性、可信度,並確保資料不會被濫用。隨著企業面臨越來越嚴格的資料隱私法規,且越來越依賴資料分析來幫助最佳化運營和推動業務決策,數據治理變得越發重要。
數據治理的主要要素
數據治理通常包含以下面向與要素:
- Data cataloging 數據目錄
- Data quality 數據品質
- Data classification 數據分類
- Data security 數據安全性
- Data entitlements management 數據權限管理
- Data lineage 數據沿襲
- Data discovery 數據探索
- Data sharing and collaboration 數據共享與協作
Data cataloging 數據目錄
是一個創建組織內所有數據資產清單的過程,旨在幫助組織數據人員盤點、了解和快速存取他們所需的數據;數據目錄也可作為所有可用數據的搜尋索引,包括有關其格式、結構、位置和用途的資訊。一般會利用元數據和數據管理工具,創建組織的數據目錄。
Data quality 數據品質
為了維持有效的數據治理,組織必須優先評估關鍵資料品質,例如準確性、完整性、即時性等,以提升數據驅動決策的可靠性。
Data classification 數據分類
根據數據的敏感度、價值和關鍵性對資料進行分類,使組織能夠根據風險等級和重要性識別和分類數據,並應用適當的安全措施和策略。
Data security 數據安全性
資料安全保護資訊在其生命週期中免遭未經授權的存取、損壞或盜竊,其包含硬體儲存設備、軟體應用程式以及組織程序邏輯等等。制定明確的治理政策以符合資安法規、維護客戶信任並保護資料免遭未經授權的存取或濫用。
Data entitlements management 數據權限管理
了解誰有權存取哪些資料並追蹤存取權限,主動識別授權過多的使用者或群組並調整存取權限,降低資料濫用的風險。
Data lineage 數據沿襲
指追踪數據在不同處理、轉換和不同系統之間如何移動和變化的過程。可幫助組織了解資料來源和使用情況,確保資料品質和可信度,掌握整個資料生命週期中的相關元資料和事件。
Data discovery 數據探索
從多個資料庫搜集、編目並分類數據,幫助組織管理數據、促進跨部門合作並推動創新,避免資料重複,應對治理挑戰。
Data sharing and collaboration 數據共享與協作
為了安全地跨部門或跨組織交換數據,並保持對敏感資訊使用方式的控制和透明性,企業需要數據市集平台與數據無塵室技術,做為數據提供者與需求者的橋樑。
延伸閱讀:了解LnData的數據無塵室以及數據市集
為什麼我們需要數據治理?
根據 Gartner的報告,超過一半的受訪者認為增進資料安全、減少違規行為、可以以更先進的技術處理數據、增進團隊數據識別能力以及改善內部數據處理方式是數據治理為公司帶來的前五大效益。
增進資料安全 Improve data security
資料治理的核心在於如何存取、使用和保護資料的策略。透過制定數據治理策略,組織能夠定義誰有權存取哪些資料、在何種情況下授予存取權限以及如何在資料的傳輸和儲存過程中保護資料。因此,有效的數據治理有助於確保敏感資料得到良好保護,降低資料外洩的風險。當資料發生外洩時,強大的數據治理框架也會規定必要的步驟,以減輕損害並防止未來的洩漏。
減少違規行為 Reduce compliance breaches
在監管日益嚴格的情況下,組織需要遵守眾多的資料保護法規,從歐盟的《一般資料保護規範》(GDPR)到《加州消費者隱私法案》(CCPA)等。數據治理提供了一個框架,協助定義和執行監管合規所需的政策和程序。通過確保合規地收集、儲存、處理和共享數據,數據治理可以降低因不合規而導致的代價高昂的處罰和聲譽受損的風險。
例如在台灣,金融機構往往因為機敏資料而受到法規嚴格限制數據使用,因此像是街口支付等金融、電支業者便會透過數據治理,來確保組織使用數據完全合規。
克服數據複雜性並引進先進技術 Enable the addition of tech complexity while accounting for data complexity
當組織能夠有效地管理和保護數據時,便能更自信地採用更複雜的技術來處理這些數據,包括機器學習、人工智慧和大數據分析等。這些先進的技術可以進一步深入分析數據,揭示潛在的趨勢、模式和洞察力,從而幫助組織做出更明智的決策。因此,數據治理不僅使數據更易於取得,還為組織開啟了使用更複雜技術的大門,進而實現更高層次的價值創造。
舉例來說,全球知名美妝集團 L’Oréal 透過實施了數據治理,幫助其能簡化處理海量個人化數據的流程與難度,幫助團隊能更敏捷地進行開發並靈活地引入先進的技術,例如人工智能、大數據分析、電腦視覺、3D列印等,進而領先競爭對手。
增進團隊數據識別能力 Improve team data literacy
透過數據治理,我們能夠幫助分類數據,並將其轉化為使用者易於理解的形式。這將大大提升組織內部團隊對於數據的理解程度和識別能力。這種更清晰、更易於理解的數據類型將促進團隊成員更深入地了解數據的含義和價值,從而增強他們在數據相關工作中的技能和信心。
這也代表團隊的數據思維與素養培訓也非常重要。例如 LnData 在協助客戶實施數據治理時,常會一併提供相關的顧問課呈,使團隊成員能夠更好地理解和應用數據。
改善內部數據管理方式 Improve internal data management/best practice
資料治理的核心原則之一是消除冗餘和低效率。透過確保組織中的每個人都使用一致、準確和最新的數據,有助於避免不同部門或團隊維護各自的數據來源時經常發生的不必要的重複工作。
例如 LnData 就曾經與IBM等公司合作協助台灣某醫療機構,建立了統一的數據目錄與管理平台,改善了數據管理流程,使得數據更易於訪問與取用病例資料,並且有助於提高內部數據管理的效率,進而實現數位轉型。
數據治理如何操作?
一般的數據治理建制架構包含人員、策略、流程以及技術等重要部分:
- 人員:參與數據治理的人員的組織結構、角色和職責,包括擁有、收集、儲存、管理和使用資料的人員。
- 策略:提供使用、保護和管理資料的指南,確保一致性和合規性。
- 流程:是指溝通、協作和管理資料的過程,包括資料收集、儲存、保護和使用。
- 技術:是指用於支援資料治理的工具和系統,例如資料管理平台和安全解決方案。
數據治理計畫步驟藍圖
想實施數據治理,可按照以下步驟進行:
- 定義數據策略與數據治理目標
- 確保高階主管支持和重要利害關係人
- 評估、建立和完善數據治理計畫
- 制定組織的數據治理政策
- 建立角色和職責
- 開發和完善資料流程
- 實施、評估和調整策略
1. 定義數據策略與數據治理目標
數據治理策略可以確定整個組織及其各個業務線的業務目標、確定優先順序並調整業務目標。數據治理涉及往往跨越多個業務目標,因此在制定策略方向時非常重要。
您的數據策略將決定資料需求、衡量標準和 KPI、利害關係人以及所需的資料管理流程、技術優先順序和功能。隨著您的業務和優先順序變化,定期審查和更新數據治理策略也非常重要。
2. 確保高階主管支持和重要利害關係人
確定資料治理計劃的關鍵利害關係人和角色,以及誰需要參與其執行。這應包括員工、經理、IT 員工、資料架構師、業務線所有者以及組織內外的資料保管人。
數據治理計畫的利害關係人範例:
3. 評估、建立和完善數據治理計畫
根據產業標準評估成熟度,查看內部資料管理現況,確定改進領域並專注於重要事項。沒有頭緒嗎?可以參考EDM Council 的 DCAM和CDMC等資料管理框架,他們為根據產業基準評估數據治理的成熟度,提供了一種結構化方法。
4. 制定組織的數據治理政策
制定組織如何治理、管理、保護和使用資料的指導原則,確保其可支持業務目標和遵守法規。
5. 建立角色和職責
定義參與數據治理的人員的角色和職責,以確保有效分工。資料治理的結構可能因組織而異:在大型企業中,資料治理可能有專門的團隊進行監督;而在小型企業中,資料治理可能是現有角色和職責的一部分;某些組織則可能採用混合模式。請記得審慎考慮公司文化、現況甚至未來發展,再進行開發數據治理框架。
6. 開發和完善資料流程
企業可以透過自動化工具、工作流程和技術,實現建立良好的資料流程或資料管線(Data pipline),來確保有效的決策、一致的資料管理和合規性,並且提升數據收集到使用的效率。如此可避免增加組織過多工作負擔、更有效率地實現業務目標。
7. 實施、評估和調整策略
將計畫付諸實行,持續評估目標並根據需要進行調整,以保持相關性並提供最大價值。如果成效不如預期,應即時找出問題癥結、盡快調整策略,或是考慮尋找新的組織內外部資源。