数据治理是确保数据资产得到有效管理、利用和保护的一系列政策、流程和技术措施的综合。《数据治理:制度体系建设和数据价值提升》明确了数据治理的目标、策略和体系框架,详细阐述了数据治理的组织架构,为读者奠定了坚实的理论基础,为不同规模和组织结构的企业提供了参考。
1.“数据资产管理丛书”面向企事业单位人员和高校师生等广大读者,呈现数据资产价值创造和创新管理的系列专著,汇集中国技术经济学会在数据资产管理领域的全新研究成果,不仅是对当前数据资产领域理论研究和实践经验的系统梳理,更是对未来数字经济发展趋势的前瞻性探索。
2. 数据治理无论是对于以数字经济为主体的企业,还是对于应用数据的社会参与者,都有非常重要的意义。本书涉及数据的整个生命周期,包括数据的采集、存储、处理、分析、共享和销毁,帮助企业构建有效的数据治理体系,提升数据管理能力,从而在数据驱动的商业环境中保持竞争力,为读者提供一个关于数据治理的全面指南。
3. 作者充分发挥中国技术经济学会的组织优势整合相关领域专家和产业网络资源平台,汇聚各相关领域专家智慧,依托其深厚的学术功底和丰富的实践经验,跨越技术和经济双重维度,对数据资产价值创造和管理全链条相关内容进行全面深入剖析。
吴闻汐,中国人民大学硕士研究生毕业。中国技术经济经济学会数据资产管理专业委员会执行秘书长,中兴财光华会计师事务所咨询部总经理兼战略与数字化部主任。曾经承接并主持过金融类中央企业数字化转型项目、建筑类央企的数据资产信息化项目和农业类国有企业战略与数字化咨询项目,在各类媒体发表文章十余篇。
第一章 数据治理概述
第一节 数据治理的概念
第二节 数据治理的目标
第三节 数据治理的策略
第四节 数据治理的体系框架
第二章 数据战略
第一节 决策领先型数据战略
第二节 运营领先型数据战略
第三节 数据变现型数据战略
案例:大数据战略的实践浪潮与思考
第三章 数据组织管理
第一节 数据治理的开展条件
第二节 组织架构搭建原则
第三节 组织架构的搭建
第四节 组织架构的模式
第四章 数据治理制度体系
第一节 数据治理制度体系的概念与特点
第二节 数据治理制度体系的原理
第三节 数据治理制度体系的方式
第四节 数据治理制度体系的实施关键点
第五节 数据治理制度体系的运用场景
第六节 数据治理制度体系的框架
第五章 数据绩效管理
第一节 日常考核
第二节 定期考核
第三节 人工考核
第四节 系统自动考核
第五节 奈飞的数据绩效管理
第六章 数据标准体系
第一节 元数据标准
第二节 主数据标准
第三节 数据模型标准
第四节 数据交换标准
第七章 数据质量体系
第一节 数据质量
第二节 数据质量问题与成因
第三节 数据质量管理
第四节 数据质量评价与改进
第五节 沃尔玛数据质量体系
第八章 数据安全体系
第一节 全国性法律法规
第二节 地方性法规
第三节 数据全生命周期安全
第九章 数据平台工具
第一节 元数据管理工具
第二节 数据质量工具
第三节 数据可视化工具
第四节 数据分析工具
第五节 数据安全工具
第六节 优步的数据平台工具
第十章 华为的数据治理演变和策略
第一节 华为数字化转型演变
第二节 华为数据分类及框架
第三节 结构化的数据管理(以统一语言为核心)
第四节 非结构化数据管理(以特征提取为核心)
第五节 外部数据管理(以确保合规遵从为核心)
第六节 元数据管理(作用于数据价值流)
后记
第一章 数据治理概述
第一节 数据治理的概念
一、数据治理的内涵
数据治理是企业对数据资产管理行使权力和控制的活动集合(包括计划、监督和执行),它是管理企业数据资源的一种方式、方法,旨在确保数据的质量、安全、合规和有效性。数据治理是企业实现数据战略的基础,是一个管理体系,包括组织、制度、流程和工具。
二、数据治理的特点
数据治理是一种组织数据、规范数据、管理数据的过程,旨在确保数据的质量、可靠性、可用性和安全性。数据治理的特点包括综合性与系统性、业务需求导向、持续性与动态性、风险管理与合规性、跨部门合作、标准化与规范化、自动化与智能化七个方面。
第一是综合性与系统性。数据治理涉及数据的收集、存储、处理、分析和共享等各个环节,通过整合数据管理策略、流程和技术,以确保数据的质量、可信度和一致性。数据治理促使组织在数据管理的各个层面之间建立统一的视图和标准,使得数据更容易被理解、访问和使用。第二是业务需求导向。数据治理关注的是如何满足组织的战略目标和业务需求,而不仅仅是技术层面的数据管理。通过对业务流程的全面理解,数据治理能够确定和实施符合组织目标和需求的数据管理策略。第三是持续性与动态性。数据治理是一个持续进行的过程,需要组织建立有效的数据管理机制,包括规范、流程和人员培训,以确保数据始终得到有效管理和维护。同时,数据治理需要与业务和技术环境的变化保持同步,以适应不断变化的业务需求和数据规模。第四是风险管理与合规性。数据治理通过确保数据隐私和保护个人身份信息,减少数据泄露和滥用的风险,还关注合规性要求,例如敏感数据处理、数据保留和数据审计等,以满足法律和监管要求。第五是跨部门合作。数据治理需要各个部门和业务所有者之间的紧密合作。从数据收集到数据利用的整个过程,数据治理需要协调不同部门之间的数据需求和决策。为了确保数据治理与整个组织的数据需求和目标一致,建议在组织内设立数据管理委员会或团队。第六是标准化与规范化。数据治理强调数据的标准化和规范化,包括数据标准管理、数据模型管理、元数据管理、主数据管理、数据质量管理、数据安全管理、数据生命周期管理等内容。数据标准是数据治理的一项基础工作内容,数据模型依赖于数据标准用于指导数据开发工作,而数据质量也依赖于数据标准,需要根据数据标准进行各项数据质量的筛查。元数据是数据治理工作的核心和基础,它描述了数据资产的特征和属性,对于数据的有效管理和使用至关重要。第七是自动化与智能化。随着技术的发展,数据治理将更多地依赖自动化和智能化技术,如机器学习、人工智能和自然语言处理等,以提高数据质量和准确性,降低人工干预的成本和错误率。
第二节 数据治理的目标
《信息技术服务 治理第5 部分:数据治理规范》(GB/T 34960.5 —2018)中将数据治理目标描述为“运营合规、风险可控和价值实现”。在这三个目标的框架之下,结合数据资产的最新定义以及《中共中央 国务院关于构建数据基础制度更好发挥数据要素作用的意见》中的相关内容,将数据资产治理目标细化如下。
一、提升质量目标
数据治理的首要目标是确保数据的质量和准确性。这需要对数据进行标准化、验证和清洗,以确保数据的准确性,从而避免不必要的误解和错误的决策。
数据作为产生业务价值和实现业务目标的基石,其质量已成为企业实现业务目标的一个极其重要的影响因素。数据的质量问题在一定的角度上反映出企业数据治理过程中存在的一些问题,分析数据质量问题可以帮助企业找到问题的源头。高质量的数据对管理决策、业务支撑都有极其重要的作用。企业的数据质量与企业经营业绩之间有着直接的关系。高质量的数据可以保持公司的竞争力,在企业市场竞争时期立于不败之地,而低质量数据往往会导致错误的业务决策。提升数据质量能够为企业提供结构清晰的数据,是企业开发业务系统、提供数据服务、发挥数据价值的必要前提。
1.提升质量目标的内涵
其内涵包括准确性、一致性、完整性、可靠性、及时性五个方面。第一,准确性是指确保数据真实反映实际情况,避免误导性信息和决策。第二, 一致性是指确保同一数据在不同系统或部门间保持一致,减少数据冲突和错误。第三,完整性是指确保数据的完整性,避免因数据缺失而导致的信息不全或决策失误。第四,可靠性是指确保数据在存储、传输和处理过程中的可靠性,防止数据损坏或丢失。第五,及时性是指确保数据能够及时更新和传递,满足业务对数据时效性的要求。
2. 提升质量目标的特点
其特点包括以下三个方面:一是全面性,质量目标涵盖了数据的各个方面,确保数据的整体质量得到提升;二是持续性,质量目标需要持续关注和改进,随着业务的发展和数据量的增长,不断优化数据治理策略;三是协作性,质量目标的实现需要跨部门、跨团队的协作,共同推动数据质量的提升。
3. 提升质量目标的应用场景
其应用场景通常包括以下三个部分:
第一部分,在业务决策中,高质量的数据为业务决策提供了可靠的依据,避免了因数据问题而导致的决策失误。例如,在销售领域中,通过对历史销售数据进行准确、完整、及时的分析,可以预测未来销售趋势,并针对性地开展市场营销活动。
第二部分,在风险管理中,通过提升数据质量,企业可以及时发现和预防潜在的风险。例如,在财务管理中,准确的财务数据可以帮助企业识别财务风险,及时采取措施并加以应对。
第三部分,在客户服务中,高质量的数据有助于企业更好地了解客户需求和行为特点,提供个性化的服务。例如,在零售行业中,通过对客户购买历史、浏览记录等数据的分析,可以为客户提供更加精准的推荐和服务。
二、运营合规目标
组织应依据相关法律法规和行业监管要求,建立数据全生命周期治理体系,保障数据及其应用的合规。尤其应确保数据来源合法合规,建立完善的个人信息确权授权机制。运营合规目标要求组织在数据管理和应用过程中,必须严格依据相关的法律法规和行业监管要求,建立全面的数据全生命周期治理体系。这一治理体系应覆盖数据的采集、存储、处理、共享、销毁等各个环节,确保数据在其生命周期的每一阶段都能得到妥善管理和合规使用。
为了实现运营合规,组织需要特别关注数据的来源是否合法合规。这意味着,组织在获取数据时必须遵守相关法律规定,确保数据来源的合法性和正当性。同时,对于涉及个人信息的数据,组织还需要建立完善的个人信息确权授权机制,确保个人信息的收集、使用、存储、传输等行为都经过信息主体的明确同意,并遵守相关隐私保护法规。
此外,运营合规还要求组织建立符合法律、规范和行业准则的数据合规管理体系。这一体系应包括数据分类分级、数据安全、数据质量、数据标准、数据生命周期管理等多个方面,以确保数据在管理和应用过程中的合规性。同时,组织还需要通过评价评估、数据审计和优化改进等流程,不断监控和提升数据管理的合规水平。
1. 运营合规目标的内涵
其内涵包括遵守法律法规、符合行业规范、制定内部规章制度三个方面。第一,遵守法律法规。组织需要严格遵守国家及地方政府制定的与数据相关的法律法规,如《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等,确保数据处理活动的合法性。第二,符合行业规范。根据所处行业的特定要求,遵循相关的行业规范和标准,如金融行业的数据安全标准、医疗行业的患者隐私保护规定等。第三,制定内部规章制度。建立健全内部数据管理制度和流程,确保员工在数据收集、存储、处理、传输和披露等环节遵循统一的标准和程序。
2. 运营合规目标的特点
其特点包括以下三个方面。第一,强制性。运营合规目标是基于法律法规和行业规范的要求而设立的,具有强制性,组织必须严格遵守,否则可能面临法律制裁和业务中断的风险。第二,动态性。随着法律法规和行业规范的不断更新和完善,运营合规目标也需要相应地进行调整和优化,以适应新的监管要求。第三,全员参与。运营合规目标的实现需要全体员工的共同努力和配合。组织需要加强对员工的合规培训和教育,增强员工的合规意识和能力。
3. 运营合规目标的应用场景
在金融领域,运营合规目标尤为重要。金融机构需要严格遵守反洗钱、客户身份识别、数据跨境传输等法律法规,确保金融交易的合法性和安全性。在医疗行业,运营合规目标主要体现在患者隐私保护方面。医疗机构需要建立健全患者信息管理制度,确保患者个人信息的安全和隐私不受侵犯。在电商领域,运营合规目标涉及消费者权益保护、虚假宣传、不正当竞争等多个方面。电商平台需要加强对商家行为的监管,确保交易活动的公平、公正和透明。
三、风险可控目标
统筹发展和安全,贯彻总体国家安全观,把安全贯穿数据资产治理全过程。通过采取必要措施,确保数据资产处于有效保护和合法利用的状态,以及具备保障持续安全状态的能力。
建立数据安全管理机制,明确数据安全的责任主体、管理流程和应急措施,确保数据安全管理的规范化和制度化。根据数据的敏感程度和重要性,对数据进行分类分级管理,对不同级别的数据采取不同的保护措施,确保敏感数据得到更加严格的安全保障。采用先进的数据加密技术,对敏感数据进行加密存储和传输,同时建立严格的访问控制机制,限制对数据的非法访问和操作。定期对数据治理过程进行安全审计和风险评估,及时发现和纠正潜在的安全隐患和风险点,确保数据资产的安全可控。建立数据备份和恢复机制,确保在数据丢失或损坏时能够迅速恢复数据,保障业务的连续性和稳定性。加强员工安全意识培训,定期对员工进行数据安全意识和技能培训,提高员工对数据安全的认识和重视程度,减少因人为因素导致的数据安全风险。
1. 风险可控目标的内涵
其内涵包括风险评估与识别、风险应对策略、风险监控与报告三个方面。
在风险评估与识别方面,首先,需要对数据管理和使用过程中的潜在风险进行全面评估和识别。这包括对内部威胁(如员工误操作、内部欺诈)和外部威胁(如黑客攻击、数据泄露)的识别,以及对合规性风险(如违反法律法规、行业规范)的评估。
在风险应对策略方面,基于风险评估的结果,制定相应的风险应对策略。这可能包括加强数据加密、实施访问控制、定期备份和恢复数据、建立安全审计机制等,以降低风险发生的概率和影响。
在风险监控与报告方面,建立风险监控体系,持续跟踪和监控数据管理和使用过程中的风险情况。同时,定期向管理层报告风险状况,以便及时采取应对措施。
2. 风险可控目标的特点
其特点包括预防性、系统性、持续性三个部分。第一,预防性。风险可控目标强调预防为主,通过提前识别和评估潜在风险,制定应对策略,防止风险事件的发生。第二,系统性。风险可控目标的实现需要系统性的方法和流程,包括风险评估、应对策略制定、监控和报告等多个环节。第三,持续性。随着业务的发展和外部环境的变化,数据治理中的风险也在不断变化。对风险可控目标需要持续关注和调整,以适应新的风险挑战。
3. 风险可控目标的应用场景
在金融行业,风险可控目标尤为重要。金融机构需要确保客户数据的安全性,防止数据泄露和滥用。同时,金融机构还需要关注市场风险、信用风险等,以确保业务的稳健运营。在医疗健康领域,风险可控目标主要涉及患者隐私保护和医疗数据安全。医疗机构需要确保患者数据不被非法访问或泄露,同时保护医疗数据的完整性和准确性,以支持临床决策和医学研究。在零售与电商行业,风险可控目标涉及消费者隐私保护、支付安全、商品质量等多个方面。电商平台需要确保用户数据的安全性和隐私性,同时防止虚假交易和欺诈行为的发生。
四、隐私安全目标
数据治理需要确保数据的隐私和安全。这需要对敏感数据进行保护,并采取适当的安全措施,以避免数据被未经授权的人员访问或泄露。优化数据的访问和共享,制定适当的访问和共享政策,并运用相应的数据管理工具,以确保数据的可靠性和安全性。
企业数据安全体系建设是数据治理和信息生命周期管理的基础,通过对企业内部的数据全生命周期的盘点梳理,可以帮助确定企业数据所有权的适当分配及建立完善的权责制度,满足监管及合规要求。在企业数据治理过程中,数据安全能力的提高成为数据价值共享的关键,推动数据安全体系建设是企业数据治理的必要环节。企业根据数据资产对企业的重要程度,为数据打上不同的标签,对敏感数据进行分级分类,根据数据所属的级别,明确数据的使用范围、开放方式,不同等级的数据在不同场景使用不同的安全策略。企业可以采取数据泄露防护、加密、权限管理等技术手段,对企业机密数据提供进一步的保护,从而降低数据泄露带来的风险。
1. 隐私安全目标的内涵
隐私安全目标主要涵盖以下三个方面。第一,数据收集与处理。在数据收集和处理过程中,确保遵循最小必要原则,即只收集完成特定任务所必需的最少数据,并对数据进行脱敏或匿名化处理,以降低隐私泄露的风险。第二,数据存储与传输。采用加密技术存储和传输数据,确保数据在存储和传输过程中的安全性。同时,建立严格的数据访问控制机制,防止未经授权的访问和泄露。第三,数据共享与披露。在数据共享和披露前,进行严格的隐私影响评估,并确保遵循相关法律法规和行业标准。在数据共享与披露过程中,应采取适当的技术和管理措施,保护数据隐私。
2. 隐私安全目标的特点
隐私安全目标主要涵盖法律合规性、技术防护性、管理规范性三个方面。第一,法律合规性。隐私安全目标强调遵循相关法律法规和行业标准,如《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等,确保数据处理的合法性和合规性。第二,技术防护性。采用加密、访问控制、数据脱敏等先进技术手段,提高数据隐私保护的技术防护水平。第三,管理规范性。建立健全的数据隐私管理制度和流程,明确各环节的职责和权限,确保数据隐私保护工作的有序开展。
3. 隐私安全目标的应用场景
隐私安全目标在多个应用场景中发挥着重要作用。
在金融行业中,隐私安全目标涉及客户身份信息、交易记录等敏感数据的保护。金融机构需要确保这些数据不被非法获取或滥用,以维护客户的合法权益和金融机构的声誉。
在医疗健康领域,隐私安全目标主要涉及患者病历、检查结果等个人健康信息的保护。医疗机构需要确保这些信息不被泄露或滥用,以保护患者的隐私权和健康权益。
在社交媒体平台上,用户的个人信息、社交关系等数据是隐私安全保护的重点。社交媒体平台需要采取有效措施,防止用户数据被非法获取或滥用,以维护用户的隐私权和信任度。
五、价值实现目标
数据治理价值实现目标包括构建数据价值实现体系、提高数据的价值和利用率、促进数据资产化和实现数据价值。这需要对数据进行分析和挖掘,以发现数据中隐藏的价值和机会,从而支持业务决策和创新。数据治理还需要增强数据管理效率和效益。这需要优化数据管理流程和工具,并利用技术手段提高数据管理的自动化程度,从而提高数据管理的效率和效益。
数据治理的主要目标之一是推动数据有序、安全地流动,以便最大限度地挖掘和释放数据价值。数据流动则需要推动数据的开放分享,实现数据的汇聚、建模、共享。数据开放共享的核心在于数据汇聚,打破数据孤岛,实现数据价值的流通;重构数据获取及应用方式,重塑从数据供应到消费的链条;建立高效、规范的自助消费数据应用。数据治理可有效促进数据应用及数据共享,使更多的企业组织充分地使用已有数据资源,减少信息收集、数据采集等重复劳动和相应费用,而把精力重点放在开发新的数据应用及系统集成上。数据应用及共享可以为企业组织带来降低运营成本、增强业务能力、提高效率、集中访问数据以减少重复数据集、促进组织间的沟通与合作,以及加强参与组织之间的联系等益处。
1. 价值实现目标的内涵
价值实现目标主要涵盖以下四个方面。第一,数据质量提升。通过数据治理,提高数据的准确性、完整性、一致性和可用性,确保数据能够真实反映业务实际情况,为决策提供可靠依据。第二,数据价值挖掘。运用数据分析、挖掘等技术手段,从海量数据中提取有价值的信息和知识,为业务创新、产品优化、市场洞察等提供有力支持。第三,业务价值创造。通过数据治理,实现数据的跨部门、跨业务线共享和协同,促进业务流程优化、决策效率提升和成本降低,从而创造更多的业务价值。第四,社会价值提升。在遵守法律法规和伦理道德的前提下,通过数据治理推动数据公开、共享和开放,促进数据资源的合理利用和社会价值的提升。
2. 价值实现目标的特点
其特点包括长期性、系统性、创新性三个方面。第一,长期性。价值实现目标是一个长期的过程,需要组织持续投入资源和精力进行数据治理工作,逐步积累数据资产并实现其价值。第二,系统性。价值实现目标需要组织从战略高度出发,将数据治理纳入整体业务规划和管理体系中,通过系统性的措施和手段实现数据价值的最大化。第三,创新性。价值实现目标鼓励组织在数据治理过程中不断探索和创新,运用新技术、新方法提高数据治理的效率和效果,为业务创新和发展提供有力支持。
3. 价值实现目标的应用场景
价值实现目标在多个应用场景中发挥着重要作用。
在金融行业,价值实现目标涉及利用数据分析技术提升风险管理能力、优化信贷审批流程、提升客户服务体验等方面。通过数据治理,金融机构能够更好地把握市场趋势和客户需求,实现业务的精细化管理和创新发展。
在零售行业,价值实现目标主要体现在通过数据分析优化库存管理、提升供应链效率、个性化推荐等方面。通过数据治理,零售企业能够更准确地把握市场需求和客户偏好,提升销售效率和客户满意度。
在医疗健康领域,价值实现目标涉及利用数据分析提升医疗服务质量、优化医疗资源配置、推动医疗创新等方面。通过数据治理,医疗机构能够更好地整合和管理医疗数据资源,为患者提供更精准、高效的医疗服务。