数据质量管理(57页).ppt

1、数据质量管理解决方案,目录,数据质量管理概述数据质量问题解决之道数据质量管理产品简介产品实施案例及场景分享,数据质量管理概述数据质量问题域,全领域的导致数据质量问题的原因识别,数据质量问题,信息问题域,技术问题域,管理问题域,流程问题域,唯一性,一致性,完整性,度量,合法性,准确性,业务系统数据变化周期,变化频度,实体数据刷新周期,技术元数据,业务元数据,元数据,数据创建延迟,默认值使用不当,数据校验规则不当,数据创建,取数时点不同步,数据源不当,接口数据获取过程中失真,数据获取,展示方式,展示工具,展示周期,数据使用,维护验证机制,数据存储能力,数据备份恢复,数据维护,人为调整数据,及时性,

2、数据传递,网络传输过程不可靠,传输技术,文件传输方式出错,数据清洗算法,数据装载,数据加载算法,数据转换算法,调度机制,硬件平台,平台孤岛,软件平台,安全管理,错误数据维护流程,数据测试流程,变更维护流程,数据维护,人为调整数据流程,数据使用,数据创建,数据转换流程,数据加载流程,调度流程,数据装载,数据清洗流程,稽核流程,稽核传递,奖惩制度执行,奖惩制度,反馈机制,激励,反馈渠道,培训资金,培训内容,培训计划,培训,培训制度,目标,工作优先级,责任人,管理,责任心,培训时间,优先级高,优先级中,优先级低,数据质量管理概述数据质量度量规则,完整性,唯一性,一致性,精确性,合法性,及时性,主要包

3、括实体不缺失、属性不缺失、记录不缺失和字段值不缺失四个方面,指主键唯一和候选键唯一两个方面,指统一数据来源、统一存储和统一数据口径,指计量误差、度量单位等方面的精确程度,主要包括格式、类型和业务规则的有效性,指数据刷新、修改和提取等操作的及时性和快速性,阶段1初始级,每个系统都是分离的数据管理非标准的独立的数据管理,企业集成数据管理标准化元数据管理,阶段2定义级,阶段3管理级,阶段4优化级,通过数据库进行数据管理,通过模型管理进行数据管理,通过元数据进行数据管理,通过企业标准数据架构进行数据管理,数据质量管理产品简介数据质量成熟度模型,目录,数据质量管理概述数据质量问题解决之道数据质量管理产品

4、简介产品实施案例及场景分享,数据质量管理策略数据质量管理方法论数据质量管理关键点,数据质量问题解决之道,管理策略,质量检核运行,质量问题报警,质量问题分析,问题管理流程,数据质量指标,数据质量,数据质量管理概述数据质量管理策略,1.定义业务需求和方法,2.分析信息环境,3.评估数据质量,5.识别根本原因,6.制定提升方案,7.预防未来数据错误,10.沟通行动和结果,4.评估业务影响,8.发现及纠正当前数据错误,9.实施监督控制,评估,认知,行动,数据质量提升周期,10步流程,数据质量管理方法论,数据质量管理关键点,制定规范的数据质量度量标准建立有效的数据质量监管体系建立完善的数据质量管理制度高

5、质量的数据来源于数据标准、数据分析、检验以及管理制度的综合作用,11,场景分析：唯一性校验,存在问题某ODS系统中，对私客户主题中的客户信息不允许重复，客户身份证号字段可以作为客户唯一的标识，为了保证系统中客户信息的正确，需要对系统中客户基本信息表增加唯一性校验。解决方案数据质量管理系统中提供了规范的唯一性校验规则来检核系统中数据唯一性问题，通过对系统中某个表中的一个或者多个联合字段进行唯一检查，得到该表中不唯一记录的数量及记录显示字段明细。,场景分析：一致性校验,存在问题某ODS系统中，发现ETL过程后对公活期表在ODM层与FDM层的记录数不一致，为保证系统ETL过程运行正确，需要对系统中对

6、公活期表数据由ODM层至FDM层过程增加一致性校验。解决方案数据质量管理系统中提供了规范的一致性校验规则来检核系统中ETL过程中数据记录数不一致的问题。通过对系统ODM层及FDM层对公活期表主键增加一致性COUNT校验规则，得到ODM层与FDM层不一致记录数。,场景分析：主外键校验,存在问题某ODS系统中，对公客户财务信息表中存在出资币种、注册资本币别等币种描述信息，其信息来自系统中的币种代码表。为了保证系统中对应关系的正确，需要对系统中对公客户财务信息表与币种代码表关联关系进行主外键校验。解决方案数据质量管理系统中提供了规范的主外键校验规则来检核系统中数据关联关系不对应的问题。通过对系统中主表定义主外键校验规则并关联对应外键字段的附表及字段，得到系统关系中不对应的问题数量及主表中的问题记录显示字段明细。,场景分析：拉链表交叉链、断链校验,存在问题某ODS系统中，为保证拉链表数据结构正确，需要对表增加拉链表交叉链和断链校验。解决方案为进行系统中拉链表交叉链、断链检验，数据质量系统提供自定义校验规则进行检测，通对表定义自定义查询语句，得到存在交叉链、断链的记录数。,产品实施案例及场景分享