品质数据管理中心数据质量管理 _品质数据管理中心

数据质量管理（品质数据管理中心）
是企业数字化转型的核心要素，大数据建设的目标是为了融合组织数据，增加组织的洞察力和竞争力，实现业务创新和产业升级。而数据能发挥价值的大小依赖于其数据的质量高低。

如果没有良好的数据质量，大数据将会对决策产生误导，甚至产生有害的结果，比如：
在金融企业中，因数据质量问题导致的信用卡欺诈失察在2008年即造成48亿美元的损失；
在商业上，美国零售业每年仅因标价错误就损失25亿美元；
在经济损失上，数据错误每年对美国工业界造成的经济损失约占GDP的6%；
在医疗事故上，美国医疗委员会统计表明，由于数据错误引起的医疗事故仅在美国每年就导致高达98000名患者丧生；
在电信产业上，数据错误经常导致故障排除的延误、多余设备租用和服务费收取错误，损害了企业信誉甚至会因此失去很多用户；
在数仓建设上，50%的数据仓库因数据质量而被取消或延迟……
提高数据质量是为了巩固大数据建设成果，因此，高质量的数据是企业业务能力的基础。今天小亿就来为大家说说什么是数据质量管理？数据质量问题产生的原因是什么？以及我们该如何做好数据质量管理？
一、什么是数据质量管理？
1.数据质量
数据质量在业务环境下，数据符合数据消费者的使用目的，数据质量需要满足业务场景具体的需求。数据质量包含两个方面：数据自身的质量和数据的过程质量。
数据自身的质量很好理解，比如数据必须真实准确地反映实际发生的业务，任何业务操作的数据都没有被遗漏，数据存在各种约束条件，这种约束条件不能自相矛盾等等。
数据的过程质量就是数据的使用过程符合标准规范，比如数据存储：数据是否被安全的存储到了合适的介质上，能够保证数据不受外来因素的破坏。当然数据存储只是数据使用过程的一个环节，除此之外还包括获取、传输、应用和删除等一系列的使用过程，这其实也是数据生命周期的各个阶段。
2.数据质量管理
数据质量管理指对数据在每个阶段里可能引发的各类数据质量问题进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平确保数据质量的提升。
换句话说，数据质量管理是一个集方法论、管理、技术和业务为一体的解决方案，不是一时的数据治理方法，是一个不断循环的管理过程。一方面反映出企业数据很难一次性就达到使用的标准规范，毕竟数据治理是一个相对漫长的过程；另一方面也反映出数据质量的重要性以及数据质量工作的零散性和琐碎性。
3.数据质量评估
至于如何去评估数据质量管理的过程的好坏，我们可以从以下五个维度来进行数据质量评估：

（1）完整性：描述信息的完整程度，如电话号码是否有空值；
（2）准确性：描述数据和客观实体的特征是否相一致，如数据库中记录的电话和实际电话不一致；
（3）有效性：数据是否满足用户定义条件、内容规范约束等，如年龄为-32岁，违反常理；
（4）一致性：描述同一个信息主体在不同数据集中的属性是否相同，如岗位名称在CRM系统中和人力系统中不一致；
（5）及时性：描述从业务发生到相关数据能够被使用的及时程度，如实时查看用户行为相关数据。
五个维度共同构成了数据质量评估的基本框架，每个维度都可以通过设置评估问卷随机抽取一些问题然后收集相应的数据；注意收集数据的时候可以采用不同的方式，访谈、发放链接、随机抽检等等。