什么是质量

关于质量是有个一个标准定义的：一组固有特性满足明示的、通常隐含的或必须履行的需求或期望（要求）的程度。这里面包含了两层意思，一个是说质量其实是一组特性，另一个是说质量需要满足需求或期望。所以如果从数据分析的角度来说数据质量，就是看当前数据的特性能否满足我们做数据分析或挖掘这个需求。

质量问题的来源

数据问题的来源可能产生于从数据源头到数据存储介质的各个环节。在数据采集阶段，数据的真实性、准确性、完整性、时效性都会影响数据质量。除此之外，数据的加工、存储过程都有可能涉及对原始数据的修改，从而引发数据的质量问题。所以，技术、流程、管理等多方面的因素都有可能会影响到数据质量。

在企业中，随着企业业务的增长，数据也是一个增量积累的过程。随着数据类型、数据来源的不断丰富以及数据数量的快速增长，企业在数据管理工作和数据流程中面临越来越多的数据质量问题。而且数据质量的管理并没有被企业重视起来，其根本原因还是ROI并没有那么明显。

数据质量管理相对来说成本比较高。因为它涉及到企业数据标准的制定、规范的落地、生命周期的管理等多个环节。从收益上来说，数据质量的效益和结果并不是十分明显，大部分企业不会把数据质量作为KPI。在企业的不同系统中，业务领域的关键指标不一致，数据无法共享导致出现数据孤岛，大量数据无法关联，并且有明显的数据冗余等问题，还有数据的维护需要投入大量的人员、时间、软硬件成本。所以数据的质量管理往往被会边缘化甚至趋向于无。

接下来我们盘点下企业一般都会遇到哪些数据质量问题：

数据真实性：数据必须真实准确的反映客观的实体存在或真实的业务，真实可靠的原始统计数据是企业统计工作的灵魂，是一切管理工作的基础，是经营者进行正确经营决策必不可少的第一手资料。

数据准确性：准确性也叫可靠性，是用于分析和识别哪些是不准确的或无效的数据，不可靠的数据可能会导致严重的问题，会造成有缺陷的方法和糟糕的决策。

数据唯一性：用于识别和度量重复数据、冗余数据。重复数据是导致业务无法协同、流程无法追溯的重要因素，也是数据治理需要解决的最基本的数据问题。

数据完整性：数据完整性问题包括：模型设计不完整，例如：唯一性约束不完整、参照不完整；数据条目不完整，例如：数据记录丢失或不可用；数据属性不完整，例如：数据属性空值。不完整的数据所能借鉴的价值就会大大降低，也是数据质量问题最为基础和常见的一类问题。

数据一致性：多源数据的数据模型不一致，例如：命名不一致、数据结构不一致、约束规则不一致。数据实体不一致，例如：数据编码不一致、命名及含义不一致、分类层次不一致、生命周期不一致……。相同的数据有多个副本的情况下的数据不一致、数据内容冲突的问题。

数据关联性：数据关联性问题是指存在数据关联的数据关系缺失或错误，例如：函数关系、相关系数、主外键关系、索引关系等。存在数据关联性问题，会直接影响数据分析的结果，进而影响管理决策。

数据及时性：数据的及时性(In-time)是指能否在需要的时候获到数据，数据的及时性与企业的数据处理速度及效率有直接的关系，是影响业务处理和管理效率的关键指标。

数据质量评估

那么我们如何对一份数据进行质量评估呢？这是一个比较难以回答的问题。因为数据质量本身有这么几个问题。首先是数据质量定义不一致，人们对数据质量的理解并没有一个参考标准或者标准的定义，所以人们理解的数据质量就会呈现出多样性，而无论是数据评估体系还是数据质量控制体系，都离不开关于数据质量的清晰定义。其次，没有权威性的数据质量标准模型或参考模型。再者，没有系统化的数据质量评估指标，也没有对数据质量评估的指标形成一个量化的标准。所以现在多数对于数据质量的研究都是针对特定领域或特定问题的研究，并不具有普适性，很难推广成为标准化的体系或模型。

提高数据质量的方法

要想真正解决数据质量问题，明确业务需求并从需求开始控制数据质量，并建立数据质量管理机制。从业务出发做问题定义，由工具自动、及时发现问题，明确问题责任人，通过邮件、短信等方式进行通知，保证问题及时通知到责任人。跟踪问题整改进度，保证数据质量问题全过程的管理。

正所谓，工欲善其事，必先利其器。亿信华辰睿治数据治理平台的数据质量管理模块以全面质量管理PDCA循环管理方法为指导，充分结合国内数据质量管理工作的特点，运用元数据管理、数据挖掘、数据分析、工作流、评分卡、可视化等技术最终帮助企业和政府建立数据质量管理体系，全面提升数据的完整性、规范性、及时性、一致性、逻辑性等，降低数据管理成本，减少因数据不可靠导致的决策偏差和损失。

1、构建数据质量规则库

定义数据验证方法，内嵌空值检查、值域检查等13种检查规则，基本覆盖目前数据质量相关问题。

2、发现数据质量问题

灵活定义多模型质检方案，多点监测、多模型质检方案，高效调度，并发和串行处理相结合，性能高效，只需2分30秒，便可完成20条规则百万级数据的质量检查。

3、出具全面的“体检报告”

内置常规质检分析报告，实时可视化呈现质检结果，质检结果模型灵活扩展，充分利用了BI工具的分析展现能力，提供图文并茂的质量检查结果报告。

4、数据质量全流程管理

提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能，不仅能发现问题、还能将问题分发给数据负责人、管理者，在线跟踪问题处理进展。