1.1数据清洗的背景
1.1.1 数据质量概述
??数据质量是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。（但在不同的业务场景中，数据消费者对数据质量有各自不同的观点）
??数据质量的显著特点如下：①“业务需求”会随时间变化，数据质量也会随时间反生变化。②数据质量可以借助信息系统量度，但独立于信息系统存在。③数据质量存在于数据的整个生命周期，随着数据的产生而产生，随着数据的消失而消失。
1.1.2?数据质量的评价指标
??数据质量的评价指标主要包括数据的准确性、完整性、简洁性及适用性，其中数据的准确性、完整性和简洁性是为了保证数据的适用性，适用性是评价数据质量的重要标准。建立数据仓库的目的是进行数据挖掘。
1.1.3?数据质量的问题分类
（1）、基于数据源的“脏”数据分类?
??通常，情况下将数据源中不完整、重复以及错误等有问题的数据称为“脏”数据。基于数据源的“脏”数据质量问题可以分为单数据源问题和多数据源问题。
（2）、基于清洗方式的“脏”数据分类
??基于数据源的“脏”数据分类方法需要为每种类型的“脏”数据设计单独的清洗方式。从数据清洗方式的设计者角度看可以将“脏”数据分为“独立型“脏”数据”和“依赖型“脏”数据”。其中，“独立型“脏”数据”包括单数据源和多数据源所有模式层及大多数实例层的数据质量问题；依赖型“脏”数据包括缺失数据和重复数据等“脏”数据。
??常见的数据质量问题主要包括缺失值、重复值以及错误值等问题。
1.2数据清洗的定义
????????数据清洗技术是提高数据质量的有效方法。这项技术是个较新的研究领域，对大数据集的清洗工作需要花费很长的时间。由于不同的应用领域对数据清洗有不同的解释,因此数据清洗直到现在都没有一个公认、统-的定义。?数据清洗主要应用于3个领域，?即数据仓库领域、数据挖掘领域以及数据质量管理领l
1.3数据清洗的原理
1.4数据清洗的基本流程
1.5数据清洗的策略
1.一般的数据清洗策略
（1）手工清洗策略，即通过人工直接修改“脏”数据。
（2）自动清洗策略，即通过编写专门的应用程序检测并修改“脏”数据。
（3）特定应用领域的清洗策略，即根据概率统计学原理检测并修改数值异常的记录。
（4）与特定应用领域无关的清洗策略，即根据相关算法检测并删除重复记录。
2.混合的数据清洗策略
????????混合的数据清洗策略主要以自动清洗为主。在数据仓库的数据初次装载阶段和增量装载阶段，可以通过编写应用程序实现批量数据的自动清洗,但该清洗策略并不能完全涵盖所有的错误类型。若无法按照已有策略识别某些错误类型,修改数据的工作就需要人工监督和确认，这时系统会设定异常报警功能，通过用户自身对错误的识别、理解和确认,最终实现数据清洗。
?
?1.6??常见的数据清洗方式
????????常见的数据质量问题主要包括缺失值、重复值和错误值等问题。
1.??缺失值的清洗
????????缺失值的清洗方式主要是忽略缺失值数据和填充缺失值数据。
2.??重复值的清洗
????????清洗重复值的基本思想是”排序和合并“。主要清洗方法是相似度计算和基于基本近邻排序算法等。
3.??错误值的清洗
????????错误值的清洗方法主要包括使用统计分析的方法识别可能的错误值、使用简单规则库检测错误值、使用不同属性间的约束以及使用外部的数据方法检测和处理错误值。