[人工智能]机器学习中的数据准备

数据准备是机器学习流程中一个重要的前置步骤，分为：数据质量校验、数据分布与趋势探查、数据清洗和数据合并等

数据质量校验

数据质量校验的主要任务是检查原始数据中是否存在噪声数据，常见的噪声数据包括不一致的值、缺失值和异常值

• 一致性校验
  • 时间校验
    • 时间范围不一致
    • 时间粒度不一致
    • 时间格式不一致
    • 时区不一致
  • 字段信息校验
    • 同名异义
    • 异名同义
    • 单位不一致
• 缺失值校验
• 异常值校验
  • 四分位距（IQR）准则
  • 3σ原则

数据分布与趋势探查

分布分析

• 定量数据
• 定性数据

对比分析

• 对比分析的形式
• 对比分析的标准

描述性统计分析

周期性分析

贡献度分析

相关性分析

数据清洗

缺失值处理

异常值处理

数据合并

数据堆叠

主键合并

------------------------------未完待续-------------------------------