机器学习特征工程之特征构造：构造统计特征

数据决定了模型预测的上限，而算法只是在逼近这个极限而已。这里的数据指的就是经过特征工程所得到的数据。机器学习的核心就是特征构造。好的数据是从原始数据抽取出来对预测结果最有用的信息。好的特征应该做到少而精。特征工程就是指把原始数据转变为模型训练数据的过程。一般认为特征工程包括特征构建、特征提取、特征选择三部分。

特征构造需要一定的经验，特征提取强调通过特征转换得到一组特征，而特征选择是从特征集合中挑选一组特征作为特征子集。两者都能帮助减少数据冗余和特征维度。特征提取有时能发现更有意义的特征属性，特征选择的过程经常能表示出每个特征的重要性对于模型构建的重要性。属性分割和结合是特征构建时常使用的方法。结构性的表格数据，可以尝试组合二个、三个不同的属性构造新的特征。如果存在时间相关属性，可以划出不同的时间窗口，得到同一属性在不同时间下的特征值。总之特征构建是个非常麻烦的问题，书里面也很少提到具体的方法，需要对问题有比较深入的理解。

统计值构造法

概念：指通过统计单个或者多个变量的统计值(max,min,count,mean)等而形成新的特征。

如果某个特征与目标高度相关，那么可以根据具体的情况取这个特征的统计值作为新的特征。
如果特征与特征之间存在交互影响时，那么可以聚合分组两个或多个变量之后，再以统计值构造出新的特征。

# 数据加载

import seaborn as sns
import numpy as np
import pandas as pd
import warnings
from sklearn.preprocessing import LabelEncoder
warnings.filterwarnings('ignore')

df &#