1. 查找缺失值
df.isnull() # 查看空缺值，可以识别 null / None / Nan
df.isnull().any(axis=0) # 查看每行是否有空缺值
df.isnull().any(axis=1) # 查看每列是否有空缺值
df.isnull().sum() # 统计每行空缺值的个数
df.isnull().sum(axis=1) # 统计每列有空缺值的个数
df.isnull().sum().sum() # 统计整个df的缺失值
df['列名'].isnull().sum(axis=0) # 统计某一列的缺失值
df[df.isnull().values==True] # 查看有缺失值的行，不去重
df[df.isnull().T.any()] # 查看有缺失值的行，去重
对比
2. 删除空缺值
DataFrame.dropna(axis=0, how=‘any’, thresh=None, subset=None, inplace=False)
- axis: 0表示行，1表示列
- how: Determine if row or column is removed from DataFrame, when we have at least one NA or all NA.
- any: 当每行/列有空缺值时删除
- all：当每行/列全为空缺值时删除
- thresh: int, 保留至少 int 个非nan行
- subset: list，在特定列缺失值处理
- inplace: 是否修改原数据
df.dropna(thresh=2)
df.dropna(subset=['Attr_B','sum'])
3. 填充缺失值
- 使用其他类别标签、平均值或中值填充
- 使用最有可能的值填充：使用K近邻法填充
DataFrame.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None)
- value: 填充值
- method: {‘backfill’, ‘bfill’, ‘pad’, ‘ffill’, None}, default None
- backfill/bfill: 用后一个值填充
- pad/ffill: 用前一个值填充
- axis: 0为按行，1为按列
- limit: int, 填充int个空缺值
- downcast:
按值填充
# 全局填充
df.fillna(999)
# 按列填充
df['sum']=df['sum'].fillna(999)
按dataframe里的值填充
# 按空值的下一行填充
df.fillna(method='bfill',axis=0)
# 按空值的上一行填充
df.fillna(method='ffill',axis=0)
# 按空值的后一列填充
df.fillna(method='bfill',axis=1)
# 按空值的前一列填充
df.fillna(method='ffill',axis=1)
sklearn填充缺失值
from sklearn.impute import SimpleImputer
# 取出缺失值所在列的数值，sklearn当中特征矩阵必须是二维才能传入 使用reshape(-1,1)升维
sums=df['sum'].values.reshape(-1,1)
# 按平均值填充
imp_mean = SimpleImputer(missing_values=np.nan, strategy='mean')
imp_mean=imp_mean.fit_transform(sums)
# 填充好的数据传回到 df['sum']列
df['sum']=imp_mean
# 平均值填充
imp_mean = SimpleImputer(missing_values=np.nan, strategy='mean')
# 中值填充
imp_median = SimpleImputer(missing_values=np.nan, strategy='median')
# 众数填充
imp_modes = SimpleImputer(missing_values=np.nan, strategy='most_frequent')
# 常数填充
imp_modes = SimpleImputer(missing_values=np.nan, strategy='constant',fill_value=0)
使用KNN填充缺失值
from sklearn.impute import KNNImputer
sums=df['sum'].values.reshape(-1,1)
imp_knn = KNNImputer(n_neighbors=2)
df['sum']=imp_knn.fit_transform(sums)
参考来源
每天一点sklearn之SimpleImputer（9.19）
【机器学习】sklearn中使用k近邻来完成缺失值的填补(KNNImputer)
数据处理笔记6:缺失值填充
