|
Numpy学习
数据的处理
import pandas as pd
import numpy as np
data = pd.read_csv("/Users/currystephen/Desktop/数据挖掘/Python数据分析与挖掘实战（第2版）/chapter7/demo/data/air_data.csv")
#判断是否存在缺失值
data_isnull = pd.isnull(data) #对每个数值进行判断 ，出现False代表有值
data_any = np.any(pd.isnull(data)) #全数据判断：有一个True，返回True 说明有缺失值
print(data_any)
#等同于pd.notnull(data) np.all(pd.notnull(data)) 返回False说明有缺失值
#只用pandas
data_pd = pd.isnull(data).any() #判断每一列是否存在缺失值 False说明没有缺失值 True反之
print(data_pd)
#同理等于= pd.notnull(data).all() #False说明有缺失值 与上面相反
#缺失值处理
#1.删除缺失值
data1 = data.dropna() #删除含有NA值的一整行数据 默认dropna(inplace=False) Flase不会修改原数据 True会修改原数据
data_pd1 = pd.isnull(data1).any() #将返回全False 表示data1没有缺失值
#2.替换缺失值 12行判断出 GENDER 、WORK_CITY 、WORK_CITY 、WORK_COUNTRY 、AGE 、SUM_YR_1 、SUM_YR_2 中含有缺失值
a = data["AGE"].fillna(data["AGE"].mean(),inplace=True)
data_pd = pd.isnull(data['AGE']).any() #判断是否有缺失值
print(data["WORK_CITY"])
#其他异常值处理
data_new = data.replace(to_replace=".",value=np.nan) #将其他异常值替换成空值NaN
print(data_new["WORK_CITY"])
#然后在对空值进行处理 与上面一样
data1 = data_new.dropna(inplace=True)
print(data_new["WORK_CITY"])
#实现数据离散化
sr = pd.qcut(data["AGE"],4) #对数据中"AGE"一列数值进行自动分组 分4组
counts = sr.value_counts() #对四组分组各个多少个计数
print(counts)
print(sr)
#转化城one_hot
one_hot = pd.get_dummies(sr,prefix="年龄")
print(one_hot)
#自定义分组
bins = [6,35,41,48,110]
cut = pd.cut(data["AGE"],bins)
one_hot1 = pd.get_dummies(cut,prefix="年龄")
print(cut)
print(one_hot1)
|