[Python知识库]第二章：第一节数据清洗及特征处理-作业

【回顾&引言】前面一章的内容大家可以感觉到我们主要是对基础知识做一个梳理，让大家了解数据分析的一些操作，主要做了数据的各个角度的观察。那么在这里，我们主要是做数据分析的流程性学习，主要是包括了数据清洗以及数据的特征处理，数据重构以及数据可视化。这些内容是为数据分析最后的建模和模型评价做一个铺垫。

开始之前，导入numpy、pandas包和数据

#加载所需的库
import numpy as np
import pandas as pd

#加载数据train.csv
df = pd.read_csv(r"C:\Users\Administrator\Desktop\hands-on-data-analysis-master\hands-on-data-analysis-master\第二章项目集合\train.csv")

df.head()

2 第二章：数据清洗及特征处理

我们拿到的数据通常是不干净的，所谓的不干净，就是数据中有缺失值，有一些异常点等，需要经过一定的处理才能继续做后面的分析或建模，所以拿到数据的第一步是进行数据清洗，本章我们将学习缺失值、重复值、字符串和数据转换等操作，将数据清洗成可以分析或建模的亚子。

2.1 缺失值观察与处理

我们拿到的数据经常会有很多缺失值，比如我们可以看到Cabin列存在NaN，那其他列还有没有缺失值，这些缺失值要怎么处理呢

2.1.1 任务一：缺失值观察

(1) 请查看每个特征缺失值个数
(2) 请查看Age， Cabin， Embarked列的数据
以上方式都有多种方式，所以大家多多益善

#写入代码
df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 891 entries, 0 to 890
Data columns (total 12 columns):
 #   Column       Non-Null Count  Dtype  
---  ------       --------------  -----  
 0   PassengerId  891 non-null    int64  
 1   Survived     891 non-null    int64  
 2   Pclass       891 non-null    int64  
 3   Name         891 non-null    object 
 4   Sex          891 non-null    object 
 5   Age          714 non-null    float64
 6   SibSp        891 non-null    int64  
 7   Parch        891 non-null    int64  
 8   Ticket       891 non-null    object 
 9   Fare         891 non-null    float64
 10  Cabin        204 non-null    object 
 11  Embarked     889 non-null    object 
dtypes: float64(2), int64(5), object(5)
memory usage: 83.7+ KB

#写入代码
df[df["Age"] == None] = 0
# df.head()
df

891 rows × 12 columns

#写入代码
df[df["Age"].isnull()] = 0
df

891 rows × 12 columns

df[df["Age"] == np.nan] = 0
df

891 rows × 12 columns

2.1.2 任务二：对缺失值进行处理

(1)处理缺失值一般有几种思路

(2) 请尝试对Age列的数据的缺失值进行处理

(3) 请尝试使用不同的方法直接对整张表的缺失值进行处理

#处理缺失值的一般思路：
#提醒：可使用的函数有--->dropna函数与fillna函数
df["Age"].dropna(inplace = True)#将 DataFrame 与同一变量中的有效条目保持一致
df

891 rows × 12 columns

#写入代码
df["Age"].fillna(0)#用 0 替换所有 NaN 元素。

0      22.0
1      38.0
2      26.0
3      35.0
4      35.0
       ... 
886    27.0
887    19.0
888     0.0
889    26.0
890    32.0
Name: Age, Length: 891, dtype: float64

#写入代码
df.fillna(0)

891 rows × 12 columns

#写入代码
df.dropna()

360 rows × 12 columns

【思考1】dropna和fillna有哪些参数，分别如何使用呢?

【思考】检索空缺值用np.nan,None以及.isnull()哪个更好，这是为什么？如果其中某个方式无法找到缺失值，原因又是为什么？

#思考回答

【参考】https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.dropna.html

【参考】https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.fillna.html

2.2 重复值观察与处理

由于这样那样的原因，数据中会不会存在重复值呢，如果存在要怎样处理呢

2.2.1 任务一：请查看数据中的重复值

#写入代码
df[df.duplicated()]#查看重复值
df

891 rows × 12 columns

2.2.2 任务二：对重复值进行处理

(1)重复值有哪些处理方式呢？

(2)处理我们数据的重复值

方法多多益善

#重复值有哪些处理方式：
df = df.drop_duplicates()#删除重复项
df

891 rows × 12 columns

2.2.3 任务三：将前面清洗的数据保存为csv格式

#写入代码
df.to_csv("train_clear.csv")

2.3 特征观察与处理

我们对特征进行一下观察，可以把特征大概分为两大类：
数值型特征：Survived ，Pclass， Age ，SibSp， Parch， Fare，其中Survived， Pclass为离散型数值特征，Age，SibSp， Parch， Fare为连续型数值特征
文本型特征：Name， Sex， Cabin，Embarked， Ticket，其中Sex， Cabin， Embarked， Ticket为类别型文本特征，数值型特征一般可以直接用于模型的训练，但有时候为了模型的稳定性及鲁棒性会对连续变量进行离散化。文本型特征往往需要转换成数值型特征才能用于建模分析。

2.3.1 任务一：对年龄进行分箱（离散化）处理

(1) 分箱操作是什么？

(2) 将连续变量Age平均分箱成5个年龄段，并分别用类别变量12345表示

(3) 将连续变量Age划分为[0,5) [5,15) [15,30) [30,50) [50,80)五个年龄段，并分别用类别变量12345表示

(4) 将连续变量Age按10% 30% 50% 70% 90%五个年龄段，并用分类变量12345表示

(5) 将上面的获得的数据分别进行保存，保存为csv格式

#分箱操作是什么：

#写入代码 
#将连续变量Age平均分箱成5个年龄段，并分别用类别变量12345表示
df["Ageband"] = pd.cut(df["Age"],5,labels=[1,2,3,4,5])

df.head()

#写入代码
df.to_csv("train_avg.csv")

#写入代码
#将连续变量Age划分为(0,5] (5,15] (15,30] (30,50] (50,80]五个年龄段，并分别用类别变量12345表示
df["AgeBand"] = pd.cut(df["Age"],[0,5,15,30,50,80],labels=[1,2,3,4,5])
df

891 rows × 13 columns

df["Ageaand"] = pd.cut(df["Age"],5,labels = [1,2,3,4,5])
df

891 rows × 14 columns

df['Farebands'] = pd.cut(df['Fare'],5,labels = [1,2,3,4,5])
df

891 rows × 15 columns

【参考】https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.cut.html

【参考】https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.qcut.html

2.3.2 任务二：对文本变量进行转换

(1) 查看文本变量名及种类
(2) 将文本变量Sex， Cabin ，Embarked用数值变量12345表示
(3) 将文本变量Sex， Cabin， Embarked用one-hot编码表示

#写入代码
#(1) 查看文本变量名及种类
df['Sex'].value_counts()

male      577
female    314
Name: Sex, dtype: int64

#写入代码

df['Cabin'].value_counts()

B96 B98        4
C23 C25 C27    4
G6             4
C22 C26        3
E101           3
              ..
E12            1
F G63          1
D49            1
C87            1
A16            1
Name: Cabin, Length: 147, dtype: int64

#写入代码
df["Embarked"].value_counts()

S    644
C    168
Q     77
Name: Embarked, dtype: int64

df["Sex"].unique() #去重 并查看去重后元素种类

array(['male', 'female'], dtype=object)

df['Sex'].nunique()#去重 显示去重后元素个数

2

#(2) 将文本变量Sex， Cabin ，Embarked用数值变量12345表示

#replace 旧字符串赋值为新字符串
df['Sex_num'] = df["Sex"].replace(["male","female"],[1,2])

df

891 rows × 16 columns

#map 指定旧字符串 赋值给指定新字符串，用字典形式传入  注意  map()
df["Sex_nums"] = df['Sex'].map({"male":1,"female":2})

df

891 rows × 17 columns

#将类别文本转换为one-hot编码

#方法一: OneHotEncoder
for feat in ["Age", "Embarked"]:
#     x = pd.get_dummies(df["Age"] // 6)
#     x = pd.get_dummies(pd.cut(df['Age'],5))
    x = pd.get_dummies(df[feat], prefix=feat)
    df = pd.concat([df, x], axis=1)
    #df[feat] = pd.get_dummies(df[feat], prefix=feat)

2.3.3 任务三：从纯文本Name特征里提取出Titles的特征(所谓的Titles就是Mr,Miss,Mrs等)

#extract 对于数据进行提取
# s = pd.Series(['a1', 'b2', 'c3'])
# s.str.extract(r'([ab])(\d)')

#写入代码

df["title"] = df.Name.str.extract("([A-Za-z]+)\.",expand = False)
df

891 rows × 18 columns

#保存最终你完成的已经清理好的数据
df.to_csv('train_deep.csv')