[Python知识库][Datawhale]动手学数据分析跟练Task01

目录

?1.数据载入及初步观察

1.1载入数据

#1.1.1任务一：导入numpy和pandas

#1.1.2任务二：载入数据

#1.1.3任务三：每1000行为一个数据模块，逐块读取

?#1.1.4 任务四：将表头改成中文，索引改为乘客ID?

1.2 初步观察

#1.2.1任务一：观察数据的基本信息

?#1.2.2 任务二：观察表格前10行的数据和后15行的数据

#1.2.4 任务三：判断数据是否为空，为空的地方返回True，其余地方返回False

1.3 保存数据

#1.3.1 任务一：将你加载并做出改变的数据，在工作目录下保存为一个新文件train_chinese.csv

2.pandas基础

1.4 知道你的数据叫什么

#1.4.1 任务一：pandas中有两个数据类型DateFrame和Series，通过查找简单了解他们。然后自己写一个关于这两个数据类型的小例子🌰[开放题]

#1.4.2 任务二：根据上节课的方法载入"train.csv"文件?

?#1.4.3 任务三：查看DataFrame数据的每列的名称

#1.4.4任务四：查看"Cabin"这列的所有值[有多种方法]?

?#1.4.5 任务五：加载文件"test_1.csv"，然后对比"train.csv"，看看有哪些多出的列，然后将多出的列删除

?#1.4.6 任务六： 将['PassengerId','Name','Age','Ticket']这几个列元素隐藏，只观察其他几个列元素

1.5 筛选的逻辑

#1.5.1 任务一： 我们以"Age"为筛选条件，显示年龄在10岁以下的乘客信息

?#1.5.2 任务二： 以"Age"为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来，并将这个数据命名为midage

#1.5.3 任务三：将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来

#1.5.4 任务四：使用loc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

#1.5.5 任务五：使用iloc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

?3.探索性数据分析

1.6 了解你的数据吗？

#1.6.1 任务一：利用Pandas对示例数据进行排序，要求升序

?1.数据载入及初步观察

1.1载入数据

#1.1.1任务一：导入numpy和pandas

每次使用numpy和pandas都需要在之前进行重新导入。

import numpy as np
import pandas as pd 

#1.1.2任务二：载入数据

此处用的绝对路径，但实际项目应用多采用相对路径?

pd.read_csv中不加r会引起转义的报错，在路径前面加r，即保持字符原始值的意思。也可转换为双斜杠\\或正斜杠//

df=pd.read_csv(r'C:\Users\maxqu\Desktop\动手学数据分析\hands-on-data-analysis-master\第一单元项目集合/train.csv')
df.head()

?使用head方法显示部分头部数据

?

#1.1.3任务三：每1000行为一个数据模块，逐块读取

#每1000行为一个数据模块，逐行读取
chunker = pd.read_csv(r'C:\Users\maxqu\Desktop\动手学数据分析\hands-on-data-analysis-master\第一单元项目集合/train.csv', chunksize=1000)
#不写清文件地址会报错，为了方便操作项目文件暂时存储在桌面

?#1.1.4 任务四：将表头改成中文，索引改为乘客ID?

对于某些英文资料，我们可以通过翻译来更直观的熟悉我们的数据

df=pd.read_csv(r'C:\Users\maxqu\Desktop\动手学数据分析\hands-on-data-analysis-master\第一单元项目集合/train.csv',names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
df.head()

?

1.2 初步观察

观察数据的整体结构方便数据处理，包括数据容量大小，数据格式，数据中是否含null值

#1.2.1任务一：观察数据的基本信息

info方法：拉取数据容量信息，即包含数据名称，每列中数据条数，是否有空值，数据类型，注意方法的使用一定要指明对谁使用，此处若直接使用info()则会报错?

df.info()

?

?#1.2.2 任务二：观察表格前10行的数据和后15行的数据

df.head(10)#head方法抽取头部数据
df.tail(15)#tail方法抽取尾部数据

#1.2.4 任务三：判断数据是否为空，为空的地方返回True，其余地方返回False

df.isnull().head()#方法套用，先抽取数据，再判断是否含null

?

1.3 保存数据

#1.3.1 任务一：将你加载并做出改变的数据，在工作目录下保存为一个新文件train_chinese.csv

df.to_csv('train_chinese.csv')

2.pandas基础

Pandas 是一个开放源码、BSD 许可的库，提供高性能、易于使用的数据结构和数据分析工具。

Pandas 的主要数据结构是 Series （一维数据）与 DataFrame（二维数据）

数据展现在我们面前的时候，我们所要做的第一步就是认识他；接下来要搞定的是了解字段含义以及初步观察数据。

1.4 知道你的数据叫什么

开始前导入numpy和pandas

import numpy as np
import pandas as pd

#1.4.1 任务一：pandas中有两个数据类型DateFrame和Series，通过查找简单了解他们。然后自己写一个关于这两个数据类型的小例子🌰[开放题]

Series?是一种类似于一维数组的对象，它由一组数据（各种Numpy数据类型）以及一组与之相关的数据标签（即索引）组成。

Series可以理解为一个一维的数组，只是index可以自己改动。类似于定长的有序字典，有Index和value。

Series的字符串表现形式为:索引在左边，值在右边。如果我们没有为数据指定索引，于是会自动创建一个0到N-1(N为数据的?度)的整数型索引。

pd.Series(data,index=['one','two','three'])
#Series方法的标准套用格式

#用值列表生成Series时，pandas默认自动生成整数索引
pd.Series([1,2,"one",np.nan])
#index赋值必须是list类型，即要使用[]

?DataFrame?是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值）。DataFrame 既有行索引也有列索引，它可以被看做由 Series 组成的字典（共同用一个索引）。

DataFrame是一个类似于表格的数据类型，DataFrame可以理解为一个二维数组，index有两个维度，可更改。

DataFrame参数：

data （方框内的数据）? ? ?：numpy ndarray、dict、 DataFrame
index（行索引索引）? ? ? ? ：Index or array-like
columns （列索引）? ? ? ? ? ：Index or array-like
dtype（data的数据类型） ：dtype, 默认为 None

pd.DataFrame(data, index=['a', 'b', 'c'], columns=['one', 'two'])
#DataFrame方法的标准套用格式
#index或者columns如果不进行设置则默认为0开始的整数。

案例一：

# 创建DataFrame，列名是：'name'、'gender'、'age'
df = pd.DataFrame([['Snow','M',22],
                   ['Tyrion','M',32],
                   ['Sansa','F',18],
                   ['Arya','F',14]], columns=['name','gender','age'])
print(df)

??

# DataFrame创建,列名是：'Country'、'Capital'、'Population'
data=[['Belglum','Brussels',11190846],
      ['Indla','New Delhi',1303171035],
      ['Brazil','Brasilia',207847528]]

# index如果不写，默认从0开始序列，下面设置了从1开始序列
df1=pd.DataFrame(data=data,index=[1,2,3],columns=['Country','Capital','Population'])
print(df1)

????

#1.4.2 任务二：根据上节课的方法载入"train.csv"文件?

df=pd.read_csv(r'C:/Users/maxqu/Desktop/动手学数据分析/hands-on-data-analysis-master/第一单元项目集合/train_chinese.csv')
df.head()

?#1.4.3 任务三：查看DataFrame数据的每列的名称

df.columns
#注意此处不加（），不然报错

#1.4.4任务四：查看"Cabin"这列的所有值[有多种方法]?

方法一：

df['客舱'].head()

方

df.客舱.head()

??

?#1.4.5 任务五：加载文件"test_1.csv"，然后对比"train.csv"，看看有哪些多出的列，然后将多出的列删除

df=pd.read_csv(r'C:/Users/maxqu/Desktop/动手学数据分析/hands-on-data-analysis-master/第一单元项目集合/test_1.csv')
df.head()

参数说明：
labels 就是要删除的行列的名字，用列表给定
axis 默认为0，指删除行，因此删除columns时要指定axis=1
index 直接指定要删除的行
columns 直接指定要删除的列
inplace=False，默认该删除操作不改变原数据，而是返回一个执行删除操作后的新dataframe
inplace=True，则会直接在原数据上进行删除操作，删除后无法返回

因此，删除行列有两种方式：
1）labels=None,axis=0 的组合
2）index或columns直接指定要删除的行或列

DataFrame.drop(labels=None,axis=0, index=None, columns=None, inplace=False)
#删除列的通用格式

?经过我们的观察发现一个测试集test_1.csv有一列a列是多余的，我们需要将这个多余的列删去

df_1.drop('a', axis=1, inplace=True)

其余的删除方式：

#删除列名为a的列
del test_1['a']
 
#删除第0，2，4列 ，axis=0表示行，1表示列
test_1.drop(df.columns[[0, 2, 4]], axis=1)

?#1.4.6 任务六： 将['PassengerId','Name','Age','Ticket']这几个列元素隐藏，只观察其他几个列元素

如果想要完全的删除你的数据结构，使用inplace=True，因为使用inplace就将原数据覆盖了，所以这里没有用

#隐藏某列，如'Age','Ticket'，只观察其他几个列元素
df_1.drop(['PassengerId','Name','Age','Ticket'],axis=1).head()
#这样写不可以，显示出来的是全部
df_1.drop(['PassengerId','Name','Age','Ticket'],axis=1)

1.5 筛选的逻辑

表格数据中，最重要的一个功能就是要具有可筛选的能力，选出我所需要的信息，丢弃无用的信息。

作用：设置单索引和复合索引。?
参数说明：
keys：列标签或列标签/数组列表，需要设置为索引的列
drop：默认为True，删除用作新索引的列
append：是否将列附加到现有索引，默认为False
inplace：输入布尔值，表示当前操作是否对原数据生效，默认为False
注：append添加新索引，drop为False，inplace为True时，索引将会还原为列

loc函数：通过行索引 "Index" 中的具体值来取行数据（如取"Index"为"A"的行） df.loc[ [行号/名], [列号/名] ]
iloc函数：通过行号来取行数据（如取第二行的数据）? df.iloc[ [行号], [列号] ]?

DataFrame.set_index(keys, drop=True, append=False, inplace=False, verify_integrity=False)
#筛选的通用格式，
midage = df[(df["Age"]>10)&(df["Age"]<50)]
#简单使用交集与并集

#1.5.1 任务一： 我们以"Age"为筛选条件，显示年龄在10岁以下的乘客信息

minage = df[(df["年龄"]<10)]
minage.head()

?#1.5.2 任务二： 以"Age"为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来，并将这个数据命名为midage

#简单使用交集和并集
midage = df[(df["年龄"]>10)&(df["年龄"]<50)]
midage.head()

#1.5.3 任务三：将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来

#1.5.4 任务四：使用loc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

# 第n行的"a"和"b"的数据显示出来
#df.loc[[n],['a','b']]
midage.loc[[100,105,108],['仓位等级','性别']]

??

#1.5.5 任务五：使用iloc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

# 使用iloc方法将数据中第a,b,c行的"Age"，"Name"和"Sex"的数据显示出来
#df.iloc[[a,b,c],[Age,Name,Sex]]
midage.iloc[[100,105,108],[Pclass,name,age]]

?3.探索性数据分析

开始之前，导入numpy、pandas包和数据

#加载所需的库
import numpy as np
import pandas as pd

#载入之前保存的train_chinese.csv数据，关于泰坦尼克号的任务，我们就使用这个数据
df=pd.read_csv(r'C:/Users/maxqu/Desktop/动手学数据分析/hands-on-data-analysis-master/第一单元项目集合/train_chinese.csv')
df.head()

1.6 了解你的数据吗？

教材《Python for Data Analysis》第五章

#1.6.1 任务一：利用Pandas对示例数据进行排序，要求升序

frame = pd.DataFrame(np.arange(8).reshape((2, 4)),index=['2', '1'],columns=['d', 'a', 'b', 'c'])

pd.DataFrame():?创建一个DataFrame对象
np.arange(8).reshape((2, 4)):?生成一个二维数组(2*4),第一列:0，1，2，3?第二列:4，5，6，7?
index=['2, 1]:?DataFrame?对象的索引列
columns=['d', 'a', 'b', 'c']:?DataFrame?对象的索引行

# 让行索引升序排序
frame.sort_index()
# 让列索引升序排序
frame.sort_index(axis=1)
# 让列索引降序排序
frame.sort_index(axis=1, ascending=False)

#进行算术计算
#将frame_a和frame_b进行相加
frame1_a + frame1_b

?两个DataFrame相加后，会返回一个新的DataFrame，对应的行和列的值会相加，没有对应的会变成空值?NaN。

count : 样本数据大小
mean : 样本数据的平均值
std : 样本数据的标准差
min : 样本数据的最小值
25% : 样本数据25%的时候的值 ? 50% : 样本数据50%的时候的值 ? 75% : 样本数据75%的时候的值?
max : 样本数据的最大值