动手学数据分析-Task01-数据加载及探索性数据分析
踩坑记录1：
在使用jupyter notebook 切换不同虚拟环境的时候，一定要在该虚拟环境下安装ipykernel。
python -m pip install ipykernel
踩坑记录2：
在使用pd.read_csv用绝对路径读取文件时，在windows环境中不同文件夹用
\\ 隔开，如果文件名中含有s,可能会和前面的\\组合成\s转义，可在整体路径前加入r即可
data = pd.read_csv("D:\\File\\jupyter-notebook\\hands-on-data-analysis-master\\第一单元项目集合\\train.csv")
如果文件名中含有s,可能会和前面的\\组合成\s转义，可在整体路径前加入r即可
data = pd.read_csv(r"D:\\File\\jupyter-notebook\\hands-on-data-analysis-master\\第一单元项目集合\\train.csv")
1.1数据载入及初步观察
1.1数据载入
这些函数都会把文本数据转换为DataFrame结构。
如果数据量太大，内存无法一次读入时，可以设置chunksize参数大小，逐块读取。
import pandas as pd
data = pd.read_csv(path, chunksize=1000,,iterator=True)
count = 0
for chunk in data:
count += 1
if count ==1:
chunk.to_csv('test1.csv',index = False)
elif count>1 and count<1000:
chunk.to_csv('test1.csv',index = False, mode = 'a',header = False)
else:
break
pd.read_csv('test1.csv')
修改表头时，可以直接在读取的时候在name参数里更改
df = pd.read_csv('train.csv', names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
index_col表示索引
1.2 初步观察(数据类型都为DataFrame)
查看数据的基本信息
data.info()
查看前十行或后十行
data.head(10)
data.tail(10)
判断数据是否为空,空为True，否则为False
data.isnull()
查看个数
data.count()
1.1.3 保存数据
data.to_csv('test1.csv',encoding='utf-8')
2.pandas基础
2.1 两种数据结构
Series
由一组数据以及与之相关的索引组成的类似一维数组的结构。类似与python中的字典
sdata = {'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000}
example_1 = pd.Series(sdata)
DataFrame
dataframe是一种表格型的数据结构，它包含一组有序的列，每一列之间的数据类型可以不同
data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'],
'year': [2000, 2001, 2002, 2001, 2002, 2003],
'pop': [1.5, 1.7, 3.6, 2.4, 2.9, 3.2]}
example_2 = pd.DataFrame(data)
基本操作
查看dataframe数据的每列的名称
df.columns
查看某一列的值
#方法一
df.state
#方法二
df['state']
删除多余的列
del df['state']
axis表示轴，axis=0表示行索引，竖着看，axis=1表示列索引，横着看
隐藏某几列元素，只看其中几列
df.drop(['PassengerId','Name','Age','Ticket'],axis=1)
使用inplace=True，可以覆盖原数据
数据清洗时，会将带空值的行删除，此时DataFrame或Series类型的数据不再是连续的索引，可以使用reset_index()重置索引。
不想保留原来的index，使用参数 drop=True
midage = midage.reset_index(drop=True)
显示某几行，某几列的数据
midage.loc[[100,105,108],['Pclass','Name','Sex']]
也可以使用iloc方法，那么列索引就要变为其下标
midage.iloc[[100,105,108],[2,3,4]]
3 探索性数据分析
根据某一列的值对所有数据进行排序，ascending=True表示升序
frame.sort_values(by='c', ascending=True)
让行索引升序排序
frame.sort_index()
让列索引升序排序
frame.sort_index(axis=1)
查看数据的基本情况
frame2.describe()
'''
count : 样本数据大小
mean : 样本数据的平均值
std : 样本数据的标准差
min : 样本数据的最小值
25% : 样本数据25%的时候的值
50% : 样本数据50%的时候的值
75% : 样本数据75%的时候的值
max : 样本数据的最大值
'''