数据分析

#导入工具包
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats

在python中运行代码经常会遇到的情况是——代码可以正常运行但是会提示警告
python通过调用warnings模块中定义的warn()函数来发出警告。我们可以通过警告过滤器进行控制是否发出警告消息。

import warnings
warnings.filterwarnings("ignore")

接下来开始导入数据

# 导入数据
train_data = pd.read_table('./zhengqi_train.txt',encoding='utf-8')
test_data = pd.read_table('./zhengqi_test.txt',encoding='utf-8')

#查看数据
print(train_data.info())
print(test_data.info())

#查看均值、最大最小值等
print(train_data.describe())
print(test_data.describe())

这里利用了pandas工具包中的相关函数。

接下来可以对数据进行可视化

#对单个变量绘制变量箱形图
fig=plt.figure(figsize=(4,6))#指定绘图的宽和高
sns.boxplot(train_data['V0'],orient="v",width=0.5)
plt.show()
#对所有变量绘制箱型图
column=train_data.columns.tolist()[:39]#获取列表元素
fig=plt.figure(figsize=(80,60),dpi=75)
for i in range(38):
    plt.subplot(7,8,i+1) #绘制子图
    sns.boxplot(train_data[column[i]],orient='v',width=0.5)#绘制箱型图
    plt.ylabel(column[i],fontsize=10)#fontsize,设置字体大小
plt.show()

运行结果可以发现，存在一些异常数据。
箱型图相关介绍
 sns.boxplot相关API介绍

直方图与Q-Q图绘制

#绘制V0属性图
plt.figure(figsize=(10,5))
ax=plt.subplot(1,2,1)
sns.distplot(train_data['V0'],fit=stats.norm)
ax=plt.subplot(1,2,2)
res = stats.probplot(train_data['V0'], plot=plt)
plt.show()