[Python知识库] 阿里天池二手车交易价格预测(一)—

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> Python知识库 -> 阿里天池二手车交易价格预测(一)——EDA -> 正文阅读

[Python知识库]阿里天池二手车交易价格预测(一)——EDA

阿里天池二手车交易价格预测(一)——EDA

Exploratory Data Analysis是数据科学领取理解和分析数据的方法，通过不断的收集、分析和假设验证，以取得对数据的深入理解。

EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。
当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。
引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。
完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结。

Data Set : used_car 链接: https://tianchi.aliyun.com/competition/entrance/231784/information

用到以下库

import pandas as pd
import seaborn as sns
import warnings
import missingno as msno
import numpy as np
# 用于忽略警告 
warnings.filterwarnings('ignore')

读取给定的数据并查看数据量

df_train = pd.read_csv('/Users/apple/Desktop/天池/UsedCarTransactionPriceForecast/used_car_train_20200313.csv',
                       sep=' ')
print("df_train.shape:",df_train.shape)
df_test = pd.read_csv('/Users/apple/Desktop/天池/UsedCarTransactionPriceForecast/used_car_testB_20200421.csv',
                      sep=' ')
print("df_test.shape:",df_test.shape)

在这里插入图片描述
查看数据

print(df_train.head()) # 默认为前5行
print(df_test.head())

在这里插入图片描述
使用describe() 可以查看关于count、mean、std等等，df_test类同，不再述复

df_train.describe()

在这里插入图片描述
查看数据类型

查看训练集和测试集数据类型为 object

# 查看训练集和测试集 数据类型为 object
for col in df_train.columns:
    if df_train[col].dtype == "object":
        print(col)
for col in df_test.columns:
    if df_test[col].dtype == "object":
        print(col)

在这里插入图片描述

统计训练集和测试集的缺失值

print(df_train.isnull().sum())
print(df_test.isnull().sum())

在这里插入图片描述
可视化缺失值，只展示训练集的缺失值可视化，测试集一样

train_nan_sum = df_train.isnull().sum()
train_nan_sum = train_nan_sum[train_nan_sum>0]
train_bar_data = pd.DataFrame({'type':train_nan_sum.index.tolist(),'values':train_nan_sum.values.tolist()})
print(train_bar_data)
train_nan_abr = sns.barplot(x='type',y='values',data=train_bar_data)

在这里插入图片描述
也可以用 missingno 的 matrix 来更好的看数据的缺失情况

msno.matrix(df_train)

在这里插入图片描述
或者使用seaborn中过的heatmap 来观察缺失值

sns.heatmap(df_train.isnull(),cbar=False,cmap='viridis')

在这里插入图片描述

也可以用条形图
在这里插入图片描述
了解预测值的分布情况

拟合预测值情况

# johnsonsu是无界约翰逊分布，norm是最大似然高斯分布，lognorm是最大似然对数高斯分布
import scipy.stats as st
import matplotlib.pyplot as plt
plt.figure(1); plt.title('Johnson SU')
sns.distplot(df_train['price'], kde=False, fit=st.johnsonsu)
plt.figure(2); plt.title('norm')
sns.distplot(df_train['price'], kde=False, fit=st.norm)
plt.figure(3); plt.title('lognorm')
sns.distplot(df_train['price'], kde=False, fit=st.lognorm)

在这里插入图片描述

从上面分析可知，预测值分布最接近无界约翰逊分布
查看偏度和峰度

# 查看skewness and kurtosis
sns.distplot(df_train['price']);
print("Skewness: %f" % df_train['price'].skew()) # 偏度
print("Kurtosis: %f" % df_train['price'].kurt()) # 峰度

在这里插入图片描述
进行Log转换后的预测值可视化对比

fig,(ax1,ax2) = plt.subplots(2,1,figsize=(12,8))
df_train['price'].plot(kind='hist',bins=100,title='train_hist',ax=ax1)
df_train['price'].apply(np.log).plot(kind='hist',bins=100,title='Log_train_hist',ax=ax2)