开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> Pandas高级数据分析快速入门之六——机器学习预测分析篇 -> 正文阅读

[人工智能]Pandas高级数据分析快速入门之六——机器学习预测分析篇

Pandas高级数据分析快速入门之一——Python开发环境篇
Pandas高级数据分析快速入门之二——基础篇
Pandas高级数据分析快速入门之三——数据挖掘与统计分析篇
Pandas高级数据分析快速入门之四——数据可视化篇
Pandas高级数据分析快速入门之五——机器学习特征工程篇
Pandas高级数据分析快速入门之六——机器学习预测分析篇

0. 训练集、测试集

标注客户交易特征数据集[4] ，经过流失标注（流失为1，不流失为0），拆分为训练集、测试集两部分，训练集用于建立模型，测试集评估模型的预测等能力。

如何拆分训练集和测试集？

train_test_split()函数是用来随机划分样本数据为训练集和测试集的，是从样本中随机的按比例选取train_data和test_target。

优点：随机客观的划分数据，减少人为因素

完整模板：

x_train,x_test, y_train, y_test = train_test_split(train_data,train_target,test_size=0.3,random_state=5)

参数解释：

train_data：待划分样本数据
train_target：待划分样本数据的结果（标签）
test_size：测试数据占样本数据的比例，若整数则样本数量
random_state：设置随机数种子，保证每次都是同一个随机数。若为0或不填，则每次得到数据都不一样

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
import xgboost as xgb
from xgboost import plot_importance

import matplotlib.pyplot as plt
from sklearn.metrics import accuracy_score,precision_score
from sklearn.metrics import recall_score
from sklearn.metrics import roc_auc_score

把数据集拆分为训练集和测试集。

Columns_Name = ['flag','carduser_id','balance','balancerate',...]

df = pd.read_csv('train0605.csv')
cols = Columns_Name.copy()
cols.remove('carduser_id')
df = df[cols]
# 构建数据集
flag_col = 'flag'
X = df.drop([flag_col],axis=1)
Y = df[[flag_col]]
# 2、拆分训练数据与测试数据，为了进行交叉验证        
x_train,x_test, y_train, y_test = train_test_split(X,Y,test_size=0.3)

1. XGBoost分类模型训练

XGBoost号称“比赛夺冠的必备大杀器”，横扫机器学习Kaggle、天池、DataCastle、Kesci等国内外数据竞赛罕逢敌手，堪称机器学习算法中的王者，业界使用者众多！

在涉及非结构化数据（图像、文本等）的预测问题中，人工神经网络显著优于所有其他算法或框架。但当涉及到中小型结构/表格数据时，基于决策树的算法现在被认为是最佳方法。而基于决策树算法中最惊艳的，非XGBoost莫属了。

XGBoost最初由陈天奇开发。陈天奇是华盛顿大学计算机系博士生，研究方向为大规模机器学习。他曾获得KDD CUP 2012 Track 1第一名，并开发了SVDFeature，XGBoost，cxxnet等著名机器学习工具，是Distributed (Deep) Machine Learning Common的发起人之一。

1.1. 输入数据集

XGBoost中使用的数据矩阵DMatrix。

DMatrix是XGBoost使用的一种内部数据结构，它针对内存效率和训练速度进行了优化。您可以从多个不同的数据源构造DMatrix。

xgboost.DMatrix(data,label=None,*,weight=None…)

参数:

data（os.PathLike/string/numpy.array/scipy.sparse/pd.DataFrame/）–DMatrix的数据源。xgboost可以读取的二进制文件。

label – 训练数据的标签。

dtrain = xgb.DMatrix(x_train, label=y_train)
dtest = xgb.DMatrix(x_test,label=y_test)

1.2. 超参数设置

学习任务参数objective

objective [默认= reg：squarederror]

multi:softmax：设置XGBoost以使用softmax目标进行多类分类，还需要设置num_class（类数）
multi:softprob：与softmax相同，但输出向量，可以进一步将其整形为矩阵。结果包含属于每个类别的每个数据点的预测概率。ndata * nclass

验证数据的评估指标eval_metric [根据目标默认]

mlogloss：多分类的logloss
merror：多类分类错误率。计算公式为。#(wrong cases)/#(all cases)

Tree Booster参数

eta[默认= 0.3，别名：learning_rate]
在更新中使用步长收缩以防止过度拟合。在每个增强步骤之后，我们都可以直接获得新特征的权重，并eta缩小特征权重以使增强过程更加保守。范围：[0,1]
gamma[默认= 0，别名：min_split_loss]
在树的叶节点上进行进一步分区所需的最小损失减少。越大gamma，算法将越保守。范围：[0，∞]
max_depth [默认= 6]
一棵树的最大深度。增加此值将使模型更复杂，并且更可能过度拟合。仅lossguided当tree_method设置为hist且表示深度没有限制时，才在增长策略中接受0 。注意，训练一棵深树时，XGBoost会大量消耗内存。范围：[0，∞]（仅lossguided当tree_method设置为时，增长策略才接受0 hist）
min_child_weight [默认值= 1]
子级中实例重量的最小总和（hessian）。如果树划分步骤导致叶节点的实例权重之和小于min_child_weight，则构建过程将放弃进一步的划分。在线性回归任务中，这仅对应于每个节点中需要的最少实例数。越大min_child_weight，算法将越保守。范围：[0，∞]

实际案例代码如下：

params ={'learning_rate': 0.1,
  'max_depth': 10,                # 构建树的深度，越大越容易过拟合
  'num_boost_round':2000,
  'gamma': 0.1,                  # 用于控制是否后剪枝的参数,越大越保守，一般0.1、0.2这样子。
  'objective': 'multi:softprob', # 多分类的问题
  'random_state': 1,
  'silent':0,
  'subsample':0.8,               # 用于训练模型的子样本占整个样本集合的比例
  'min_child_weight':3,          # [0,无穷]，越大越趋于保守，有利于防止过拟合
  'num_class':2,                 # 类别数，与 multisoftmax 并用
  'colsample_bytree':0.9,        # 特征比例
  'seed':3,
  'eval_metric':['mlogloss','merror'] #,'auc'],   # 多分类情况
}

1.3. 模型训练

watchlist = [(dtrain,'train'),(dtest,'eval')]
evals_result = {}
best_nround = 200
model = xgb.train(params,dtrain,num_boost_round=best_nround,evals = watchlist,evals_result=evals_result)

（1）学习过程监控
训练过程监控输出，使用watchlist（list数据类型）不会影响模型训练。

[0]	train-mlogloss:0.62928	train-merror:0.10594	eval-mlogloss:0.63007	eval-merror:0.11204
[1]	train-mlogloss:0.57597	train-merror:0.09733	eval-mlogloss:0.57752	eval-merror:0.10408
[2]	train-mlogloss:0.53121	train-merror:0.09527	eval-mlogloss:0.53324	eval-merror:0.10269
[3]	train-mlogloss:0.49237	train-merror:0.09376	eval-mlogloss:0.49516	eval-merror:0.10094
[4]	train-mlogloss:0.45872	train-merror:0.09190	eval-mlogloss:0.46240	eval-merror:0.09932
[5]	train-mlogloss:0.43001	train-merror:0.09100	eval-mlogloss:0.43436	eval-merror:0.09835

（2）可视化输出学习过程，损失、错误率变换情况：
在这里插入图片描述

import matplotlib.pyplot as plt
from sklearn.metrics import accuracy_score,precision_score
from sklearn.metrics import recall_score
from sklearn.metrics import roc_auc_score

print('绘制训练AUC下降趋势图')

#验证数据评估指标，与param参数，'eval_metric':['logloss','error','auc']相关
#验证包括训练和验证两个部分（train、eval），如上所示3个参数，则是6组数据
plt.figure(111)
plt.rcParams['font.family']='sans-serif'        
plt.rcParams['font.sans-serif']=['KaiTi'] #显示中文
plt.rcParams['axes.unicode_minus']=False 
plt.grid()      

plt.plot(evals_result['train']['mlogloss'],label = '训练集-损失',color='green')
plt.plot(evals_result['train']['merror'],label = '训练集-错误率',color='blue')
plt.plot(evals_result['eval']['mlogloss'],label = '评估集-损失',color='deeppink')
plt.plot(evals_result['eval']['merror'],label = '评估集-错误率',color='red')        

plt.xlabel('训练次数')
# 显示图例
plt.legend()

（4）输出预测结果

y_pred=model.predict(xgb.DMatrix(x_test))       
yprob = np.argmax(y_pred, axis=1)  # return the index of the biggest pro
predictions = [value for value in yprob]       # 用于多分类
# 计算准确率
accuracy = accuracy_score(y_test, predictions)
print("Accuracy: %.2f%%" % (accuracy * 100.0))
print(params)

Accuracy: 96.12%
{'learning_rate': 0.1, 'max_depth': 10, 'num_boost_round': 2000, 'gamma': 0.1, 'objective': 'multi:softprob', 'random_state': 1, 'silent': 0, 'subsample': 0.8, 'min_child_weight': 3, 'num_class': 2, 'colsample_bytree': 0.9, 'seed': 3, 'eval_metric': ['mlogloss', 'merror']}
绘制训练AUC下降趋势图

1.4. 模型持久化

训练结束时保存为模型文件。

test = False
Model_Filename = 'XGboost0605.model'
if test==False:
    model.save_model(Model_Filename)

2. 预测结果分析

2.1. 重要特征

完成模型训练，给出特征重要分值，如下图所示显示特征重要程度图（截取部分）。
在这里插入图片描述
XGBoost的特征重要性是如何得到的？某个特征的重要性（feature score），等于它被选中为树节点分裂特征的次数的和，比如特征“daysnum”在第一次迭代中（即第一棵树）被选中了1次去分裂树节点，在第二次迭代被选中2次……那么最终特征“daysnum”的feature score就是 1+2+….。

# 显示重要特征
fig,ax = plt.subplots(figsize=(15,15))
plt.rcParams['font.sans-serif']=['KaiTi'] #显示中文
plt.rcParams['font.family']='sans-serif'
plt.rcParams['axes.unicode_minus']=False
plot_importance(model, ax=ax, height=0.5, title='特征重要程度', xlabel='特征值', ylabel='特征')
plt.subplots_adjust(left=0.4)

2.2. 模型评估

基于机器学习的混淆矩阵，以及常用的准确率、精准率、召回率、F1分数、ROC与AUC曲线等做为此二分类问题模型的评价指标。

ROC与AUC曲线如图所示。
在这里插入图片描述
模型评估工具，使用sklearn的metrics，metrics包含了许多模型评估指标括：分类、回归、聚类等模型评估工具。

由于此部分通用性较强，封装成类Multi_class_evaluation便于使用，详情参考博文[1]。

import Multi_class_evaluation

Mce = Multi_class_evaluation.Multi_class_evaluation(y_test,y_pred,n_class=2,flag='flag') #多分类方式
def get_one_hot(y_pred):
    y_pred = np.round(y_pred)
    y_pred2 = []
    for v in y_pred:
        v = int(v)
        tmp = np.zeros(2,dtype=np.int)
        tmp[v] = tmp[v] + 1
        y_pred2.append(tmp)

    y_pred2 = np.array(y_pred2)
    return y_pred2

Mce.calculation_ROC_AUC()
Mce.draw_ROC()
y,  y_ =Mce.y, Mce.y_pred

precision = precision_score(y_test.values, np.array(predictions),average='macro')       
print('precision Score: %.2f%%' % (precision*100.0))  

recall = recall_score(y_test.values, np.array(predictions),average='macro')       
print('Recall Score: %.2f%%' % (recall*100.0))

auc = roc_auc_score(y,  y_ ,multi_class='ovo',average='macro')
print('Roc Auc Score: %.2f%%' % (auc*100.0))

3. XGBoost分类持久化模型应用

通过xgb.Booster()加载持久化模型文件，执行predict()预测方法预测。

XGB_Model = xgb.Booster(model_file=Model_Filename)
x = xgb.DMatrix(x_test)
#模型预测
y = XGB_Model.predict(x)
yprob = np.argmax(y, axis=1)  # return the index of the biggest pro
print(yprob)
# 取预测结果标识
y_pred = [value for value in yprob] 
#print(y_pred)

# 取预测概率，索引第二列（1）为流失
yprob = np.round(y[:,1]*100,2)
print(yprob)

附录：参数

学习任务参数objective

objective [默认= reg：squarederror]

multi:softmax：设置XGBoost以使用softmax目标进行多类分类，还需要设置num_class（类数）
multi:softprob：与softmax相同，但输出向量，可以进一步将其整形为矩阵。结果包含属于每个类别的每个数据点的预测概率。ndata * nclass
其他配置
reg:squarederror：损失平方回归。
reg:squaredlogerror：对数损失平方回归
所有输入标签都必须大于-1。另外，请参阅指标rmsle以了解此目标可能存在的问题。
reg:logistic：逻辑回归
reg:pseudohubererror：使用伪Huber损失进行回归，这是绝对损失的两倍可微选择。
binary:logistic：二元分类的逻辑回归，输出概率
binary:logitraw：用于二进制分类的逻辑回归，逻辑转换之前的输出得分
binary:hinge：二进制分类的铰链损失。这使预测为0或1，而不是产生概率。
count:poisson –计数数据的泊松回归，泊松分布的输出平均值
max_delta_step 在泊松回归中默认设置为0.7（用于维护优化）
survival:cox：针对正确的生存时间数据进行Cox回归（负值被视为正确的生存时间）。请注意，预测是按危险比等级返回的（即，比例危险函数中的HR = exp（marginal_prediction））。h(t) = h0(t) * HR
survival:aft：用于检查生存时间数据的加速故障时间模型。有关详细信息，请参见具有加速故障时间的生存分析。
aft_loss_distribution：survival:aft目标和aft-nloglik度量使用的概率密度函数。
rank:pairwise：使用LambdaMART进行成对排名，从而使成对损失最小化
rank:ndcg：使用LambdaMART进行列表式排名，使标准化折让累积收益（NDCG）最大化
rank:map：使用LambdaMART进行列表平均排名，使平均平均精度（MAP）最大化
reg:gamma：使用对数链接进行伽马回归。输出是伽马分布的平均值。例如，对于建模保险索赔的严重性或对可能是伽马分布的任何结果，它可能很有用。
reg:tweedie：使用对数链接进行Tweedie回归。它可能有用，例如，用于建模保险的总损失，或用于可能是Tweedie分布的任何结果。

验证数据的评估指标eval_metric [根据目标默认]

mlogloss：多分类的logloss
merror：多类分类错误率。计算公式为。#(wrong cases)/#(all cases)
其他配置：
rmse：均方根误差
rmsle：均方根对数误差

reg:squaredlogerror目标的默认指标。此指标可减少数据集中异常值所产生的错误。但是由于log采用功能，rmsle可能nan在预测值小于-1时输出。有关reg:squaredlogerror其他要求，请参见。

mae：平均绝对误差
mape：平均绝对百分比误差
mphe：平均伪Huber错误。reg:pseudohubererror目标的默认指标。
logloss：负对数似然
error：二进制分类错误率。计算公式为。对于预测，评估会将预测值大于0.5的实例视为肯定实例，而将其他实例视为否定实例。#(wrong cases)/#(all cases)
error@t：可以通过提供’t’的数值来指定不同于0.5的二进制分类阈值。
merror：多类分类错误率。计算公式为。#(wrong cases)/#(all cases)
auc：曲线下面积
aucpr：PR曲线下的面积
ndcg：归一化累计折扣
map：平均平均精度
ndcg@n，map@n：'n’可以被指定为整数，以切断列表中的最高位置以进行评估。
ndcg-，map-，ndcg@n-，map@n-：在XGBoost，NDCG和MAP将评估清单的比分没有任何阳性样品为1加入-在评价指标XGBoost将评估这些得分为0，是在一定条件下一致""。
poisson-nloglik：泊松回归的负对数似然
gamma-nloglik：伽马回归的对数似然比为负
cox-nloglik：Cox比例风险回归的负对数似然率
-gamma-deviance：伽马回归的剩余偏差
-tweedie-nloglik：Tweedie回归的负对数似然（在tweedie_variance_power参数的指定值处）
aft-nloglik：加速故障时间模型的负对数可能性。有关详细信息，请参见具有加速故障时间的生存分析。
interval-regression-accuracy：其预测标签位于间隔检查的标签中的数据点的分数。仅适用于间隔检查的数据。有关详细信息，请参见具有加速故障时间的生存分析。