IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 机器学习(一)——基于决策树算法建立用户流失预测模型 -> 正文阅读

[人工智能]机器学习(一)——基于决策树算法建立用户流失预测模型

目录

一、项目背景

1.1 流失用户定义

1.2 探究用户流失目的

1.3 项目描述

1.3.1 项目简介

1.3.2 分析工具

二、数据预处理

2.1 数据采集与预览

2.2 数据清洗

2.2.1 数据类型转换

2.2.2 缺失值处理

2.2.3 重复值处理

2.2.4 异常值处理

三、数据可视化分析

3.1 流失客户占比

3.2 样本基本特征对客户流失率的影响

3.3 样本特征相关性分析

3.3.1 特征值提取与编码

3.3.2 构造相关系数矩阵

3.3.3 使用热力图显示相关系数

3.3.4 电信用户是否流失与各变量之间的相关性

3.3.5 各项业务服务队客户流失率的影响

3.3.6 合约签订期限对客户流失率的影响

3.3.7 付款方式对客户流失率的影响

四、数据建模

4.1 特征值筛选与转换

4.1.1 特征值筛选

4.1.2 特征值标准化

4.2 数据切分

4.2.1 切分特征与标签

4.2.2 切分训练数据集和测试数据集

4.3 模型训练与评估

4.3.1 模型训练

4.3.2 模型评估

五、模型优化

5.1 决策树预剪枝,绘制最大深度学习曲线

5.2 GridSearchCV网格搜索,寻找最优参数

5.3 构建最优参数模型

六、结论

6.1 总结

6.2 建议

七、源代码


一、项目背景

1.1 流失用户定义

? ? ? ? 不同产品都存在不同的使用周期,因此在定义流失用户上,需要进行用户调研,如可对时隔1周、1个月、3个月、半年未下单客户进行用户调研,从而了解用户不再产生浏览和购买行为的原因,进而定义流失。

1.2 探究用户流失目的

? ? ? ? 研究用户流失的首要目的是避免用户继续流失,其次才是挽回流失。在研究过程中,可通过观察用户的生命周期来判断其流失原因:

(1)获取期:新用户通过推广、宣传来到产品中,属尝鲜型;

(2)提升期:用户有购买行为;

(3)成熟期:用户存在复购和交叉购买行为;

(4)衰退期:用户购买行为和频次开始衰退,这是最需要预警的时期;

(5)离开期:达到流失标准;

????????根据以上五个生命周期为用户打上标签,从而判断用户是在哪个时期流失,相应的流失原因不同,则应采取不同措施对产品进行改进。

1.3 项目描述

1.3.1 项目简介

? ? ? ? 随着电信行业的竞争日益激烈,获取一个新用户所需的成本已远高于保留现有客户的成本,因此,如何挽留更多的用户已成为电信行业的一项关键业务指标。对于电信行业而言,可通过数据挖掘等方式来分析可能影响客户决策的各种因素,从而预测他们是否会产生流失。

? ? ? ? 本案例利用Kaggle上公开的某电信公司的用户数据,借此数据集进行分析并建立用户流失预测模型。

1.3.2 分析工具

(1)开发环境:python3、Spyder

(2)相关库的导入

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import LabelEncoder
from imblearn.over_sampling import SMOTE
from sklearn.model_selection import cross_val_score,train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import classification_report,precision_score,recall_score,f1_score
from sklearn.model_selection import GridSearchCV
from sklearn import tree

二、数据预处理

2.1 数据采集与预览

#读取数据文件
tel = pd.read_csv(r"C:\Users\HP\Desktop\电信用户流失数据.csv")
#数据预览
tel.info()

?运行结果:

RangeIndex: 7043 entries, 0 to 7042
Data columns (total 21 columns):
 #   Column            Non-Null Count  Dtype  
---  ------            --------------  -----  
 0   customerID        7043 non-null   object 
 1   gender            7043 non-null   object 
 2   SeniorCitizen     7043 non-null   int64  
 3   Partner           7043 non-null   object 
 4   Dependents        7043 non-null   object 
 5   tenure            7043 non-null   int64  
 6   PhoneService      7043 non-null   object 
 7   MultipleLines     7043 non-null   object 
 8   InternetService   7043 non-null   object 
 9   OnlineSecurity    7043 non-null   object 
 10  OnlineBackup      7043 non-null   object 
 11  DeviceProtection  7043 non-null   object 
 12  TechSupport       7043 non-null   object 
 13  StreamingTV       7043 non-null   object 
 14  StreamingMovies   7043 non-null   object 
 15  Contract          7043 non-null   object 
 16  PaperlessBilling  7043 non-null   object 
 17  PaymentMethod     7043 non-null   object 
 18  MonthlyCharges    7043 non-null   float64
 19  TotalCharges      7043 non-null   object 
 20  Churn             7043 non-null   object 
dtypes: float64(1), int64(2), object(18)

????????从运行结果可知,数据集一共提供了7043条用户样本信息,且无缺失值,其中每条样本包含21列属性,由多个维度的客户特征信息以及用户是否流失的标签组成。?各用户特征信息及相关含义如下:

变量名

描述

数据类型

取值

customerID

用户ID

string

7043个不重复值

gender

性别

string

Male,Female

SeniorCitizen

是否为老年人

int

0,1

Partner

是否有配偶

string

Yes,NO

Dependents

是否有家属

string

Yes,No

tenure

入网月数

int

0~72

PhoneService

是否开通电话业务

string

Yes,NO

MultipleLines

是否开通多线业务

string

Yes,No,No phone service

InternetService

是否开通互联网业务

string

DSL, Fiber optic, No

OnlineSecurity

是否开通在线安全业务

string

Yes,No,No internet service

OnlineBackup

是否开通在线备份业务

string

Yes,No,No internet service

DeviceProtection

是否开通设备保护业务

string

Yes,No,No internet service

TechSupport

是否开通技术支持业务

string

Yes,No,No internet service

StreamingTV

是否开通网络电视业务

string

Yes,No,No internet service

StreamingMovies

是否开通网络电影业务

string

Yes,NO,No internet service

Contract

合约期限

String

Month-to-Month,One Year,Two Year

PaperlessBilling

是否采用电子结算

string

Yes,NO

PaymentMethod

付款方式

string

check,Mailed check

MonthlyCharges

每月费用

float

18.25~118.75

TotalCharges

总费用

string

18.80~8684.80

Churn

客户是否流失

string

Yes,No

2.2 数据清洗

2.2.1 数据类型转换

#将TotalCharges强制转换为数值型数据,以便后续分析,不可转换的值变为nan
tel.TotalCharges = pd.to_numeric(tel['TotalCharges'],errors='coerce')
tel['SeniorCitizen'] = tel['SeniorCitizen'].astype('object')

2.2.2 缺失值处理

#查看缺失值
pd.isnull(tel).sum()
#删除缺失值
tel.dropna(inplace = True)
#再次查看缺失值
pd.isnull(tel).sum()

处理结果:

Out[87]: 
customerID          0
gender              0
SeniorCitizen       0
Partner             0
Dependents          0
tenure              0
PhoneService        0
MultipleLines       0
InternetService     0
OnlineSecurity      0
OnlineBackup        0
DeviceProtection    0
TechSupport         0
StreamingTV         0
StreamingMovies     0
Contract            0
PaperlessBilling    0
PaymentMethod       0
MonthlyCharges      0
TotalCharges        0
Churn               0
dtype: int64

????????从输出结果可以看出,处理后的数据集中不含缺失值。?

2.2.3 重复值处理

tel = tel.drop_duplicates()

2.2.4 异常值处理

(1)分类数据异常值检测

tel2 = tel.drop(axis=1,columns=['customerID','tenure','MonthlyCharges','TotalCharges'])
#输出分类数据各记录值
for i in tel2.columns:
    print(i, "--" ,tel2[i].unique())

检测结果:

gender -- ['Female' 'Male']
SeniorCitizen -- [0 1]
Partner -- ['Yes' 'No']
Dependents -- ['No' 'Yes']
PhoneService -- ['No' 'Yes']
MultipleLines -- ['No phone service' 'No' 'Yes']
InternetService -- ['DSL' 'Fiber optic' 'No']
OnlineSecurity -- ['No' 'Yes' 'No internet service']
OnlineBackup -- ['Yes' 'No' 'No internet service']
DeviceProtection -- ['No' 'Yes' 'No internet service']
TechSupport -- ['No' 'Yes' 'No internet service']
StreamingTV -- ['No' 'Yes' 'No internet service']
StreamingMovies -- ['No' 'Yes' 'No internet service']
Contract -- ['Month-to-month' 'One year' 'Two year']
PaperlessBilling -- ['Yes' 'No']
PaymentMethod -- ['Electronic check' 'Mailed check' 'Bank transfer (automatic)' 'Credit card (automatic)']
Churn -- ['No' 'Yes']

? ? ? ? 通过检测结果可知,样本分类特征数据无异常值,因此无需异常处理。

(2)数值型数据异常值检测

#绘制箱线图观察数据异常情况
plt.subplots(3,1,figsize=(14,14))
tel3 = tel[['tenure','MonthlyCharges','TotalCharges']]
for i,j in zip(tel3.columns,(1,2,3)):
    plt.subplot(3,1,j)
    plt.boxplot(tel3[i],vert=False,widths=0.8)
    plt.title(i,fontsize=16)

运行结果:

?

?????????由箱线图可以看出,这三列特征变量中不存在明显的异常值,因此不需要进行异常处理。

三、数据可视化分析

3.1 流失客户占比

#查看用户流失情况
tel['Churn'].value_counts()
#流失客户占比
ch =np.array(tel['Churn'])
ch[ch=='Yes'] = '已流失'
ch[ch=='No'] = '未流失'
df_ch = pd.DataFrame(ch)
labels = df_ch[0].value_counts().index
value =df_ch[0].value_counts()
plt.rcParams['font.sans-serif']=['SimHei'] 
plt.pie(value, labels=labels, colors=['blue','yellow'], explode=(0.1,0), autopct='%1.1f%%', shadow=True)
plt.title("流失客户占比")
plt.show()

?运行结果:

????????由图中结果可以看出,流失客户只占整体客户的26.6%,这将导致样本数据不均衡。

3.2 样本基本特征对客户流失率的影响

base = ['gender','SeniorCitizen','Partner','Dependents']
#绘制柱形图
plt.subplots(2,2,figsize=(14,14))
for i,j in zip(base,range(4)):
    x1 = pd.crosstab(tel[i],tel['Churn']).iloc[:,0]
    x2 = pd.crosstab(tel[i],tel['Churn']).iloc[:,1]
    plt.subplot(2,2,j+1)
    plt.bar(x1.index,x1)
    plt.bar(x1.index,x2,bottom=x1)
    plt.xticks(x1.index,fontsize=18)
    plt.yticks(fontsize=16)
    plt.title('Churn by '+ i,fontsize=20)
    plt.legend(['No','Yes'],title='Churn',fontsize=14)

?运行结果:

? ? ? ? ?由图中可以看出,男性与女性用户之间的流失情况基本没有差异,即性别对客户流失率没有影响;而老年用户群体中流失占比明显高于非老年群体,因此年龄对客户流失率有影响;在样本数据中未婚用户与已婚用户数量持平,但未婚中流失人数高出已婚近一倍;从经济独立情况看,经济未独立的用户流失率要远远高于经济独立的用户。

3.3 样本特征相关性分析

3.3.1 特征值提取与编码

#选取数字特征进行factorize编码
tel['Churn'].replace('Yes','1',inplace = True)
tel['Churn'].replace('No','0',inplace = True)
df2 = tel.iloc[:,1:18]
fac = df2.apply(lambda x: pd.factorize(x)[0])

?编码前:

编码后:

3.3.2 构造相关系数矩阵

#构造相关系数矩阵
corr = fac.corr()

3.3.3 使用热力图显示相关系数

plt.figure(figsize=(24,16))
sns.heatmap(corr,xticklabels=corr.columns, yticklabels=corr.columns, linewidths=0.3, cmap='YlGnBu',annot=True)
plt.title('相关系数矩阵热力图',fontsize=20)
plt.xticks(fontsize=16)
plt.yticks(fontsize=16)

? ? ? ? 从热力图可以看出,互联网服务、网络安全服务、在线备份业务、设备保护业务、技术支持服务、网络电视以及网络电影之间存在较强的相关性,多线业务和电话服务之间也有很强的相关性,且呈强正相关关系。

3.3.4 电信用户是否流失与各变量之间的相关性

tel['Churn'] = tel['Churn'].astype('int')
tel_dummies = pd.get_dummies(tel.iloc[:,1:21])
plt.figure(figsize=(16,8))
plt.rcParams['axes.unicode_minus']=False
l = tel_dummies.corr()['Churn'].sort_values(ascending=False)
plt.bar(l.index, height=l)
plt.xticks(rotation = 90, fontsize=14)
plt.title('用户是否流失与各变量之间相关性柱状图', fontsize=16)

???????由柱形图可以看出,变量gender和PhoneService的值接近于0,因此这两个变量对电信客户流失预测影响非常小,可以直接舍弃。

3.3.5 各项业务服务对客户流失率的影响

items = ['OnlineSecurity','OnlineBackup','DeviceProtection','TechSupport','StreamingTV','StreamingMovies']
#绘制扇形图
for i,j in zip(items,range(6)):
    fig = plt.figure(figsize=(11,4.5))
    plt.title('Churn by '+i,fontsize=20)
    plt.xticks(fontsize=14)
    plt.yticks(fontsize=14)
    for p in range(3):
        f = fig.add_subplot(1,3,p+1)
        pi = tel[tel['OnlineSecurity'] == tel[i].unique()[p]]['Churn'].value_counts()
        f.pie(pi, labels=['No','Yes'], colors=['blue','yellow'], autopct='%1.2f%%', explode=(0.1,0),shadow=True,textprops={'fontsize':14})
        plt.tight_layout()
        plt.title(str(tel[i].unique()[p]),fontsize=15)

? ? ? ?由上图可以看出,在网络安全服务、在线备份业务、设备保护业务、技术支持服务、网络电视和网络电影六个变量中,没有开通互联网服务的客户流失率均为7.43%,可以判断以上六个要素只有在客户使用互联网服务是才会影响客户的决策,而不会对不使用互联网服务的客户决定是否流失产生影响。此外,以上六项互联网服务开通之后的客户流失率明显降低,因此可以认为多绑定业务有助于用户的留存。

3.3.6 合约签订期限对客户流失率的影响

sns.barplot(x="Contract",y="Churn", data=tel, order= ['Month-to-month', 'One year', 'Two year'])
plt.title('Churn by Contract type')

? ? ? ?由上图可以看出,合约签订的期限越长,客户流失率越低,可以认为,设定长期合同有助于留住现有客户。

3.3.7 付款方式对客户流失率的影响

plt.figure(figsize=(10,5))
sns.barplot(x="PaymentMethod",y="Churn", data=tel, order= ['Bank transfer (automatic)', 'Credit card (automatic)', 'Electronic check','Mailed check'])
plt.title("Churn by PaymentMethod type")

?

? ? ? ?由上图可以看出,在四种支付方式中,使用电子支付的用户流失率远高于其他三种,原因可能是采用电子支付多为签订月合同期限的用户。

四、数据建模

4.1 特征值筛选与转换

4.1.1 特征值筛选

? ? ? ?根据前文分析可知,特征值gender、PhoneService与客户流失率相关性低,可认为其对客户是否流失无影响,而CustomerID表示每个客户的随机字符,对后续建模不影响,因此可剔除这三项特征数值。

tel.drop(['customerID', 'gender', 'PhoneService'],inplace=True,axis=1)
tel.shape

4.1.2 特征值标准化

? ? ? ? 由前文可知,各分类特征值的取值情况如下:

gender -- ['Female' 'Male']
SeniorCitizen -- [0 1]
Partner -- ['Yes' 'No']
Dependents -- ['No' 'Yes']
PhoneService -- ['No' 'Yes']
MultipleLines -- ['No phone service' 'No' 'Yes']
InternetService -- ['DSL' 'Fiber optic' 'No']
OnlineSecurity -- ['No' 'Yes' 'No internet service']
OnlineBackup -- ['Yes' 'No' 'No internet service']
DeviceProtection -- ['No' 'Yes' 'No internet service']
TechSupport -- ['No' 'Yes' 'No internet service']
StreamingTV -- ['No' 'Yes' 'No internet service']
StreamingMovies -- ['No' 'Yes' 'No internet service']
Contract -- ['Month-to-month' 'One year' 'Two year']
PaperlessBilling -- ['Yes' 'No']
PaymentMethod -- ['Electronic check' 'Mailed check' 'Bank transfer (automatic)' 'Credit card (automatic)']
Churn -- ['No' 'Yes']

? ? ? ? 综合之前的结果来看,在六个变量中存在No internet service和No phone service,这两个取值与No意义相同,为便于后续建模分析,可分别将其与No合并。

#将No internet service、No phone service分别与No合并
tel.replace(to_replace='No internet service', value='No', inplace=True)
tel.replace(to_replace='No phone service', value='No', inplace=True)
#使用Scikit-learn编码,将分类数据转换为整数编码
def t_encode(col):
    tel[col] = LabelEncoder().fit_transform(tel[col])

for i in range(0,len(tel.columns)):
    t_encode(tel.columns[i])
tel.index=range(len(tel))

将特征值合并并编码后结果如下:

SeniorCitizen -- [0 1]
Partner -- [1 0]
Dependents -- [0 1]
MultipleLines -- [0 1]
InternetService -- [0 1 2]
OnlineSecurity -- [0 1]
OnlineBackup -- [1 0]
DeviceProtection -- [0 1]
TechSupport -- [0 1]
StreamingTV -- [0 1]
StreamingMovies -- [0 1]
Contract -- [0 1 2]
PaperlessBilling -- [1 0]
PaymentMethod -- [2 3 0 1]
Churn -- [0 1]

4.2 数据切分

4.2.1 切分特征与标签

X = tel.iloc[:,0:-1]
Y = tel['Churn']
#由于样本中流失用户只有1869条数据,未流失用户有5163条数据,为避免样本不均衡,使用上采样对样本进行补充
sm = SMOTE(random_state=20)
X, Y = sm.fit_resample(X,Y) #补充后样本流失与未流失用户数据均为5163条

4.2.2 切分训练数据集和测试数据集

X_train,X_test,Y_train,Y_test = train_test_split(X, Y, test_size=0.2,random_state=0)
for i in [X_train,X_test,Y_train,Y_test]:
    i.index = range(i.shape[0])

4.3 模型训练与评估

4.3.1 模型训练

trees = DecisionTreeClassifier(random_state=0)
trees = trees.fit(X_train,Y_train)
score = trees.score(X_test,Y_test)
print(score)

? ? ? ? 模型初次训练得分为:0.78702807357212

4.3.2 模型评估

召回率(recall):原本为对的当中,预测结果为对的比例(值越大越好,1为理想状态);

精确度(precision):预测结果为对的当中,原本为对的比例(值越大越好,1为理想状态);

F1分数(F1-Score):(2*r*p)/(r+p),该指标综合Precision与Recall的产出结果。

pred = trees.predict(X_test)
r = recall_score(Y_test,pred)
p = precision_score(Y_test,pred)
f1 = f1_score(Y_test,pred)
print("召回率:" + str(r) + '\n' 
      "精确度:" + str(p) + '\n'
      "f1分数:" + str(f1))

召回率:0.7867924528301887
精确度:0.7958015267175572
f1分数:0.7912713472485768

五、模型优化

5.1 决策树预剪枝,绘制最大深度学习曲线

tr = []
te = []
for i in range(20):
    trees = DecisionTreeClassifier(random_state=0,max_depth=i+1,criterion='gini')
    trees = trees.fit(X_train,Y_train)
    score_tr = trees.score(X_train,Y_train)
    score_te = cross_val_score(trees,X,Y,cv=10).mean()
    tr.append(score_tr)
    te.append(score_te)
plt.plot(range(1,21),tr,color='red',label='train')
plt.plot(range(1,21),te,color='blue',label='test')
plt.xticks(range(1,21))
plt.legend()
plt.show()
te.index(max(te))

?剪枝后最优深度为:7

5.2 GridSearchCV网格搜索,寻找最优参数

#设置超参数取值范围
parameters = {
    'splitter':('best','random')
    ,'criterion':("gini","entropy")
    ,"max_depth":[*range(1,10)]
    ,'min_samples_leaf':[*range(1,50,5)]
    ,'min_impurity_decrease':[*np.linspace(0,0.5,20)]
}
clf = DecisionTreeClassifier(random_state=25)
GS = GridSearchCV(clf, parameters, cv=10)
GS.fit(X_train,Y_train)
#输出最优参数组合与及其最佳得分
GS.best_params_
GS.best_score_

最优参数组合:{'criterion': 'entropy',
? ? ? ? ? ? ? ? ? ? ? ? ? ?'max_depth': 9,
? ? ? ? ? ? ? ? ? ? ? ? ? ?'min_impurity_decrease': 0.0,
? ? ? ? ? ? ? ? ? ? ? ? ?? 'min_samples_leaf': 41,
? ? ? ? ? ? ? ? ? ? ? ? ? ?'splitter': 'best'}

最佳得分:0.8013317191283293

接下来将最优参数组合放入模型中进行训练。

5.3 构建最优参数模型

clf = DecisionTreeClassifier(random_state=0,criterion='entropy',max_depth=9,min_impurity_decrease=0,min_samples_leaf=41,splitter='best')
clf = clf.fit(X_train,Y_train)
score = clf.score(X_test,Y_test)
#模型评估
pred = clf.predict(X_test)
r = recall_score(Y_test,pred)
p = precision_score(Y_test,pred)
f1 = f1_score(Y_test,pred)
print("召回率:" + str(r) + '\n' 
      "精确度:" + str(p) + '\n'
      "f1分数:" + str(f1))

召回率:0.8452830188679246
精确度:0.8021486123545211
f1分数:0.8231511254019294

优化后的模型三个得分指标较优化前都有了一定程度的提升,且都达到0.8以上,预测效果较理想,因此可将此模型做为最终预测模型,该模型可视化结果如下:

六、结论

6.1 总结

通过以上分析,我们可以大致归纳出易流失的用户特征:

用户属性:老年用户、未婚用户、经济未独立的用户更容易流失;

服务属性:未开通相关附加增值服务的用户更容易流失;

合同属性:签订的合同期限越短、采用电子支付的用户更容易流失。

此外,是否开通电话服务对用户的留存基本无影响。

6.2 建议

(1)针对老年用户、未婚用户及经济未独立的用户群体,可以根据其喜好特征,为其制定多样化专属套餐,以提升其用户体验,从而降低流失率;

(2)针对存量老客户,可以根据其行为特征分析其购买相关增值服务的可能性,针对可能性较高的用户进行重点宣传,同时将相关增值服务进行捆绑销售,以促使用户进一步购买,加强用户对产品的黏性;对于新用户,可以在购买时赠送相关增值服务体验资格,以增强用户对增值服务的认知度与体验感;

(3)在与客户签订合同时,可以实行相应的价格优惠政策,激励客户签订长期合同,如签订两年期额外赠送两个月优惠,一年期和半年期给予相应程度的优惠等。此外,在用户支付方面,可以问卷调研等形式,了解用户对电子账单支付的体验感并进行改善,同时鼓励宣传用户采用其他方式支付等。

七、源代码

#导入相关库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import LabelEncoder
from imblearn.over_sampling import SMOTE
from sklearn.model_selection import cross_val_score,train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import classification_report,precision_score,recall_score,f1_score
from sklearn.model_selection import GridSearchCV
from sklearn import tree

#读取数据文件
tel = pd.read_csv(r"C:\Users\HP\Desktop\电信用户流失数据.csv")
#数据预览
tel.info()
#转换数据类型
tel.TotalCharges = pd.to_numeric(tel['TotalCharges'],errors='coerce')
tel['SeniorCitizen'] = tel['SeniorCitizen'].astype('object')
#处理缺失值
pd.isnull(tel).sum()
tel.dropna(inplace = True)
pd.isnull(tel).sum()

#重复值处理
tel = tel.drop_duplicates()

#异常值处理
  #分类数据异常值检测
tel2 = tel.drop(axis=1,columns=['customerID','tenure','MonthlyCharges','TotalCharges'])
for i in tel2.columns:
    print(i, "--" ,tel2[i].unique())
  #数值型数据异常值检测
plt.subplots(3,1,figsize=(14,14))
tel3 = tel[['tenure','MonthlyCharges','TotalCharges']]
for i,j in zip(tel3.columns,(1,2,3)):
    plt.subplot(3,1,j)
    plt.boxplot(tel3[i],vert=False,widths=0.8)
    plt.title(i,fontsize=20)
    plt.xticks(fontsize=16)
    plt.yticks(fontsize=20)

#查看用户流失情况
tel['Churn'].value_counts()

#流失客户占比
ch =np.array(tel['Churn'])
ch[ch=='Yes'] = '已流失'
ch[ch=='No'] = '未流失'
df_ch = pd.DataFrame(ch)
labels = df_ch[0].value_counts().index
value =df_ch[0].value_counts()
plt.rcParams['font.sans-serif']=['SimHei'] 
plt.pie(value, labels=labels, colors=['blue','yellow'], explode=(0.1,0), autopct='%1.1f%%', shadow=True)
plt.title("流失客户占比")
plt.show()

#样本基本特征对客户流失率的影响
base = ['gender','SeniorCitizen','Partner','Dependents']
plt.subplots(2,2,figsize=(14,14))
for i,j in zip(base,range(4)):
    x1 = pd.crosstab(tel[i],tel['Churn']).iloc[:,0]
    x2 = pd.crosstab(tel[i],tel['Churn']).iloc[:,1]
    plt.subplot(2,2,j+1)
    plt.bar(x1.index,x1)
    plt.bar(x1.index,x2,bottom=x1)
    plt.xticks(x1.index,fontsize=18)
    plt.yticks(fontsize=16)
    plt.title('Churn by '+ i,fontsize=20)
    plt.legend(['No','Yes'],title='Churn',fontsize=14)


#选取数字特征进行factorize编码
tel['Churn'].replace('Yes','1',inplace = True)
tel['Churn'].replace('No','0',inplace = True)
df2 = tel.iloc[:,1:18]
fac = df2.apply(lambda x: pd.factorize(x)[0])

#构造相关系数矩阵
corr = fac.corr()
print(corr)
corr=corr.astype(float)

#相关系数矩阵的热力图显示
plt.figure(figsize=(24,16))
sns.heatmap(corr,xticklabels=corr.columns, yticklabels=corr.columns, linewidths=0.3, cmap='YlGnBu',annot=True)
plt.title('相关系数矩阵热力图',fontsize=20)
plt.xticks(fontsize=16)
plt.yticks(fontsize=16)

#用户是否流失与各变量之间的相关性
tel['Churn'] = tel['Churn'].astype('int')
tel_dummies = pd.get_dummies(tel.iloc[:,1:21])
plt.figure(figsize=(16,8))
plt.rcParams['axes.unicode_minus']=False
l = tel_dummies.corr()['Churn'].sort_values(ascending=False)
plt.bar(l.index, height=l)
plt.xticks(rotation = 90, fontsize=14)
plt.title('用户是否流失与各变量之间相关性柱状图', fontsize=16)

#网络安全服务、在线备份业务、设备保护业务、技术支持服务、网络电视、网络电影和无互联网服务队客户流失率的影响
items = ['OnlineSecurity','OnlineBackup','DeviceProtection','TechSupport','StreamingTV','StreamingMovies']
for i,j in zip(items,range(6)):
    fig = plt.figure(figsize=(11,4.5))
    plt.title('Churn by '+i,fontsize=20)
    plt.xticks(fontsize=14)
    plt.yticks(fontsize=14)
    for p in range(3):
        f = fig.add_subplot(1,3,p+1)
        pi = tel[tel['OnlineSecurity'] == tel[i].unique()[p]]['Churn'].value_counts()
        f.pie(pi, labels=['No','Yes'], colors=['blue','yellow'], autopct='%1.2f%%', explode=(0.1,0),shadow=True,textprops={'fontsize':14})
        plt.tight_layout()
        plt.title(str(tel[i].unique()[p]),fontsize=15)

#合约签订期限对客户流失率的影响
sns.barplot(x="Contract",y="Churn", data=tel, order= ['Month-to-month', 'One year', 'Two year'])
plt.title('Churn by Contract type')

#付款方式对客户流失率的影响
plt.figure(figsize=(10,5))
sns.barplot(x="PaymentMethod",y="Churn", data=tel, order= ['Bank transfer (automatic)', 'Credit card (automatic)', 'Electronic check','Mailed check'])
plt.title("Churn by PaymentMethod type")

#特征值的筛选
tel.drop(['customerID', 'gender', 'PhoneService'],inplace=True,axis=1)
tel.shape

#特征值替换
tel.replace(to_replace='No internet service', value='No', inplace=True)
tel.replace(to_replace='No phone service', value='No', inplace=True)

#特征值标准化
def t_encode(col):
    tel[col] = LabelEncoder().fit_transform(tel[col])

for i in range(0,len(tel.columns)):
    t_encode(tel.columns[i])
tel.index=range(len(tel))
for i in tel.columns:
    print(i, "--" ,tel[i].unique())

#切分特征与标签
X = tel.iloc[:,0:-1]
Y = tel['Churn']
sm = SMOTE(random_state=20)
X, Y = sm.fit_resample(X,Y)
pd.Series(Y).value_counts()

#切分训练数据集和测试数据集
X_train,X_test,Y_train,Y_test = train_test_split(X, Y, test_size=0.2,random_state=0)
for i in [X_train,X_test,Y_train,Y_test]:
    i.index = range(i.shape[0])

#模型训练与评估
  #模型训练
trees = DecisionTreeClassifier(random_state=0)
trees = trees.fit(X_train,Y_train)
score = trees.score(X_test,Y_test)
print(score)

  #模型评估
pred = trees.predict(X_test)
r = recall_score(Y_test,pred)
p = precision_score(Y_test,pred)
f1 = f1_score(Y_test,pred)
print("召回率:" + str(r) + '\n' 
      "精确度:" + str(p) + '\n'
      "f1分数:" + str(f1))

#模型优化,剪枝,绘制最大深度学习曲线
tr = []
te = []
for i in range(20):
    trees = DecisionTreeClassifier(random_state=0,max_depth=i+1,criterion='gini')
    trees = trees.fit(X_train,Y_train)
    score_tr = trees.score(X_train,Y_train)
    score_te = cross_val_score(trees,X,Y,cv=10).mean()
    tr.append(score_tr)
    te.append(score_te)
plt.plot(range(1,21),tr,color='red',label='train')
plt.plot(range(1,21),te,color='blue',label='test')
plt.xticks(range(1,21))
plt.legend()
plt.show()
te.index(max(te))

#网格搜索,寻找最优参数
parameters = {
    'splitter':('best','random')
    ,'criterion':("gini","entropy")
    ,"max_depth":[*range(1,10)]
    ,'min_samples_leaf':[*range(1,50,5)]
    ,'min_impurity_decrease':[*np.linspace(0,0.5,20)]
}
clf = DecisionTreeClassifier(random_state=25)
GS = GridSearchCV(clf, parameters, cv=10)
GS.fit(X_train,Y_train)

#查看最优参数组合
GS.best_params_
GS.best_score_

#将最优参数组合导入模型进行训练
clf = DecisionTreeClassifier(random_state=0,criterion='entropy',max_depth=9,min_impurity_decrease=0,min_samples_leaf=41,splitter='best')

#拟合数据
clf = clf.fit(X_train,Y_train)
score = clf.score(X_test,Y_test)
score

#查看优化后各预测得分指标
pred = clf.predict(X_test)
r = recall_score(Y_test,pred)
p = precision_score(Y_test,pred)
f1 = f1_score(Y_test,pred)
print("召回率:" + str(r) + '\n' 
      "精确度:" + str(p) + '\n'
      "f1分数:" + str(f1))

#决策树可视化
fig, axes = plt.subplots(nrows = 1,ncols = 1,figsize = (160,80), dpi=70)
tree.plot_tree(clf,filled = True)
fig.savefig(r"C:\Users\HP\Desktop\决策树.png")
  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2021-10-24 14:56:26  更:2021-10-24 14:56:59 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/27 8:44:25-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码