[Python知识库]动手学数据分析-task05

模型建立和评估

前面做的都是对数据进行预处理，数据分析中最重要的一步是用处理过的数据进行建模，然后得到我们想要的结果，比如说预测或者是其他。

1. 模型建立
   模型建立这一步，常用的python库有：
   pandas：数据处理
   numpy：数据处理
   matplotlib：数据可视化
   seaborn：数据可视化
   image：数据可视化
   首先模型的输入是清洗过后的数据，它在原始训练数据的基础上，对原始数据进行了筛选，避免了变量重复，并且对其中的某些变量进行了扩展，比如说pd.get_dummies()处理。
   输入数据对于模型的拟合来说非常重要，当样本量过大，变量较少时，容易造成过拟合，反之容易欠拟合。
   一般来说，拿到的数据样本不会是理想的，极大可能集中分布在某一个区域，此时采用分层抽样来划分数据集，可以有利于模型的训练。

from sklearn.model_selection import train_test_split
X = clear_data
y = train_data['Survived']
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0)

所用数据集任务是判断泰坦尼克号里的人是否能存活，是一个分类任务，常用的分类模型有逻辑回归和随机森林树。

from sklearn.model_selection import train_test_split
X = clear_data
y = train_data['Survived']
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0)
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier

lr = LogisticRegression()
lr.fit(X_train,y_train)
print("Training set score: {:.2f}".format(lr.score(X_train, y_train)))
print("Testing set score: {:.2f}".format(lr.score(X_test, y_test)))

rfc = RandomForestClassifier()
rfc.fit(X_train,y_train)
print("Training set score: {:.2f}".format(rfc.score(X_train, y_train)))
print("Testing set score: {:.2f}".format(rfc.score(X_test, y_test)))
pred = lr.predict(X_train)

2. 评估
   常用的衡量指标是准确率和召回率，通常两者都高的话说明模型的拟合效果比较好。

from sklearn.model_selection import cross_val_score
lr = LogisticRegression(C=100)
scores = cross_val_score(lr, X_train, y_train, cv=10)

#交叉验证
from sklearn.metrics import confusion_matrix
lr = LogisticRegression(C=100)
lr.fit(X_train, y_train)
pred = lr.predict(X_train)
confusion_matrix(y_train, pred)
from sklearn.metrics import classification_report
print(classification_report(y_train, pred))

#混淆矩阵
from sklearn.metrics import roc_curve
fpr, tpr, thresholds = roc_curve(y_test, lr.decision_function(X_test))
plt.plot(fpr, tpr, label="ROC Curve")
plt.xlabel("FPR")
plt.ylabel("TPR (recall)")

#ROC曲线
close_zero = np.argmin(np.abs(thresholds))
plt.plot(fpr[close_zero], tpr[close_zero], 'o', markersize=10, label="threshold zero", fillstyle="none", c='k', mew=2)
plt.legend(loc=4)