|
结果部署是机器学习项目中的最后一步，也是最重要的步骤之一。选定算法之后，对算法训练生成模型，并部署到生产环境上，以便利用机器学习解决实际问题。模型生成之后，也需要定期对模型进行更新，使模型处于最新、最有效的状态，通常建议3~6个月更新一次模型。
找到一个能够生成高准确度模型的算法不是机器学习最后的步骤，在实际的项目中，需要将生成的模型序列化，并将其发布到生产环境。当有新数据出现时，需要反序列化已保存的模型，然后用其预测新的数据。
1.1 通过pickle序列化和反序列化机器学习的模型
pickle是标准的Python序列化的方法，可以通过它来序列化机器学习算法生成的模型，并将其保存到文件中。当需要对新数据进行预测时，将保存在文件中的模型反序列化，并用其来预测新数据的结果。
下面给出一个根据Pima Indians数据集训练逻辑回归算法生成的一个模型，并将其序列化到文件，然后反序列化这个模型的例子。在机器学习项目中，当模型训练需要花费大量的时间时，模型序列化是尤为重要的。
from pandas import read_csv
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from pickle import dump
from pickle import load
# 导入数据
filename = 'pima_data.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(filename, names=names)
# 将数据分为输入数据和输出结果
array = data.values
X = array[:, 0:8]
Y = array[:, 8]
test_size = 0.33
seed = 4
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=test_size, random_state=seed)
# 训练模型
model = LogisticRegression()
model.fit(X_train, Y_train)
# 保存模型
model_file = 'finalized_model.sav'
with open(model_file, 'wb') as model_f:
# 模型序列化
dump(model, model_f)
# 加载模型
with open(model_file, 'rb') as model_f:
# 模型反序列化
loaded_model = load(model_f)
result = loaded_model.score(X_test, Y_test)
print("算法评估结果：%.3f%%" % (result * 100))
1.2 通过joblib序列化和反序列化机器学习的模型
joblib是SciPy生态环境的一部分，提供了通用的工具来序列化Python的对象和反序列化Python的对象。通过joblib序列化对象时会采用NumPy的格式保存数据，这对某些保存数据到模型中的算法非常有效，如K近邻算法。
from pandas import read_csv
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from joblib import dump
from joblib import load
# 导入数据
filename = 'pima_data.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(filename, names=names)
# 将数据分为输入数据和输出结果
array = data.values
X = array[:, 0:8]
Y = array[:, 8]
test_size = 0.33
seed = 4
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=test_size, random_state=seed)
# 训练模型
model = LogisticRegression()
model.fit(X_train, Y_train)
# 保存模型
model_file = 'finalized_model_joblib.sav'
with open(model_file, 'wb') as model_f:
dump(model, model_f)
# 加载模型
with open(model_file, 'rb') as model_f:
loaded_model = load(model_f)
result = loaded_model.score(X_test, Y_test)
print("算法评估结果：%.3f%%" % (result * 100))
参考资料
[1] 魏贞原.2018.机器学习:Python实践[M].北京:电子工业出版社
|