持久化加载模型

找到一个能够生成高准确度模型的算法不是机器学习最后的步骤，在实际的项目中，需要将生成的模型序列化，并将其发布到生产环境中。当有新数据出现时，需要反序列化已保存的模型，然后用其预测新的数据。
a.模型序列化和重用的重要性
b.如何通过pickle来序列化和反序列化机器学习的模型
c.如何通过joblib来序列化和反序列化机器学习的模型

1.通过pickle序列化和反序列化机器学习的模型
pickle是标准的Python序列化的方法，可以通过它来序列化机器学习算法生成的模型，并将其保存到文件中。当需要对新数据进行预测时，将保存在文件中的模型反序列化，并用其来预测新数据的结果。在机器学习项目中，当模型训练需要花费大量时间时，模型序列化时尤为重要的。

from pandas import read_csv
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from pickle import dump
from pickle import load
#导入数据
filename = '/home/hadoop/DataSet/pima indians.csv'
names = ['preg','plas','pres','skin','test','mass','pedi','age','class']
data = read_csv(filename,names=names)
#将数据分为输入数据和输出结果
array = data.values
X = array[:,0:8]
Y = array[:,8]
test_size = 0.33
seed = 4
X_train,X_test,Y_training,Y_test = train_test_split(X,Y,test_size=test_size,random_state = seed)
#训练模型
model = LogisticRegression()
model.fit(X_train,Y_training)
#保存模型
model_file = 'finalized_model.sav'
with open(model_file,'wb') as model_f:
   #模型序列化
   dump(model,model_f)
#加载模型
with open(model_file,'rb') as model_f:
   #模型反序列化
   loaded_model = load(model_f)
   result = loaded_model.score(X_test,Y_test)
   print("算法评估结果:%.3f%%"%(result*100))

2.通过joblib序列化和反序列化机器学习的模型
joblib是Scipy生态环境的一部分，提供了通用的工具来序列化Python的对象和反序列化Python的对象。通过joblib序列化对象时会采用Numpy的格式保存数据，这对某些保存数据到模型中的算法非常有效，如K近邻算法。

from pandas import read_csv
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.externals.joblib import dump
from sklearn.externals.joblib import load
#导入数据
filename = '/home/hadoop/DataSet/pima indians.csv'
names = ['preg','plas','pres','skin','test','mass','pedi','age','class']
data = read_csv(filename,names=names)
#将数据分为输入数据和输出结果
array = data.values
X = array[:,0:8]
Y = array[:,8]
test_size = 0.33
seed = 4
X_train,X_test,Y_training,Y_test = train_test_split(X,Y,test_size=test_size,random_state=seed)
model = LogisticRegression()
model.fit(X_train,Y_training)
#保存模型
model_file = 'finalized_model_joblib.sav'
with open(model_file,'wb') as model_f:
   dump(model,model_f)
#加载模型
with open(model_file,'rb') as model_f:
   loaded_model = load(model_f)
   result = loaded_model.score(X_test,Y_test)
   print("算法评估结果:%.3f%%"%(result*100))

3.生成模型的技巧
在生成机器学习模型时，需要考虑以下几个问题：
a.Python的版本：要记录下Python的版本，大部分情况下，在序列化模型和反序列化模型时，需要使用相同的Python版本
b.类库版本：同样需要记录所有的主要类库的版本，因为在序列化模型和反序列化模型时需要使用相同版本的类库，不仅需要Scipy和sklearn版本一致，其他的类库版本也需要一致
c.手动序列化：有时需要手动序列化算法参数

猜你喜欢