Validación cruzada, búsqueda de cuadrículas, selección y ajuste de modelos, ajuste del valor K del aumento de la caja del iris e implementación del código de predicción de datos de la posición de registro del mundo artificial de Facebook train.csv

1. Validación cruzada

Validación cruzada: divida los datos de entrenamiento obtenidos en conjuntos de entrenamiento y verificación. Tome la siguiente figura como ejemplo. Divida los datos en 4 partes, una de las cuales se usa como conjunto de verificación. Después de 4 (grupos) de pruebas, cada vez se reemplaza un conjunto de verificación diferente, es decir, se obtienen los resultados de 4 conjuntos de modelos, y el valor promedio se toma como resultado final, también conocido como validación cruzada de 4 veces

Propósito de la validación cruzada: para que el modelo evaluado sea más preciso y creíble, la validación cruzada no puede mejorar la precisión del modelo.

Para que los resultados del modelo obtenidos del entrenamiento sean más precisos, los datos divididos se

Conjunto de entrenamiento: conjunto de entrenamiento + conjunto de validación
conjunto de prueba: conjunto de prueba

2. Búsqueda de cuadrícula

Búsqueda de cuadrícula: por lo general, hay muchos parámetros que deben especificarse manualmente (como el valor K en el algoritmo del vecino más cercano), que se denominan hiperparámetros . Sin embargo, el proceso manual es complicado, por lo que es necesario preestablecer varias combinaciones de hiperparámetros para el modelo, cada conjunto de hiperparámetros se evalúa mediante validación cruzada, y finalmente se selecciona la combinación de parámetros óptima para construir el modelo , es decir, los valores de los hiperparámetros se pasan como un diccionario, y luego se selecciona el valor óptimo

Validación cruzada, búsqueda en cuadrícula (selección y ajuste de modelos) API:

sklearn.model_selection.GridSearchCV(estimator, param_grid=None, cv=None): realiza una búsqueda exhaustiva sobre los valores de los parámetros especificados del estimador
- estimador: objeto estimador
- param_grid: parámetros del estimador (dict) {"n_neighbors": [1,3,5]}
- cv: especifique una validación cruzada de algunos pliegues
- ajuste: datos de entrenamiento de entrada
- puntuación: tasa de precisión
- Análisis de resultados:
  - bestscore__: el mejor resultado validado en validación cruzada
  - bestestimator: el mejor modelo paramétrico
  - cvresults: resultados de precisión del conjunto de validación y resultados de precisión del conjunto de entrenamiento después de cada validación cruzada

3. La carcasa del iris aumenta la afinación del valor K

Construya un estimador usando GridSearchCV

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier  # 导入模块

# 1.获取数据集
iris = load_iris()
# 2.数据基本处理
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)   # 划分数据集
# 3.特征工程：标准化
transfer = StandardScaler()   # 实例化一个转换器类
x_train = transfer.fit_transform(x_train)   # 调用fit_transform
x_test = transfer.transform(x_test)
# 4.KNN预估器流程
estimator = KNeighborsClassifier(n_neighbors=1)   # 实例化预估器类

# 模型选择与调优——网格搜索和交叉验证
param_dict = {"n_neighbors": [1, 3, 5, 7]}   # 准备要调的超参数
estimator = GridSearchCV(estimator, param_grid=param_dict, cv=3)  # estimator：选择了哪个训练模型，cv为几折交叉验证
estimator.fit(x_train, y_train)   # fit数据进行训练
# 5.评估模型效果
# 方法a：比对预测结果和真实值
y_predict = estimator.predict(x_test)
print('预测值是：\n', y_predict)
print("比对预测结果和真实值：\n", y_predict == y_test)
# 方法b：直接计算准确率
score = estimator.score(x_test, y_test)
print("直接计算准确率：\n", score)
# 评估查看最终选择的结果和交叉验证的结果
print("最好的参数模型：\n", estimator.best_estimator_)
print("在交叉验证中验证的最好结果：\n", estimator.best_score_)
print("每次交叉验证后的准确率结果：\n", estimator.cv_results_)
----------------------------------------------------------------
输出：
预测值是：
 [0 2 1 2 1 1 1 1 1 0 2 1 2 2 0 2 1 1 1 1 0 2 0 1 2 0 2 2 2 2 0 0 1 1 1 0 0
 0]
比对预测结果和真实值：
 [ True  True  True  True  True  True  True False  True  True  True  True
  True  True  True  True  True  True False  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True]
直接计算准确率：
 0.9473684210526315
最好的参数模型：
 KNeighborsClassifier()
在交叉验证中验证的最好结果：
 0.9732100521574205
每次交叉验证后的准确率结果：
 {'mean_fit_time': array([0.00033259, 0.00031996, 0.00066495, 0.00060987]), 'std_fit_time': array([0.00047036, 0.00045249, 0.00047019, 0.00043647]), 'mean_score_time': array([0.00166217, 0.00200717, 0.00171733, 0.00133022]), 'std_score_time': array([4.70134086e-04, 1.72589729e-05, 5.13878713e-04, 4.70639818e-04]), 'param_n_neighbors': masked_array(data=[1, 3, 5, 7],
             mask=[False, False, False, False],
       fill_value='?',
            dtype=object), 'params': [{'n_neighbors': 1}, {'n_neighbors': 3}, {'n_neighbors': 5}, {'n_neighbors': 7}], 'split0_test_score': array([0.97368421, 0.97368421, 0.97368421, 0.97368421]), 'split1_test_score': array([0.97297297, 0.97297297, 0.97297297, 0.97297297]), 'split2_test_score': array([0.94594595, 0.89189189, 0.97297297, 0.97297297]), 'mean_test_score': array([0.96420104, 0.94618303, 0.97321005, 0.97321005]), 'std_test_score': array([0.01291157, 0.03839073, 0.00033528, 0.00033528]), 'rank_test_score': array([3, 4, 1, 1])}

4. Predicción de datos del mundo artificial de Facebook

train.csv, test.csv sitio web oficial de adquisición de datos: grid_knn | Kaggle

Los archivos de datos train.csv, test.csv son los siguientes

row_ id: el id del evento registrado
x, y: coordenadas
precisión: precisión de posicionamiento
tiempo: marca de tiempo
place._id: el id de la empresa, que es el objetivo previsto
Los pasos básicos
- procesamiento de datos
  - Limite el conjunto de datos DataFrame.query()
  - Seleccionar características temporales útiles
  - Eliminar usuarios con menos de n posiciones de inicio de sesión
- conjunto de datos dividido
- Estandarización
- k-Predicción del vecino más cercano

Introducción de datos: prediga el negocio que el usuario está viendo en función de la ubicación, la precisión y la marca de tiempo del usuario

el código se muestra a continuación

import pandas as pd
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier  # 导入模块

# 1、获取数据集
facebook = pd.read_csv("../data/train.csv")
# 2.基本数据处理
facebook_data = facebook.query("x>2.0 & x<2.5 & y>2.0 & y<2.5")  # 缩小数据范围
time = pd.to_datetime(facebook_data["time"], unit="s")   # 选择时间特征
time = pd.DatetimeIndex(time)
facebook_data["day"] = time.day
facebook_data["hour"] = time.hour
facebook_data["weekday"] = time.weekday
# 去掉签到较少的地方
place_count = facebook_data.groupby("place_id").count()
place_count = place_count[place_count["row_id"] > 3]
facebook_data = facebook_data[facebook_data["place_id"].isin(place_count.index)]
x = facebook_data[["x", "y", "accuracy", "day", "hour", "weekday"]]   # 确定特征值和目标值
y = facebook_data["place_id"]
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22)   # 分割数据集

# 3.特征工程--特征预处理(标准化)
transfer = StandardScaler()  # 实例化一个转换器
x_train = transfer.fit_transform(x_train)   # 调用fit_transform
x_test = transfer.fit_transform(x_test)

# 4.机器学习--knn+cv
estimator = KNeighborsClassifier()   # 实例化一个估计器
param_grid = {"n_neighbors": [1, 3, 5, 7, 9]}  # 准备要调的超参数
estimator = GridSearchCV(estimator, param_grid=param_grid, cv=10)   # 调用gridsearchCV,10折交叉验证
estimator.fit(x_train, y_train)   # 模型训练
# 5.模型评估
# 基本评估方式
score = estimator.score(x_test, y_test)
print("最后预测的准确率为:\n", score)

y_predict = estimator.predict(x_test)
print("最后的预测值为:\n", y_predict)
print("预测值和真实值的对比情况:\n", y_predict == y_test)

# 使用交叉验证后的评估方式
print("在交叉验证中验证的最好结果:\n", estimator.best_score_)
print("最好的参数模型:\n", estimator.best_estimator_)
print("每次交叉验证后的验证集准确率结果和训练集准确率结果:\n", estimator.cv_results_)
----------------------------------------------------------
输出：
最后预测的准确率为:
 0.36804111804111805
最后的预测值为:
 [9983648790 5806536504 9674001925 ... 1247398579 3455925971 5100539171]
预测值和真实值的对比情况:
 24703810     True
19445902    False
18490063     True
7762709     False
6505956     False
            ...  
27632888    False
23367671    False
6692268     False
25834435    False
13319005    False
Name: place_id, Length: 17316, dtype: bool
在交叉验证中验证的最好结果:
 0.36276655562074106
最好的参数模型:
 KNeighborsClassifier()
每次交叉验证后的验证集准确率结果和训练集准确率结果:
 {'mean_fit_time': array([0.2586242 , 0.29684422, 0.27456429, 0.30488372, 0.31562543]), 'std_fit_time': array([0.08488032, 0.07275422, 0.10609217, 0.10391282, 0.0656314 ]), 'mean_score_time': array([0.51792595, 0.61323991, 0.72256181, 0.88158529, 0.97560654]), 'std_score_time': array([0.10981396, 0.11335467, 0.24410747, 0.13826019, 0.14417211]), 'param_n_neighbors': masked_array(data=[1, 3, 5, 7, 9],
             mask=[False, False, False, False, False],
       fill_value='?',
            dtype=object), 'params': [{'n_neighbors': 1}, {'n_neighbors': 3}, {'n_neighbors': 5}, {'n_neighbors': 7}, {'n_neighbors': 9}], 'split0_test_score': array([0.36650626, 0.35534167, 0.3653513 , 0.36496631, 0.35611165]), 'split1_test_score': array([0.36323388, 0.35630414, 0.35765159, 0.36034649, 0.3574591 ]), 'split2_test_score': array([0.3680462 , 0.35437921, 0.36284889, 0.36111646, 0.36419634]), 'split3_test_score': array([0.36169394, 0.35091434, 0.36438884, 0.36458133, 0.36188643]), 'split4_test_score': array([0.35842156, 0.34898941, 0.35380173, 0.35784408, 0.3520693 ]), 'split5_test_score': array([0.35399423, 0.34879692, 0.36111646, 0.35861405, 0.35668912]), 'split6_test_score': array([0.3599615 , 0.35303176, 0.36785371, 0.36458133, 0.35899904]), 'split7_test_score': array([0.3574591 , 0.35688162, 0.37208855, 0.37170356, 0.36053898]), 'split8_test_score': array([0.35444744, 0.34674625, 0.36176357, 0.35425491, 0.34867154]), 'split9_test_score': array([0.3600308 , 0.35252214, 0.36080092, 0.35829804, 0.35656527]), 'mean_test_score': array([0.36037949, 0.35239075, 0.36276656, 0.36163066, 0.35731868]), 'std_test_score': array([0.00441373, 0.00327258, 0.00486026, 0.0046996 , 0.00431428]), 'rank_test_score': array([3, 5, 1, 2, 4])}

Aprendiendo a navegar: http://xqnav.top/