本文是Google机器学习教程（ML Crash Course with TensorFlow APIs）的学习笔记。教程地址：
https://developers.google.com/machine-learning/crash-course/ml-intro
8. 使用校验集和测试集以及评估模型
代码及解说地址：
https://colab.research.google.com/notebooks/mlcc/validation.ipynb
机器学习中的调试通常是数据调试而不是代码调试。
为了能使得训练的模型可以应用到新的『普通』数据，不会过耦合Overfitting，我们选取的样本数据要满足泛化假设：
为了评估模型，可以将数据集划分为训练集、校验集和测试集：
更高的工作流程：
如何对样本数据拆分？
首先，样本数据随机排序：
# 随机化有利于保障训练集与测试集的分布是一致的
california_housing_dataframe = california_housing_dataframe.reindex(
np.random.permutation(california_housing_dataframe.index))接下来拆分出数据：
# 训练集选取12000/17000
training_examples = preprocess_features(california_housing_dataframe.head(12000))
training_targets = preprocess_targets(california_housing_dataframe.head(12000))
# 选取后5000个作为验证集
validation_examples = preprocess_features(california_housing_dataframe.tail(5000))
validation_targets = preprocess_targets(california_housing_dataframe.tail(5000))可以通过图形化来分析数据的分布是否满足泛化，比如练习中有城市的坐标，可以绘制散点图：
plt.figure(figsize=(13, 8)) # 图的宽、高
ax = plt.subplot(1, 2, 1) # 绘制组合图，plt.subplot('行','列','编号'), 2行2列，编号1-4
ax.set_title("Validation Data")
ax.set_autoscaley_on(False)
ax.set_ylim([32, 43])
ax.set_autoscalex_on(False)
ax.set_xlim([-126, -112])
plt.scatter(validation_examples["longitude"],
validation_examples["latitude"],
cmap="coolwarm",
c=validation_targets["median_house_value"] / validation_targets["median_house_value"].max())
ax = plt.subplot(1, 2, 2)
ax.set_title("Training Data")
ax.set_autoscaley_on(False)
ax.set_ylim([32, 43])
ax.set_autoscalex_on(False)
ax.set_xlim([-126, -112])
plt.scatter(training_examples["longitude"],
training_examples["latitude"],
cmap="coolwarm",
c=training_targets["median_house_value"] / training_targets["median_house_value"].max())
_ = plt.plot()
plt.show()样本随机排序前的训练集、校验集分布：
样本集随机排序后的训练集、校验集分布：
训练集与校验集的预测偏差：
通过测试集来看看模型的效果，最终根方差在164：
