1. Метод оценки
Чтобы оценить ошибку обобщения учащегося, необходимо использовать тестовый набор (не входящий в обучающий набор) для проверки способностей модели. В это время мы соответствующим образом обработаем набор данных D и получим обучающий набор S и тестовый набор T из D. Мало того, иногда в D необходим набор проверки (Validation) для сравнения результатов разных моделей.
1.1 Удержание
Прямо говоря, набор данных делится на два взаимоисключающих набора. Например, набор данных разделен на 37 точек: 7 точек в качестве обучающего набора и 3 точки в качестве тестового набора. Обычно используют несколько случайных делений, повторяют экспериментальную оценку и принимают среднее значение, полученное методом удержания. Важно обратить внимание на коэффициент деления, потому что:
Слишком много S -----Слишком мало T ------ Результаты оценки могут быть недостаточно точными
Слишком мало S ----- Слишком много T ------ Разрыв между реальной моделью и реальная модель слишком хороша.
1.2 Метод перекрестной проверки (Перекрестная проверка)
Разделите набор данных D на K взаимоисключающих подмножеств одинакового размера. Каждый раз в качестве обучающего набора используются подмножества К-1, а оставшееся — в качестве тестового. Таким образом, можно получить K наборов обучающих наборов и тестовых наборов, так что можно выполнить k обучения и тестирования, а окончательный результат также является средним значением k наборов результатов тестов.
Если всего имеется m выборок, k = m, метод перекрестной проверки, полученный в этом особом случае, называется Leave-One-Out.Преимущество метода Leave-One-Out состоит в том, что фактическая оцененная модель очень близка к ожидаемая оцениваемая модель. Недостатком является то, что вычислительные затраты слишком велики.
1.3 Начальная загрузка
У двух вышеупомянутых методов есть недостаток: обучающий набор меньше фактического набора данных D, и нам нужна модель, обученная D. Поэтому метод начальной загрузки очень хорошо решает эту проблему.В наборе данных D из m выборок каждый раз