Краткое изложение каталога обучения искусственному интеллекту
1. От полносвязного слоя к свертке
1.1 Свертка
В многослойном перцептроне, который мы изучили ранее, нам уже известен полный уровень соединения.Недостаток очевиден.В немного большей модели сети параметры растут в геометрической прогрессии. Число параметров быстро достигает миллиардов, и эту величину практически невозможно вычислить. По этой причине учёные придумали метод уменьшения параметров: свёртку.
Вывод от полностью связанных слоев к сверткам использует следующие два принципа:
- Трансляционная инвариантность: независимо от того, где на изображении появляется обнаруженный объект, первые несколько слоев нейронной сети должны иметь одинаковую реакцию на одну и ту же область изображения, то есть «трансляционную инвариантность».
- Локальность: первые несколько слоев нейронной сети должны исследовать только локальные области входного изображения, не уделяя слишком много внимания взаимосвязям между удаленными областями изображения. Это принцип «локальности». В конечном итоге эти локальные функции можно объединить для прогнозирования на уровне всего изображения.
(Насколько я понимаю) Если вы уже поняли, что такое ядро свертки, вы можете понять два вышеуказанных принципа следующим образом:
- Ядро свертки скользит по изображению с определенным шагом.Зачем мы это делаем? Принцип — «трансляционная инвариантность».
- Почему ядра свертки имеют небольшие размеры (3х3, 5х5 и т. д.)? Принцип «локальности».
От математического рассуждения полносвязного слоя до свертки рекомендуется несколько раз прочитать содержание оригинальной книги. Логика, объясненная автором, очень ясна, и после ее прочтения вы почувствуете себя просветленным.