Глубина понимания сети AlexNet

　　В области классификации изображений необходимо упомянуть , является крупномасштабной визуальной ImageNet Challenge (ILSVRC), это называется глубиной сравнительное исследование прогресса в изучении классификации изображений задачи. AlexNet сети участвовали ILSVRC2012年大赛на 10% выше , чем второе преимущество в производительности сделал чемпионат. AlexNet сеть также VGGNet, фундамент и начать GoogLeNet, RESNET, DenseNet другой классической сети.
　　Есть три распространенных способа свертки, свертка , что является полной, SAME законн пользов - лям свертка и свертка. Если входное изображение пиксели для размера ядра свертки. Действительно при использовании свертки, величины выходного сигнала: с
　　помощью другой сверточной свертки таким же образом, размера выходного сигнала:
　　Alex Крижевского как imageNet классификации с глубокими сверточными нейронными сетями , предложенной AlexNet сетью. Крижевский и другие два GITX 580 3GB GPU с использованием обученной нейронной сети обучения свертке набор ImageNet обучения, и достигли высокой степени точности. Они также отметили, что просто лучше GPU производительность и большие наборы данных могут получить более высокую производительность сети.
　　Предложенный в этом документе AlexNet сеть представляет собой сеть слой 8, включающий 5 слоев свертке слой ( в котором первый, второй, том слоистого материала , прикрепленное на максимальном уровне клеток) и слой 3 полностью соединенные слои (последний слой содержит 1000 Дорожный SoftMax классификатор). AlexNet распределения сети на двух GPU, GPU только для обмена данными в фиксированном слое. Используя методы параллельной поперечной свертки равномерно на два GPU, графический процессор , так что две идентичной конфигурации сети. Выберите два GPU обработанных в целом для анализа, структура фиг см фиг третьих, не показанные на фигах нормализованы частичная операция реакции и не оказывают влияния на дропауте данных и т.д. различного размера. Свертывание образом сеть с использованием Действителен. Взаимосвязь между входным и выходным размером первой формулы, см.
　　Второй, четвертый и V свертка ламинируют только на одном и том же GPU в отображении ядра свертки соединения. Третий слой представляет собой ядро свертки свертки подключен к отображению второго слоя все ядра свертки. Полностью подключены слои нейронов в предыдущем слое и соединен со всеми нейронами. В ответ на операцию нормализации может выполняться после того, как первый слой и второй слой свертки. Это самая большая вырожденная слой следует за нормализацию ответа слоя и пятый слой свертки. Relu активации функции выхода свертки в каждом слое полностью связаны и.
　　Первый слой представляет собой свертку входного изображения 227 × 227 × 96 3 , используя размеры 11 × 11 × 3, стадия 4 ядра свертки. Объем второго сверточного слоя ламинированного выход в качестве входных данных, а также с размером ядра свертки 256 выполняет свертку 5 × 5 × 48. Третий, четвертая и V ламинированы друг с другом без какого - либо пулингового слоя или нормализованного слоя. Третий слой соединен с вторым слоем свертки свертки (объединенным нормализованногом), выходом третьего слоя 384 размера сверточного 3 × 3 × 256 ядра свертки. Свертка четвертый слой 384 размер ядра свертки из 3 × 3 × 192, и 256 V из слоистого материала размером 3 × 3 × 192 свертка ядра. Каждый слой полностью подключен 4096 нейронов. Это самое краткое описание сети AlexNet я когда - либо видел.
　　Существует также структура сети с использованием свертки ЖЕ. В той же конфигурации сети, размер входных данных различаются. В- четвертых фигура, частичная операция нормализуется ответ на данные размерного изменения не влияет на отсевом и тому подобное , не показаны на чертежах.
　　Детальный анализ заключается в следующем, фиг пятой фазовой диаграммы Conv1 потока данных.
　　При этом первый слой сверточного, первый слой и пул нормированных операций частичных стадий реакции CONV1 рассматриваются. Первый слой представляет собой свертка входного изображения , чтобы получить фиксированный размер 224 × 224 × 3 изображений путем изменения размера. Затем входное изображение , используя ядро свертки 11 × 11 × 3 операции свертки, метод свертки выбран тот же свертку. Каждая свертка генерирует карту функции на новом пикселя, ядро свертки в нужном направлении вниз пиксели в исходном изображении последовательно свертки каждого размера шага движения четыре пикселя. При недостаточном пиксель исходного изображения, используя дополнения нулей нули. В каждом ряду, движение ядра свертки 56 генерирует новый пиксель в художественном карте, 56 × 56 строк и столбцов точек пикселов , образовавшихся после исходного изображения на фиг характеризуется свертку. Характеризуется этап Conv1 дать размер 56 × 56 × 96 на фиг х. Эти особенности Relu фиг обработанные клетки, размер которых по - прежнему 56 × 56 × 96. Лечение слоя клеток представляет собой схему сверточных характеристик, объединяла операцию вывода слоя. Нулевая обивка таким же образом , как первый слой свертки способ, т.е. ЖЕ свертка. После объединения ширина или высоты выходного изображения составляет 26 пикселей. Т.е. размер пула данных после того, как 26 × 26 × 96. Наконец, в ответ на местную переработку нормировки. Размер данных не изменится. Conv2 входных данных выходного каскада, и пулы процесс свертки повторяется, так как другие слои стадии свертки Conv1 аналогичны опущено.
　　Хотя на фигуре. AlexNet пятая сеть не нормализованное частичную операцию ответа окраски, но имеет частичный ответ нормализованное AlexNet слой за слоем в каждом пуле. Цель нормализации , чтобы избежать информации слоя с углублением уровней и привести к появлению убывающей тенденции послойно, играет определенную роль в ускорении скорости сходимости нейронных сетей. Однако исследования последних лет свидетельствуют о том, что частичная нормализация реакции слой тренировочного процесса нейронной сети играют небольшую помощь, так уже постепенно не будет использоваться.
　　Шестая цифра анализа диаграммы потока данных FC6 стадии.
　　AlexNet шестой слой представляет собой слой , полностью подключен. Размер входных данных 7 × 7 × 256, а также данные , имеющие свертка сортировки ту же операцию свертки размера. Каждая свертка входного 7 × 7 × 256 размера данных для получения вычисления свертки результат свертки. В общей сложности 4096 нейронов FC6 слоя, каждый нейрон вывод результата свертки, результат свертки 4096 общих выходной. Результат свертки Relu с помощью функции активации, а затем инактивируется случайной операции, чтобы сохранить 50% от каждого нейрона. FC6 Окончательный выходной каскад данных, размер 4096.
　　В ходе этапа операции FC6, размер размера ядра свертки , которые будут использоваться в процессе характеризуются на фиг. 7 × 7 × 256, то есть, каждый параметр в ядре свертки с только значения пикселя фазовой характеристики на фиг. умножать. Свертка в других слоях, каждый из коэффициентов ядра свертки , соответствующие множество значений пикселей, происхождение которых полностью подключен слой.
　　Любая стратегия инактивации шестой показатель используется , может эффективно предотвратить чрезмерные облегать, принцип является обучением в каждой партии, поэтому некоторая случайная скрытый слой нейронная элемент не участвует в работе, но вес этих нейронов еще Она была сохранена. Случайный вывод инактивация политики является то , что нейронная сеть для повышения производительности за счет уменьшения взаимозависимости между нейронами.
　　FC7 стадии и FC6 же стадии. FC6 нейронов Выходных данных уровня 4096 FC7 полного соединения и с помощью функции активации Relu, а затем через произвольный размер и выводит обработанные данные 4096 живых. FC7 полного этап 10 соединен с нейронами восьмого уровня Софтмакса слоя 10 после выхода целевого значения вероятности обучения класса.
　　AlexNet сетей есть два важные, в первую очередь AlexNet многих элементов , используемых в сети , чтобы быть установлены параметры свертки нейронной сети общего по умолчанию, она до сих пор широко используются. Кроме того, она также позволяет исследователям понять , оптимизированная GPU функции 2-мерная свертка достаточной для поддержки обучения на больших наборах данных с высоким разрешением крупномасштабной сети CNN.
　　AlexNet сеть имеет очень важный этап. Для получения на градиентное время спуска подготовки, насыщенная линейная функция: TANH сигмовидной функции или функцию отношения ненасыщенной линейной функции: длинный с функцией РЕЛ. Функция активации AlexNet сети с помощью функции РЕЛУ, ускорить скорость обучения нейронной сети. Теперь функция глубины сети РЕЛУ почти стала функция активации по умолчанию. Использование стратегии повышения качества данных и тактика случайной инактивации (отсев) для предотвращения чрезмерного облегающего обучающих данных, он рисовал много сетей. AlexNet сети в сочетании с непрерывной сверткой цокольного этажа, и, наконец, весь слой соединения способа, остается основой современных передовых сетей.