B 스테이션의 코스 영상으로 작성한 노트를 감상해보세요
7-순전파의 전반적인 과정_bilibili_bilibili
사전 저장된 질문:
1. 비선형변환(활성화함수), 변환방법
입력
2. 완전 연결 레이어의 무게를 조작하는 방법
컨볼루션으로 출력된 2차원 특징 맵을 1차원 벡터로 변환합니다.
전체 연결 후 값을 얻기 위해 특성*가중치 행렬(n*1)을 출력합니다.
3. FC 레이어는 분류 결과를 어떻게 출력합니까?
4. 역전파의 세부 과정
1. 손실 함수
1. 점수 가치의 상실
f는 점수 함수, 다른 범주에 대한 Sj 점수, 올바른 범주에 대한 Syi 점수, 차이는 +1, 1은 허용오차로서의 오프셋 값, RW는 과적합을 방지하기 위한 정규화 페널티 항입니다.
손실 함수 = 데이터 손실 + 정규화 페널티 기간
2. 정규화된 확률 값 Softmax 분류기
점수 값을 확률 값으로 변환하고,
exp를 사용하여 차이를 증폭하고 확률 값을 얻습니다. -log를 사용하여 손실을 0과 1 사이에 배치합니다. 올바른 범주의 확률 값이 1에 가까울수록 손실이 작아집니다.
x와 W를 입력하여 손실 값 L을 단계별로 얻습니다. 순방향 전파라고 합니다.
3. 역전파 경사하강법 부분도함수 값
역전파되는 것은 각 레이어가 전달하는 가중치 W이며, 이는 편도함수 경사하강법으로 계산됩니다.
2. 신경망의 전체적인 기본 구조
1. 전체 구조
각 레이어의 가중치 조정 후 비선형 변환이 수행됩니다.(그림에서 빨간색 세로 사각형의 위치) 활성화 함수에 의해 비선형 변환이 완료됩니다.
2. 입력 레이어 입력 데이터 기능 x
2.1 데이터 전처리
표준화 작업: 평균 빼기, 분산으로 나누기
2.2 매개변수 초기화
가중치 매개변수에 대한 무작위 전략은
입력 레이어와 히든 레이어는 가중치 매개변수를 통해 연결됩니다.
여러 레이어를 거쳐 각 레이어에서 특징 추출이 수행됩니다.
다층 가중치 처리 후 최종적으로 출력값을 얻습니다.
3. 활성화 기능
3.1 시그모이드 함수:
수치가 크거나 작을 경우 도출효과가 좋지 않고 기울기도 사라진다.
3.2 Relu 함수
4. 손실
손실을 구한 다음 역전파하고, 각 레이어의 매개변수 W에 대한 편도함수를 수행하고 해당 값을 업데이트합니다.
전체 신경망의 목적은 현재 작업에 더 적합한 각 계층의 가중치 W를 찾는 것입니다.
5. 과적합에 대한 해결책:
5.1 정규화 페널티 값:
5.2 탈락
3. 컨볼루셔널 신경망
1. 컨볼루션 레이어
입력은 이미지의 특징값이고 중간 Filter 필터 가중치는 Convolution 커널이며, Convolution 커널과 같은 크기의 특징을 하나씩 가져와서 내적(해당 위치를 곱하고 모든 결과를 더함 ) 함께) 이 작품의 특징을 얻으려면 값(숫자), 그림에 표시된 왼쪽 상단 모서리 블록 RGB가 각각 내적 w0이고 값 3(오른쪽 녹색 상자)에 추가됩니다.
Filter 이후에는 Feature Map을 얻고, n Filters는 n개의 Feature Map을 얻으며, 쌓인 경우 깊이는 Filter의 레이어 수입니다.
하나의 컨볼루션 계층은 여러 개의 컨볼루션 커널과 여러 개의 필터를 가질 수 있으며, 하나의 컨볼루션 계층 이후에는 n개 계층의 특징 맵이 획득됩니다.
컨볼루션 결과 특징 맵의 크기:
2. 풀링 레이어
압축, 다운샘플링,
MAX POOLING: 최대 풀링, 각 프레임에서 최대값을 선택합니다.
각 컨벌루션 계층 뒤에는 RELU 활성화 계층과 풀링 계층이 와야 합니다.
풀링 레이어는 길이와 너비를 더 작게 만들지만 피처 레이어 수는 변경되지 않습니다.
3. 완전 연결 레이어 FC
풀링 레이어를 통해 얻은 다층 피처 맵을 특징값(벡터)로 하나씩 확장하고 여러 가지 분류 작업을 수행하여 분류 결과를 얻습니다.
가중치 매개변수 계산이 있는 레이어만 레이어 수로 계산됩니다. (CONV, FC는 레이어 수로 계산됩니다. 활성화 레이어와 풀링 레이어는 레이어 수로 계산되지 않습니다.)
4. 잔여 네트워크 Resnet
Convolutional Layer를 항상 쌓으면 효과가 감소하는 문제를 해결합니다.
