귀납적 편향:
사전 지식/미리 만들어진 가정
CNN: 두 가지 귀납적 편향이 있습니다.
-
지역성, cnn은 슬라이딩 윈도우 형태로 그림에 조금씩 컨볼루션되기 때문에 그림의 인접한 영역에 인접한 특징이 있을 것이라고 가정합니다.
-
번역 등가 번역은 f(g(x)) = g(f(x))와 동일하며
f는 컨볼루션으로 이해될 수 있으며 g는 번역으로 이해될 수 있습니다. CNN의 컨볼루션 커널은 사원과 같은 템플릿과 같기 때문에 템플릿이 어디로 이동하든 동일한 입력이 들어오고 동일한 컨볼루션 커널을 만나면 그 출력은 항상 동일할 것입니다.
CNN이 이 두 개의 귀납적 편향을 갖게 되면 사전 정보가 많아 더 나은 모델을 학습하는 데 상대적으로 적은 데이터가 필요하지만 변환기의 경우 이 사전 정보가 없으므로 시각을 인식하려면 다음을 학습해야 합니다. 데이터에서 직접.
따라서 CNN의 단점은 훈련 세트 데이터가 상대적으로 작을 때 일반화가 좋지 않다는 것입니다.
디코딩은 VIT에 관여하지 않기 때문에 Q를 생성할 때 디코딩에서 오는 것으로 나타나지 않고 KV는 인코더에서 나옵니다.