심층적인 기계 학습의 NAS(신경망 아키텍처 검색)(코드 포함)

개념

NAS(Neural Architecture Search)는 신경망의 구조 공간을 검색하여 특정 작업을 해결하기 위한 최적의 네트워크 아키텍처를 찾는 것을 목표로 하는 자동화된 기계 학습 기술입니다. 일반적으로 이 검색 프로세스는 강화 학습, 진화 알고리즘, 유전 알고리즘 또는 기타 최적화 방법을 통해 수행될 수 있습니다. 신경 구조 검색의 목표는 신경망의 성능을 향상시키고, 네트워크 구조를 수동으로 설계하는 작업량을 줄이고, 모델의 일반화 능력을 향상시키는 것입니다. NAS의 목표는 신경망 구조를 수동으로 설계하는 작업량을 줄이는 동시에 네트워크 성능을 향상시키는 것입니다.

신경구조 검색의 기본 과정은 다음과 같습니다.

1. 검색 공간 정의 :

   • 깊이, 너비, 각 레이어의 활성화 함수, 컨볼루션 커널 크기 및 네트워크의 기타 하이퍼파라미터를 포함하여 신경망 구조의 검색 공간을 정의합니다.

2. 성능 평가 :

   • 검증 세트에 대한 정확도 또는 손실 함수 값과 같은 성능 지표를 정의합니다.

3. 검색 알고리즘 선택 :

   • 무작위 검색, 진화 알고리즘, 강화 학습 방법, 경사 기반 방법 등 검색용 알고리즘을 선택합니다.

4. 모델 평가 :

   • 각 후보 구조에 대해 모델은 주어진 성능 지표를 사용하여 훈련 세트에서 훈련되고 검증 세트에서 평가됩니다.

5. 검색 Sp 업데이트