LLM의 Chinese-LLaMA-Alpaca-2: 소스 코드 해석(run_clm_sft_with_peft.py 파일) - 모델 훈련 사전 작업(매개변수 분석 + 구성 로그) → 모델 초기화(훈련된 체크포인트가 있는지 감지 + 사전 훈련된 모델 로드 및 토크나이저) → 데이터 전처리(지도 작업을 위한 데이터 수집기 + 명령 데이터 세트[json 형식]) → 모델 구성 최적화(정량화 모듈 + 모델 어휘 크기 및 토크나이저 일치 + 초기화 PEFT 모델[LoRA] + 기울기 누적 체크포인트 등) → 모델 훈련(계속 훈련 + 평가 지표 + 중간 훈련 결과 자동 저장)/모델 평가(+PPL 지표)
목차