경사 하강법은 매우 일반적으로 사용되는 알고리즘으로 선형 회귀 및 선형 회귀 모델뿐만 아니라 제곱 오류 비용 함수에도 사용됩니다.
이번 섹션에서는 경사하강법과 비용함수를 결합해 보겠습니다. 우리는 이 알고리즘을 사용하여 직선을 맞추기 위한 특정 선형 회귀 알고리즘에 적용할 것입니다.
경사 하강 알고리즘과 선형 회귀 알고리즘의 비교는 다음과 같습니다.
이전 선형 회귀 문제에서 경사하강법을 사용하여 핵심은 비용 함수의 도함수를 찾는 것입니다. 즉,
그런 다음 알고리즘은 다음과 같이 다시 작성됩니다.
방금 사용한 알고리즘으로 배치 경사하강법이라고도 합니다. 실제로 머신러닝에서는 알고리즘에 이름을 붙이지 않는 경우가 많지만 "배치 경사하강법"이라는 이름은 경사하강법의 각 단계에서 모든 훈련 샘플을 사용한다는 점에서 유래한 것입니다. 경사하강법에서는 미분 유도 항을 계산할 때 , 합산 연산을 수행해야 하므로 각 개별 경사하강법에서 결국 모든 훈련 샘플의 합이 필요한 계산을 해야 합니다. 따라서 배치 경사하강법이라는 이름은 이 모든 "배치" 훈련 샘플을 고려해야 함을 나타냅니다. 실제로 때로는 이 "배치" 유형이 아니고 전체 훈련 세트를 고려하지 않는 다른 유형의 경사하강법 방법도 있습니다. . , 하지만 매번 훈련 세트의 일부 작은 하위 집합에만 집중하세요. 또한 이후 강의에서 이러한 방법을 다룰 것입니다.
하지만 지금은 방금 배운 알고리즘을 적용해 보세요ÿ