BYRans 블로그에서 : http://www.cnblogs.com/BYRans/
이 문서에서는 로지스틱 회귀 분류 문제에 대해 설명합니다. 로지스틱 회귀는이다 이진 분류 문제 .
이진 분류
이진 분류는 y 값 만 두 값 (0 또는 1), 이진 분류는 여러 분류로 확장 될 수있다 예측로는 말한다. 예를 들어 우리는 스팸 필터링 시스템을해야 할, 
클래스 메일은 y 값을 예측, 메일 스팸 또는 합법적 인 메일입니다 특징이다. 분류를 위해 우리는 통상적으로 양의 클래스 (클래스 포지티브) 및 네가티브 형 (마이너스 클래스)로 지칭되는 메시지는 정상적인 양의 스팸 클래스의 예이며, 음의 클래스는 스팸이다.
로지스틱 회귀
물류 기능
우리가 Y의 값을 이진 분류를 무시하면 이산 값 (0 또는 1), 우리는 계속 사용할 선형 회귀 (Y)의 값을 예측하기. Y의 값이 발생하지 않을 그렇게하면 0 또는 1이다. 로지스틱 회귀 함수 (Y)의 값을 사용하는 구간 (0,1)에서, Y의 값이 함수가 호출되도록 정규화 로지스틱 방정식 (로지스틱 방정식) 도 공지 시그 모이 드 함수 (시그 모이 드 함수). 함수식 다음과 같다 :
Z는 무한대에 가까워 로지스틱 함수 g (Z)는 1 경향 Z는 H 무한대로 이행 한 경우, g (Z)는 0에 접근한다. 물류 기능은 다음과 같은 패턴을 가지고 :
이 기능은 다음의 유도, 특성에 사용되는 특성 물류 유도 함수가있다 :
로지스틱 회귀 식
로지스틱 회귀 분석은 제 선형 합에있어서, 다음 함수 g (z) 함수가 가장 예측 가정하여, 즉, 맵핑 기능 층의 매핑 결과에 부가 기능 특성의 선형 회귀이다. g (Z)는 0과 1 사이의 연속 값에 매핑 될 수있다. 선형 회귀 식 g (z)로, 회귀 식을 얻을 수있다 :
관례 적으로 그렇게 
표현을하는 변환된다 :
소프트 분류 로지스틱 회귀 분석
우리는 이제 y 값 것이다 로지스틱 방정식에 의한은 정규화 (0,1) 사이에서, y 값은 x의 카테고리 1과 카테고리 0으로 분류 결과를 입력하므로, 취할 수있는 결과의 확률을 나타내는, 특별한 의미를 갖는다 확률은 다음과 같습니다 :
합병이 무엇인지에 대한 위의 표현 :
그라데이션 상승
로지스틱 회귀 다음 유사한 구조 우도 함수 다음, 최대 우도 추정의 선형 회귀 식을 수득 드디어 발현 θ가 반복적으로 업데이트된다 나타낸다. 이 생각은하지 분명하다 기사 "를 참조하십시오 선형 회귀, 기울기 하강 "하지만, 여기 그라데이션 하강을 사용하지 않는,하지만 그라데이션 상승, 여기에 있기 때문에 가능성 기능을 최소화하지 않는 우도 함수를 극대화하는 것입니다.
우리는 훈련 샘플은 다음 우도 함수의 표현이며, 독립적이라고 가정합니다 :
또한 로그 우도 함수를 고려로 변환된다 :
θ 편미분의 우도 함수 우리는 예로서, 하나 개의 트레이닝 샘플을 갖는 경우에, 변환 :
Y = LNX Y '= 1 / X :이 프로세스의 첫 번째 단계는 디플렉터의 θ, 디플렉터는 식에 따라 변환의 편미분이다.
두 번째 단계는 상기 유도체 g의 g (z) 특성이다 '(z) = g (z) (1 - g (z)).
세 번째 단계는 통상 변환한다.
이러한 방법으로 우리는 다음 θ는 각 반복, 반복 발현 방향 그라데이션 상승 업데이트를 얻을 :
LMS 알고리즘에 비해 발현이 표현은 정확히 동일한 보이지만로 상승 구배 및 LMS는 두 개의 다른 알고리즘있다 에 표시되어있는
비선형 함수.
두 개의 서로 다른 알고리즘 같은 식으로 표현하고, 단지 우연의 일치는, 둘 사이에 딥 링크가있다. 이 질문에, 우리는 GLM에서 일반화 된 선형 모델에 응답 할 것이다.