즉시 자동 기계 학습 이해와 함께! (AutoML를)

개인 블로그 탐색 페이지 (클릭 오른쪽에있는 링크를 개인 블로그를 엽니) : 다니엘은 기술 스택에 당신을 데려 갈

왜 자동 기계 학습

기계 학습의 새로운 사용자에 관한 내용은 기계 학습 알고리즘을 사용하는 주요 장애물은 많은 결정에 의한 알고리즘의 성능은 디자인에 영향을 미칠 수 있습니다. 깊은 학습의 보급으로, 엔지니어는 알고리즘의 성능에 큰 영향을 미칠 모두 등 적절한 신경 네트워크 아키텍처, 교육 과정, 정규화 방법, 초 매개 변수를 선택해야합니다. 그래서 깊은 학습 엔지니어는 보조 엔지니어를 새로 녹음.

자동 대상 기계 학습 (AutoML)는 위의 결정을 자동화 된 데이터 중심의 방법을 사용하는 것입니다. 사용자는 단순히 데이터가 자동 기계 학습 시스템이 자동으로 최적의 솔루션을 결정 제공합니다. 배울 수있는 프렛 다양한 기계 학습 알고리즘 분야의 전문가 더 이상 필요.

자동 기계 학습 알고리즘을 선택뿐만 아니라 잘 알려진, 매우 매개 변수 최적화, 신경 네트워크 아키텍처 검색, 또한 학습 기계가 워크 플로우의 각 단계를 다루고을 포함한다 :

자동 데이터 준비
자동 기능 선택
자동 선택 알고리즘
울트라 매개 변수 최적화
자동 조립 라인 / 워크 플로우 건설
신경 네트워크 아키텍처를 검색
자동 모델 선택 및 학습의 통합

울트라 매개 변수를 최적화 하이퍼 매개 변수 최적화

학습자 모델은 일반적으로 두 가지 유형의 매개 변수는, 클래스가 추정 얻은 데이터로부터 배울 수있는 매개 변수의 클래스가 데이터, 하이퍼 매개 변수가 될 사람들의 경험에 의해 지정된 단지 설계에서 추정 할 수있다. 예를 들어, 지원 벡터 C, 커널 인 게임 기계 안에 상기와 같은 내부 알파 나이브 베이 즈.

최적화 하이퍼 매개 변수를 여러 가지 방법이 있습니다 :

가장 일반적인 유형은 블랙 박스 최적화 (블랙 박스 기능 최적화)입니다. 소위 블랙 박스 최적화 결정 네트워크 만 입출력과 관련된 최적화하기 위해 블랙 박스로 처리하고, 내부기구를 무시한다. 의사 결정 네트워크는 일반적으로 매개 변수화 할 수 있습니다, 우리가 고려해야 할 첫 번째 일을 최적화 이번에는 융합.

방법의 유형은 다음과 블랙 박스의 위치 :

그리드 검색 (검색 그리드)
그리드 검색 모두가 잘 알고 있어야합니다, 그것은을 통해 모델의 성능을 최적화하기 위해 매개 변수의 특정 조합을 통과하는 방법입니다. 문제의 그리드 검색 차원의 매우 쉬운 저주의 장점은 매우 쉽게 평행입니다.
임의의 검색 (임의 됨)
임의의 검색 기능 난수 요청 및 최소값을 이용하여 결정된 최적의 솔루션을 근사하는 방법이다.

많은 경우에, 무작위 검색 그리드보다 더 나은 결과를 검색 할 수 있지만, 우리는 차트에서, 그들이 최적의 해결책을 찾기 위해 보장되지 않습니다 볼 수 있습니다.
베이지안 최적화
베이지안 최적화 알고리즘은 두 가지 요소를 포함하는 반복적 인 최적화이며, 입력 데이터는 가정 모델 및 수집 기능은 다음 평가하는 포인트를 결정하는 데 사용된다. 각각의 반복은, 관측 된 데이터의 모든 모델에 맞게 사용하고 확률 분포 기능이 작동 예측하는 모델을 사용하고, 매개 변수 포인트를 사용하거나 트레이드 오프가 Explaoration 착취되는 방법을 결정합니다. 다른 블랙 박스 최적화 계산 알고리즘에 비해 활성화 기능은 베이지안 최적화를 통해 더 나은 파라미터 튜닝 알고리즘으로 간주되는 이유입니다 훨씬 적습니다.

일부 블랙 박스 최적화 도구 :

hyperopt의
hyperopt은 실제, 최고의 가치 이산 값, 치수 및 검색 공간의 다른 조건을 찾을 수 있습니다 파이썬 라이브러리입니다.
구글 고관
기타 기계 학습 시스템 hyperparameter의 자동 최적화 등의 기술을 활용하기 위해 학습 구글 기계 학습 시스템 구글 고관 전송 내부
고문
구글 고관 오픈 소스 구현입니다.
katib의
하이퍼 매개 변수는 Kubernetes에 따라 최적화 도구

수학적 최적화 목적은 불연속 특성을 갖기 때문에, 등, 온 될 수 없으며, 일부 비 구배 최적화 검색 알고리즘은 우리가 위에서 언급 알고리즘 블랙 박스를 포함하여, 문제를 해결하기 위해 사용되도록. 이러한 알고리즘은 샘플링을 통해 검색하고 자주 샘플링의 평가는 더 나은 결과를 얻기 위해 샘플의 평가를 많이 필요로한다. 그러나, K-배 교차 검증에 의한 평가는 종종 자동 기계 학습 작업에서 얻은 큰 데이터 세트에서 기계 학습 작업, 엄청난 시간 비용 평가. 이것은 또한 자동화 된 기계 학습 문제에 대한 최적화 알고리즘의 효과에 영향을 미쳤다. 비용 평가를 줄일 수있는 몇 가지 방법을 제안 그래서, 상기 멀티 충실도 최적화 ( 멀티 피델리티 방법 ) 중 하나입니다. 기술은 다음과 같습니다 : 학습 곡선에 따라 탐구, 사전에 훈련을 종료할지 여부를 결정하기 -의 (탐사 개발) 악용 다중 슬롯 머신 알고리즘 (다중 슬롯 머신) 등을.

경사 하강 최적화를 기반으로 일부 연구도 있습니다.

울트라 매개 변수를 최적화면 많은 도전 :

기계 학습 라인의 크거나 복잡한 모델의 경우, 공간의 규모를 평가해야 할 필요성이 매우 크다
매우 복잡한 구성 공간
수 없습니다 또는 거의 손실 함수의 기울기에 따라 변화하지
훈련 세트가 너무 작습니다
그것은 오버 피팅 용이

Metalearning 메타 학습

메타 학습은 기존의 학습 과제 사이의 성능 차이의 체계적인 관찰을 통해, 다음 새 학습 과제의 더 나은 구현을 위해 기존의 경험과 메타 데이터를 배우는 '학습하는 방법을 배우는'입니다. 정적 라인이나 기계가 신경 네트워크 아키텍처 설계를 배우는 너무 잘하고, 당신은 또한 알고리즘 엔지니어링 작업 손으로 워크샵과 같은 대체하는 데이터 중심의 방법을 사용할 수 있습니다.

어떤 의미에서, 메타 학습 메타 학습이 포함되어 있기 때문에, 커버를 울트라 파라미터 최적화 : 그래서 초 파라미터 형태 뉴럴 네트워크 아키텍처 모델 구조, 특성 위안 파이프와.

또한 '학습자'로 알려진 우리의 기계 학습 알고리즘은, 학습자는 새로운 알고리즘을 생성하는 학습 데이터에 가장 적합한을 찾기 위해 훈련 데이터 및 파라미터 최적화 알고리즘을 사용하여, 알 수없는 매개 변수를 많이 가지고있는 모델을 가정하는 경우, 또는 모델 매개 변수는 알려진 모델 / 알고리즘을 사용하여 새로운 데이터를 예측하기 알 수있다. 하나 개의 모델, 다음 문제는 간단이있는 경우, 문제는이 많은 모델은 다른 모델은 서로 다른 하이퍼 매개 변수를 가지고 우리는 또한 복합 모델 조립 라인 및 기계 학습을 형성하기 위해 함께 조립 모델과 알고리즘 경향이있다이다 나는 다른 모델을 구축 할 다른 문제를 해결하기 위해 알아야 할 때. 이 때 Metalearning, 우리는 우리가 최적화 할 수 있도록, 하이퍼 매개 변수, 파이프 라인, 모델, 입력 데이터 등 다양한 학습 작업의 성능을 알 수없는 새로운 매개 변수로 볼 수 있습니다 신경 네트워크 아키텍처를 넣을 수 있습니다 성능 알고리즘은 매개 변수의 최적의 설정을 찾을 수 있습니다. 이 모드는 항상, 당신은 물론, 나는 방법 등을 찾을 수 없습니다, 당신이 너무 멀리 이동하지 않았 으면, '위안 위안 메타 학습'을 할 수 있습니다 즉, 중첩 될 수 있습니다.

방법은, 메타는 학습 :

모델 평가에 의해 알아보기
속성을 배우고 위안 작업을 특징으로하여
여기에 몇 가지 공통적 인 특징 위안이다
포함하여 기존 모델에서 학습 :
- 전송 학습
- RNN은 학습 과정에 무게의 사용을 수정

즉, 학습 위안 작은 훈련 데이터와 복잡한 모델을 배울 수있는 큰 도전 인 경우 원샷 문제 또는 몇 샷을.

인간의 학습과 마찬가지로, 성공이나 실패에 관계없이 모든 시간을 학습처럼, 우리가 경험을 얻을, 거의 인간의 존재는 처음부터 배운다. 자동 학습의 구성에서, 우리는 새로운 학습이 더 효과적하고, 또한 모든 학습 경험을 기존의 전체를 사용을하고, 점차적으로 개선해야한다.

신경 네트워크 아키텍처 신경 아키텍처 검색 검색

구글의 시스템 AutoML이 이야기를 알고 있기 때문에 리프트 AutoML 사실, 대부분의 사람들이 있습니다. 학습의 깊이의 인기와 함께, 신경 네트워크 아키텍처는 수제 작품이 따를 더 많은, 더 복잡해진다. 신경 네트워크 아키텍처를 검색하면이 문제를 해결하는 것입니다.

NAS는 세 가지 주요 부분으로 구성되어 있습니다 :

공간 검색 공간 검색
전략 검색 전략 검색
성능 평가 전략 성과 평가 전략

엔지니어링 자동화 기능

엔지니어링 자동화 기능은 데이터 과학자가 자동으로 훈련에 사용되는 세트를 최적의 데이터를 기반으로 기능을 만들 수 있습니다 도움이 될 수 있습니다.

Featuretools는 기능의 작동을 자동화 할 수있는 오픈 소스 라이브러리입니다. 그것은 우리가 빌드 기계 학습 모델의 다른 측면에 더 많은 시간이 그래서, 생성 기능의 과정을 빠르게하기위한 훌륭한 도구입니다. 즉, 데이터가 상태 "기계 학습에 대한 대기"에 있습니다.

세 가지 주요 구성 요소의 패키지를 Featuretools :

엔티티 (실체)
포괄적 인 기능의 깊이 (깊은 기능 합성, DFS)
상기 식에서 모티브 (기능 프리미티브)
엔티티는 표현 팬더 데이터 프레임 Entityset 불리는 엔티티들의 다수의 세트로 간주 될 수있다.
포괄적 인 기능의 깊이 (DFS)은 학습의 깊이와 아무 상관이있다, 걱정하지 마십시오. 사실, DFS는 엔지니어링 방법의 특징은 Featuretools 백본입니다. 그것은 하나 또는 여러 개의 데이터 상자에서 새로운 기능의 건설을 지원합니다.
원시 개체 관계는 새로운 기능 Entityset 구조를 적용하여 DFS를 특징으로한다. 이러한 기능은 생성 기능의 일반적인 모티브 수동 방법이다. 예를 들어, 원시적 인 "평균"집계 수준에서 변수의 평균값을 찾을 수 있습니다.

첨부 자바 / C / C ++ / 기계 학습 / 알고리즘 및 데이터 구조 / 프런트 엔드 / 안드로이드 / 파이썬 / 프로그래머 읽기 / 하나의 책 책 Daquan의 :

(건조 개인 블로그에이 열 오른쪽 클릭) : 기술 건조한 꽃을
===== >> ① [자바 다니엘은 진보의 길에 당신을 데려] << ====
===== >> ② [+ ACM 알고리즘 데이터 구조 다니엘 진보에 도로에 걸릴] << ===
===== >> ③ [데이터베이스 다니엘 진보에 도로에 걸릴] << == ===
===== >> ④ [다니엘 웹 프런트 엔드는 고급가는 길에 당신을 데려 갈 수 있습니다] << ====
===== >> ⑤ [기계 학습 파이썬 다니엘은 당신에게 항목을 고급 도로] << ====
===== >> ⑥ [건축가 다니엘은 진보의 길에 당신을 데려] << =====
===== >> ⑦ [C ++ 다니엘은 도로에 당신을 데려 갈 고급] << ====
===== >> ⑧ [다니엘은 진보의 길에 당신을 데려 갈 IOS] << ====
=====> > ⑨ [웹 보안 다니엘은가는 길에 당신을 데려 갈 고급] << =====
===== >> ⑩ [리눅스 운영 체제와 다니엘은 진보의 길에 당신을 데려] << = ====

더 불로 과일이 없다, 당신이 젊은 친구가, 친구가 기술을 배우고 싶은 희망, 도로의 방법으로 모든 장애물을 극복, 기술에 묶어 책을 이해 한 다음 코드에 노크, 원리를 이해하고 연습을 갈 것입니다 결정 그것은 당신의 미래, 당신에게 꿈을 생활, 직장을 가져올 것이다.

weixin_41663412

게시 47 개 원래 기사 · 원의 칭찬 0 · 조회수 290

개인 편지 우려