машинное обучение
Машинное обучение изучает и строит специальный алгоритм ( а не конкретный алгоритм ), который позволяет компьютерам учиться на данных, чтобы делать прогнозы.
Поэтому машинное обучение — это не конкретный алгоритм, а общий термин для многих алгоритмов.
Основная идея машинного обучения
- Преобразуйте реальные проблемы в математические модели и четко осознайте роль различных параметров в модели.
- Используйте математические методы для решения этой математической модели для решения реальных задач.
- Оцените, действительно ли эта математическая модель решает реальные задачи и насколько хорошо она их решает?
Классификация
- Обучение под наблюдением: алгоритмы классификации, регрессии или предсказания, выполняемые на размеченных данных.
- Неконтролируемое обучение: выполнение кластеризации, частого анализа элементов и других алгоритмов на немаркированных данных.
- Полууправляемое обучение: данные представляют собой смесь небольшого количества помеченных данных + большого количества неразмеченных данных, сначала сгенерируйте надежные метки с помощью алгоритма обучения с учителем, а затем смоделируйте
- Обучение с подкреплением: пусть агент постоянно учится в указанной среде, основными элементами являются агент, среда, действие, вознаграждение.
контролируемое обучение
Обучение с учителем означает, что мы даем алгоритму набор данных и даем правильный ответ. Машины используют данные, чтобы научиться вычислять правильный ответ.
Категория: Классификация
Классификация: получить целевую функцию f (модель) путем изучения существующего набора данных (обучающего набора) и сопоставить каждый набор атрибутов x с целевым атрибутом y (классом), а y должен быть дискретным (если y равен Continuous , он принадлежит алгоритму регрессии). Путем анализа обучающего набора известных категорий из них находятся правила классификации, чтобы предсказать категории новых данных.
алгоритм классификации
Алгоритм классификации обнаруживает правила классификации посредством анализа обучающего набора известной категории, чтобы предсказать категорию новых данных.
Широко используются алгоритмы классификации , такие как оценка банковских рисков, классификация категорий клиентов, поиск текста и классификация поисковых систем, обнаружение вторжений в области безопасности и приложения в программных проектах.
Классифицируются по принципу:
- Основано на статистике: например, байесовская классификация
- На основе правил: например, алгоритмы дерева решений.
- На основе нейронной сети: алгоритмы нейронной сети
- На основе расстояния: KNN (K ближайших соседей)
Обычно используемые показатели оценки:
-
Точность: отношение прогнозируемых результатов к фактическим результатам.
-
Коэффициент отзыва: правильный коэффициент охвата определенного типа результатов в результатах прогнозирования.
-
F1-Score: статистика, комплексная модель классификации оценки, значение от 0 до 1.
неконтролируемое обучение
В неконтролируемом обучении нет «правильного ответа» для заданного набора данных, все данные одинаковы. Задача неконтролируемого обучения состоит в том, чтобы извлечь базовую структуру из заданного набора данных.
Два распространенных типа алгоритмов обучения без учителя: кластеризация и уменьшение размерности.
Кластеризация: Проще говоря, это метод автоматической классификации. При обучении с учителем вы точно знаете, что такое каждая классификация, но кластеризация - нет. Вы не знаете, что означает каждая из нескольких классификаций после кластеризации.
Уменьшение размерности: уменьшение размерности очень похоже на сжатие. Это делается для того, чтобы уменьшить сложность данных при максимально возможном сохранении соответствующих структур.
Алгоритм кластеризации
Кластеризация: это процесс объединения похожих вещей и разделения разнородных вещей на разные категории. Это своего рода исследовательский
анализ, и нет необходимости заранее давать стандарт классификации.Кластерный анализ может начинаться с выборочных данных и автоматически классифицировать. Различные методы, используемые в кластерном
анализе, часто приводят к разным выводам.
Общие алгоритмы: иерархическая кластеризация, кластеризация с разделением, кластеризация на основе плотности
обучение с подкреплением
Обучение с подкреплением ближе к сути биологического обучения, поэтому ожидается, что оно позволит достичь более высокого интеллекта. Основное внимание уделяется тому, как агент может предпринять ряд действий в окружающей среде, чтобы получить максимальное совокупное вознаграждение. При обучении с подкреплением агент должен знать, какое действие предпринять в каком состоянии.
Самый типичный сценарий — игры.
7 шагов к практическому машинному обучению
Благодаря приведенному выше содержанию у нас уже есть некоторые смутные представления о машинном обучении, В настоящее время нам должно быть особенно любопытно: как использовать машинное обучение?
На практическом уровне машинное обучение делится на 7 шагов:
- Сбор данных
- подготовка данных
- выбрать модель
- тренироваться
- Оценивать
- Регулировка параметров
- прогноз (начало)
Контролируемое обучение против неконтролируемого обучения
Обучение с учителем — это метод обучения с четкой целью, и вы знаете, что получаете; обучение без учителя — это метод обучения без четкой цели, и вы не можете заранее знать, каким будет результат.
Обучение с учителем требует маркировки данных, обучение без учителя не требует маркировки данных.
Обучение с учителем может измерить эффект, потому что цель ясна; обучение без учителя едва ли может дать количественную оценку эффекта.