Когда большинство людей слышат «машинное обучение», они думают о роботе: надежном дворецком или смертоносном терминаторе, в зависимости от того, кого вы спрашиваете. Но машинное обучение — это не просто футуристическая фантазия, оно уже здесь. Фактически, в некоторых специальных приложениях, таких как оптическое распознавание символов (OCR), он использовался десятилетиями. Но первое по-настоящему массовое применение машинного обучения было в 1990-х годах: спам-фильтры, которые улучшили жизнь сотен миллионов людей и быстро стали широко использоваться. Это не совсем самосознательный Скайнет, но технически его можно назвать машинным обучением (поскольку он на самом деле учится настолько хорошо, что вам редко придется самостоятельно помечать сообщения как спам). Впоследствии сотни других приложений ML теперь незаметно поддерживают сотни продуктов и функций, которые вы регулярно используете, от систем рекомендаций до голосового поиска.
1. Что такое машинное обучение?
Тип алгоритма, который позволяет компьютерам изучать закономерности на основе данных, как это делают люди.
Искусственный интеллект>Машинное обучение>
Специальные сценарии применения искусственного интеллекта в глубоком обучении
- Компьютерное зрение (CV):
позволяет компьютерам и системам получать значимую информацию из изображений, видео и других визуальных данных, а также предпринимать действия или предоставлять рекомендации на основе этой информации.
Что такое компьютерное зрение - Обработка естественного языка (НЛП):
это междисциплинарный предмет в области информатики, искусственного интеллекта и лингвистики. Он в основном изучает, как дать возможность компьютерам понимать, обрабатывать, генерировать и моделировать возможности человеческого языка, тем самым достигая естественного общения с людьми. Умение говорить. С помощью технологии обработки естественного языка можно реализовать различные приложения, такие как машинный перевод, системы вопросов и ответов, анализ настроений и обобщение текста.
Что такое обработка естественного языка - Рекомендательная система (RS):
рекомендательная система — это система фильтрации информации, которая прогнозирует рейтинги пользователя и предпочтения товаров.
Рекомендуемая система
Данные определяют верхний предел модели, а алгоритм заставляет модель бесконечно приближаться к верхнему пределу!
Что:
Дисциплина, изучающая алгоритмы, которые могут изучать основные закономерности на основе данных.
Три элемента данных машинного обучения
, алгоритмов и моделей
«Машинное обучение — это наука о том, как заставить компьютеры учиться и действовать как люди, улучшая их обучение автономным образом, предоставляя им данные и информацию в форме наблюдений и взаимодействия в реальном мире. "
Почему:
Вы можете заняться смежными исследованиями и разработками и перенести это в свою собственную область исследований.
Я считаю эту идею очень странной и интересной. Я думаю, вы можете попробовать ее прочитать. Я сравниваю процесс машинного обучения с алхимией, и почувствуйте красоту искусства в процессе.Чудесно,почувствуйте философию жизни в процессе и найдите себя в процессе ~
Почему всем рекомендуется изучать машинное обучение
?Как:
Как изучить машинное обучение, метод у каждого может быть разным , но Datawhale определенно является хорошим обучающим сообществом! Я видел много методов, которые либо требуют больших денег, либо требуют большого сознания, но Datawhale действительно свободен, терпелив и ответственен!
Пространство гипотез:
«Набор отображений из входного пространства в выходное пространство».
Под пространством гипотез я понимаю то, что набор функций, алгоритмов и моделей, которые вы предполагаете на основе данных, может лучше соответствовать набору данных.
Пространство версий:
Пространство версий — это набор всех гипотез, которые согласуются с обучающим набором, то есть самым большим подмножеством пространства гипотез. Каждый элемент в подмножестве не конфликтует с обучающим набором.
Я понимаю, что, поскольку количество обучающих выборок ограничено, пространство гипотез содержит множество гипотез. После окончательной проверки может остаться несколько гипотез, соответствующих обучающим выборкам. Набор этих оставшихся гипотез называется пространством версий. .
2. Основная терминология
Набор данных : представляет набор данных, содержащий m выборок.
Алгоритм : относится к конкретному методу получения «модели» из данных. Такие как линейная регрессия, дерево решений, машина опорных векторов, нейронная сеть и т. д.
«Результат, полученный алгоритмом, называется «моделью»». ~
Модель : в парадигме машинного обучения модель относится к математическому выражению параметров модели и каждого прогноза, категории и действия для категорий регрессии, классификации и подкрепления. соответственно. Введите заполнитель.
В машинном обучении модель является центром тяжести, и все вращается вокруг модели. Хотя у разных людей разные определения моделей. Но я думаю, что это лучший способ определить модель: «Модель в машинном обучении — это гипотеза, которая пытается подогнать данные и научиться прогнозировать неизвестные данные».
Например, когда выборка представляет собой кучу хороших и плохих вещей, мы по умолчанию предполагаем, что за хорошими и плохими вещами должен существовать какой-то закон, который может их различать.
Образец : также называется «примером», описанием события или объекта.
Пространство выборки . Пространство, которое представляет вектор признаков выборки, является пространством выборки.
Маркировка : Суть машинного обучения заключается в том, чтобы узнать, существует ли потенциальная закономерность в работе образца в определенном аспекте. Мы называем информацию в этом аспекте «маркировкой».
Например, образец арбуза: x=(зеленый; свернутый; хрустящий), y=хорошая дыня.
Пространство метки : Пространство, в котором расположена метка.Каждый выход также можно рассматривать как вектор, который также можно назвать пространством меток.
Обучение с учителем : обучение с учителем основано на существующих наборах данных, знании взаимосвязи между входными и выходными результатами, а затем обучении на основе этой известной взаимосвязи для получения оптимальной модели, которую можно разделить на регрессию и классификацию, например, алгоритм k-ближайшего соседа. и дерево решений, Наивный Байес и т. д.
**Обучение без учителя.** Для обучения немаркированного обучающего набора необходим некоторый алгоритм, чтобы мы могли найти потенциальную структуру этого набора данных, кластеризацию k-средних, кластеризацию BIRCH, модель гауссовской смеси (GMM) и т. д.
Обобщение : Поскольку цель машинного обучения — сделать максимально точное суждение о неизвестном на основе того, что известно, точность суждения о неизвестных вещах является ключом к измерению качества модели. Мы называем это обобщением. Способность.
Например, старшеклассники каждый день задают различные вопросы и снова и снова тренируются сдавать вступительные экзамены в колледж в течение пяти и трех лет. Причина, конечно, в том, что они хотят получить хорошие результаты на вступительных экзаменах в колледж. Вопросы вступительного экзамена в колледж обычно представляют собой новые вопросы, которые никто раньше не задавал. Цель изучения вопросов - освоить правила тестовых вопросов, уметь делать выводы из одного случая и применять то, что вы узнали, чтобы вы может спокойно решать новые вопросы. Владение такого рода правом - это способность к обобщению. Некоторые ученики очень умны и поступают в престижные школы. Во многом это связано с их хорошей способностью к обобщению.
У учащихся с плохими результатами тестов есть три возможности: 1. Слабая способность к обобщению: они задали много вопросов, но все еще не могут усвоить правила и не могут этого сделать, независимо от того, сталкиваются ли они со старыми или новыми вопросами. 2. У них слабая способность к обобщению, и они задали много вопросов Многие вопросы запоминаются наизусть, и когда придет экзамен, вы будете растеряны, увидев новые вопросы, в-третьих, вы не задаете вопросы наизусть все, и ты будешь слеп на экзамене. В машинном обучении первый тип ситуации называется недостаточной подгонкой, второй тип ситуации называется переоснащением, а третий тип ситуации называется неконвергенцией.
Распределение : относится к распределению вероятностей в теории вероятностей.Обычно предполагается, что пространство выборки подчиняется неизвестному распределению, и каждая выборка, которую мы собираем, отбирается независимо от этого распределения, то есть независимо и одинаково распределена. Обычно чем больше образцов собрано, тем точнее информацию можно вывести из образцов, то есть тем ближе к истине.
Все алгоритмы созданы равными
- Машинное обучение - это не нагромождение различных алгоритмов. Его следует рассматривать как мировоззрение мира и методологию решения задач. Следует думать о способе мышления машинного обучения, а не о так называемом процессе вывода и различных деталях. Освоив все алгоритмы, забудьте все «хитрости».», интегрируйте, интегрируйте и даже сформируйте новый алгоритм, чтобы победить, нет никаких хитростей. Поскольку проблемы бесконечны, а алгоритмы ограничены, при решении задач мы должны адаптировать их как портной, проектировать по требованию, индивидуально, а не копировать механически, использовать различные трюки и решить их раз и навсегда~
- В процессе машинного обучения не всегда спрашивайте, какой алгоритм лучший или какой метод оценки лучший. Помните, что в мире не бывает бесплатных обедов. Конкретные проблемы следует решать в каждом конкретном случае. Машинное обучение ищет не точное оптимальное решение, а вероятностно приблизительно правильное решение.
3. Оценка и выбор модели.
Так как же оценить достоинства модели и выбрать модель, которая лучше всего соответствует вашему бизнес-сценарию?
Как оценить достоинства моделиДобавить
ссылку на описание
3.1 Эмпирическая ошибка и переобучение
Глоссарий:
- Частота ошибок:
- Точность: Точность = 1 ошибка.
- Ошибка: разница между фактическим прогнозируемым результатом учащегося и истинным результатом выборки.
- Эмпирическая ошибка: ошибка учащегося в обучающем наборе, также известная как «ошибка обучения».
- Ошибка обобщения: ошибка учащегося на новых образцах (тестовом наборе).
- Переоснащение: это происходит из-за того, что способность к обучению модели слишком сильна по сравнению с данными.
- Недооснащение: это потому, что способность к обучению модели слишком низка по сравнению с данными
. Согласно закону больших чисел, эмпирическая ошибка будет сходиться к ошибке обобщения. Сходство между ними (в пределах определенного допуска) гарантировано. Большая разница между ними указывает на недостаточное или переподбор модели, а последовательная конвергенция обучения относится к этой характеристике: когда обучающая выборка достаточно велика, результаты они будут достаточно похожими, так что мы сможем пройти проверку. Только таким образом можно достичь цели «увидеть леопарда через трубку» и, наконец, получить целевую гипотезу.
Большое отклонение указывает на то, что модель не соответствует требованиям; большое отклонение указывает на то, что модель переоснащена.
Эмпирическая ошибка и ошибка обобщения являются недостаточными и переоснащенными.
3.2 Методы оценки
Существует три основных метода оценки модели: метод удержания, метод перекрестной проверки и метод начальной загрузки.
1. Метод удержания
напрямую делит набор данных D на два взаимоисключающих набора S (обучающий набор) и T (тестовый набор). D=S∪T, S∩T=∅, после обучения модели на S используйте T для оценки ошибки теста и используйте ее как оценку ошибки обобщения.
Пример:
Используемый метод: Две задачи классификации
Набор образцов: D содержит 1000 образцов, включая 500 положительных примеров и 500 отрицательных примеров. Метод
разделения S и T: S содержит 700 образцов, 350 положительных примеров и 350 отрицательных примеров; T содержит 300 образцов. , 150 положительных примеров, 150 отрицательных примеров
. Расчет частоты ошибок и точности: Предположим, что имеется 90 выборок на T, которые классифицированы неправильно, а частота ошибок равна (90/300) * 100% = 30%, точность [ (300-90)/ 300]*100%=1-30%=70%
Дополнение: Ошибка оценки, полученная методом удержания за один раз, часто недостаточно стабильна.Как правило, несколько случайных делений и повторение эксперимента оценки используются для получения среднего значения в качестве метода удержания. Например, для приведенных выше 1000 образцов S и T могут быть разделены повторно и случайным образом.После использования модельного метода рассчитывается точность и получается среднее значение.
2. Метод перекрестной проверки.
Метод перекрестной проверки, по сути, представляет собой метод разметки, выполняемый несколько раз, при этом каждый раз в качестве тестовых наборов используются разные подмножества, так что все образцы тестируются хотя бы один раз.
В идеальной ситуации, когда размер выборки достаточно велик, набор данных следует разделить на три части: обучающий набор, набор проверки и набор тестирования, которые используются для обучения модели, выбора модели и выбора модели соответственно. используемый для оценки способности модели к обобщению, появляется только на последнем этапе оценки модели. Но во многих случаях данных недостаточно.В этом случае набор проверки можно отменить и использовать метод перекрестной проверки, чтобы избежать использования одного и того же пакета данных для обучения и оценки модели путем многократного разделения набора обучения и тестовый набор. Это эквивалентно разделению проверочного набора и тестового набора на две части.
Параметры алгоритма относятся к некоторым параметрам самого алгоритма (также называемым гиперпараметрами), таким как количество соседей k из k ближайших соседей и параметр C машины опорных векторов. Алгоритм обучается после настройки соответствующих параметров. В конце В результате обучения будет получена модель, такая как поддержка. Векторная машина в конечном итоге получит конкретные значения w и b (функция ядра здесь не рассматривается), которые являются параметрами модели.После того, как модель настроена с помощью соответствующие параметры модели, он может прогнозировать новые образцы.
Метод оценки модели
Оценка модели подразумевает использование некоторых показателей и методов для оценки способности обобщения итоговых результатов модели с помощью конкретного метода.
Матрица неточностей, F1score
3. Методу начальной загрузки
предоставляется набор данных D, содержащий m выборок, и он производит его выборку для создания набора данных D': каждый раз случайным образом выбирает выборку из D, копирует ее в D', а затем добавляет выборку. Поместите его обратно в D, чтобы образец можно было собрать в следующей выборке; после повторения m раз получается набор данных D', содержащий m образцов.
Пример:
Метод принятия: Две задачи классификации.
Набор выборок: D содержит 1000 образцов, в том числе 500 положительных примеров и 500 отрицательных примеров. Метод
разделения S и T:
случайным образом выбирают 700 образцов с заменой в качестве обучающего набора. Среди них 700 Будет дубликаты образцов в образце. Вероятность того, что выборка ни разу не будет отобрана за 700 выборок, равна (1-1/700) 700=0,3676. (Когда количество выборок равно m, вероятность того, что выборка никогда не будет выбрана, равна (1-1/m) m. Принимая предел, мы получаем limm→∞(1-1/m)^m→1/e ≈0,368).
Если выборка с вероятностью 0,36 в тестовом наборе не появляется в обучающем наборе, в качестве тестового набора можно выбрать 300 выборок в D\D'. И посчитаем точность модели на тестовом наборе.
Дополнение: метод начальной загрузки более полезен, когда набор данных небольшой и трудно эффективно разделить обучающий и тестовый наборы. Однако набор данных, сгенерированный методом начальной загрузки, изменяет распределение исходного набора данных, и произойдет смещение оценки
.