Многомерные методы фильтрации
Методы многомерной фильтрации можно разделить на три основные группы: статистические/информативные, биологически вдохновленные и спектральные/разреженные методы, основанные на обучении. Как следует из названия, первый включает в себя методы UFS, которые выполняют отбор с использованием статистических и/или теоретико-информационных показателей, таких как дисперсия-ковариация, линейная корреляция, энтропия, взаимная информация и т. д. С другой стороны, вторая группа включает методы UFS, которые используют стратегии случайного поиска, основанные на парадигме роевого интеллекта (Бени и Ван, 1993; Дориго и Гамбарделла, 1997), чтобы найти хорошее подмножество признаков, удовлетворяющих определенным критериям качества. Наконец, третья группа включает методы UFS, основанные на спектральном анализе (Zhao and Liu, 2011) или сочетающие спектральный анализ с разреженным обучением (El Ghaoui et al., 2011). Стоит отметить, что некоторые авторы (Чандрашекар и Сахин, 2014; Анг и др., 2016) часто называют эти последние методы встроенными, поскольку выбор признаков реализуется как часть процесса обучения, обычно путем оптимизации моделей регрессии с ограничениями. Однако в этом исследовании мы предпочитаем классифицировать его как многовариантную фильтрацию, поскольку основной целью является выбор признаков (или ранжирование), а не поиск меток кластеров в дополнение к совместной оценке признаков. Кроме того, мы считаем, что встроенные методы можно рассматривать как подкласс основного метода (т.е. фильтры, обертки и примеси), не препятствуя возможности использования встроенных методов в этих трех методах.
-
Статистические/информационные методы
Одной из наиболее репрезентативных и справочных работ в этой категории FSFS (выбор признаков с использованием подобия признаков) является FSFS (выбор признаков с использованием подобия признаков). В этой работе авторы вводят статистическую меру зависимости/сходства для уменьшения избыточности признаков; эта мера, называемая индексом максимального сжатия информации (MICI), основана на дисперсии-ковариации между признаками. Идея этого метода состоит в том, чтобы разделить исходный набор признаков на несколько кластеров, чтобы признаки в одном кластере были очень похожи, а признаки в разных кластерах были разными. Кластеризация признаков выполняется итеративно на основе принципа KNN следующим образом: на каждой итерации FSFS вычисляет k ближайших признаков (используя MICI) для каждого признака. Затем выбираются объекты с наиболее компактным подмножеством k-ближайших объектов (определяемых расстоянием до k-ближайших объектов), а их k-ближайшие объекты отбрасываются. Повторяйте этот процесс для оставшихся функций, пока все функции не будут выбраны или отброшены. Следуя аналогичной идее, Ли и др. (2007) предложили иерархический метод под названием Mitra's+AIF, который удаляет избыточные и нерелевантные функции. Этот метод удаляет лишние функции с помощью алгоритма, разработанного Митрой и др. (2002). Затем функции ранжируются в соответствии с их релевантностью с использованием показателя экспоненциальной энтропии. Затем, в соответствии с ранжированием признаков, полученным на предыдущем этапе, выбираются релевантные неизбыточные подмножества признаков с использованием индекса нечеткой оценки FFEI (Пэл и др., 2000) в сочетании с поиском с прямым выбором.
Хайндл и др. (2006) и Феррейра и Фигейредо (2012) соответственно предложили два других метода многомерной фильтрации, основанные на статистических показателях. В Haindl и др. (2006) идея состоит в том, чтобы оценить все взаимосвязи всех пар признаков. Затем признак с наибольшей средней взаимной корреляцией со всеми остальными признаками удаляется, и процесс повторяется для оставшихся признаков до тех пор, пока не будет достигнуто количество признаков, предварительно указанное пользователем.
RRFS (выбор функции релевантного резервирования)
Между тем, Феррейра и Фигейредо (2012) предложили метод контролируемого/неконтролируемого отбора признаков с помощью фильтра, называемый RRFS (выбор реляционных избыточных признаков), который выбирает признаки в два этапа. В этом методе, во-первых, функции ранжируются в соответствии с мерой корреляции (дисперсия для неконтролируемой версии и коэффициент Фишера или взаимная информация для контролируемой версии). Затем, на втором этапе, функции оцениваются с использованием меры сходства функций в порядке, сгенерированном на предыдущем этапе, для количественной оценки избыточности между ними. Затем выбираются верхние p признаков с наименьшей избыточностью .
Следуя идее использования статистических показателей для выбора признаков, Талавера (2000) представил метод многомерной фильтрации, основанный на показателях зависимости. В отличие от предыдущих методов, этот метод предполагает, что при отсутствии категорий релевантными признаками являются те, которые сильно коррелируют с другими признаками, а те, которые менее коррелированы с другими признаками, с меньшей вероятностью будут играть важную роль в процессе кластеризации. неактуальная функция). Это предположение основано на наблюдении, что сплоченные и отдельные кластеры, как правило, фиксируют корреляции между признаками (Fisher, 1987). Поэтому наша идея состоит в том, чтобы оценивать каждый отдельный признак fi по упомянутой выше мере зависимости . Затем выберите функции p с самой высокой корреляцией .
Другой метод фильтрации, основанный на многомерной статистике, был представлен Йеном и др. (2010). В этой работе цель состоит в том, чтобы удалить избыточные функции, используя концепцию минимизации зависимостей функций. Идея состоит в том, чтобы найти независимые признаки (корреляции), выбрав набор коэффициентов таким образом, чтобы линейная корреляция признаков (представленная вектором ошибок E ) была близка к нулю. На каждой итерации признак с наибольшим абсолютным коэффициентом (с наименьшим ||E||2 ) удаляется, а эффект его удаления обновляется. Этот процесс повторяется до тех пор, пока все оставшиеся векторы ошибок E не станут меньше установленного пользователем порога.
MPMR (выбор функций на основе максимальной проекции и минимальной избыточности)
Другой подход, основанный на статистике, имеет аналогичную идею и называется MPMR. Идея состоит в том, чтобы выбрать подмножество признаков таким образом, чтобы все исходные признаки проецировались в подпространство признаков (применяя линейное преобразование) с минимальной ошибкой реконструкции. Кроме того, в этой работе, чтобы сохранить низкий уровень избыточности, был добавлен термин для количественной оценки избыточности между функциями (коэффициент избыточности с использованием коэффициента корреляции Пирсона).
Наконец, Дэш и др. (2002) представили многомерный информационный подход, аналогичный Дэшу и др. (1997). В этом подходе, как описано в Dash и др. (1997), основная идея состоит в том, чтобы использовать энтропию сходства на основе расстояния для выбора признаков. Основное различие между (Dash et al. 1997) и (Dash et al. 2002) состоит в том, что Dash et al. (2002) добавили некоторые весовые параметры к показателю энтропии, а показатель энтропии был переформулирован как экспоненциальная функция вместо числа. функция. Кроме того, авторы используют прямой поиск для выбора подмножества признаков.
-
Био-вдохновленный
Недавно было предложено несколько биомиметических методов неконтролируемого отбора признаков, основанных на парадигме роевого интеллекта (Beni and Wang 1993; Dorigo and Gambardella 1997).
UFSACO (неконтролируемый выбор функций на основе оптимизации муравьиной колонии)
В Табахи и др. (2014) был представлен один из первых методов, основанных на этой идее, под названием UFSACO (неконтролируемый выбор признаков на основе оптимизации муравьиной колонии). Его основная цель — выбрать подмножество признаков с низким сходством (низкой избыточностью) между признаками. В этой работе пространство поиска представлено в виде полного неориентированного графа, где узлы представляют признаки, а веса ребер представляют сходства между признаками. Это сходство вычисляется с помощью функции косинусного сходства. Идея авторов состоит в том, что если два признака похожи, то эти признаки избыточны. Каждый узел в графе имеет ожидаемое значение, называемое феромоном, которое обновляется агентом (муравьем) на основе его текущего значения, предварительно заданной скорости затухания и количества раз, когда агент выбирает данную функцию. Агент итеративно обходит граф, отдавая предпочтение высоким значениям феромонов и низким сходствам, пока не будет достигнут заранее заданный критерий остановки (количество итераций). Наконец, выбирается признак с самым высоким значением феромона. Поэтому желательно выбрать подмножество функций с низкой избыточностью. Другие последующие методы, основанные на той же идее, включают MGSACO (отбор генов микрочипа на основе оптимизации колонии муравьев) (Tabakhi et al. 2015), RR-FSACO (выбор релевантных избыточных признаков на основе оптимизации колонии муравьев) (Tabakhi and Moradi 2015) и UPFS (неконтролируемый вероятностный выбор признаков с использованием оптимизации муравьиной колонии) (Даданех и др., 2016). В MGSACO и RR-FSACO, помимо количественной оценки избыточности признаков, как и в предыдущих методах, они также измеряют корреляцию каждого признака с помощью дисперсии (Теодоридис и Кутрумбас, 2008b). Следовательно, основная цель всех этих методов — выбрать признаки, которые минимизируют избыточность при максимальной корреляции. Между тем, идея UPFS состоит в том, чтобы выбрать неизбыточные признаки, но использовать корреляцию Пирсона вместо косинусного сходства.
-
Спектральное/разреженное обучение на основе
Garcia Garcia and SantosRodriguez (2009), Liu и др. (2009b), Niijima и Okuno (2009) представили несколько многомерных методов, основанных на спектральном анализе, полученном на основе показателей SPEC и Лапласа.
mR-SP (выбор функции SPectral с минимальной избыточностью)
Гарсия Гарсия и Сантос Родригес (2009) предложили метод выбора признаков, названный mR-SP (Выбор спектральных признаков с минимальной избыточностью), который сочетает в себе каноническое ранжирование и критерии оптимизации минимальной избыточности (Пенг и др., 2005). Основная идея этого метода состоит в том, чтобы добавить способ управления избыточностью признаков в SPEC путем введения оценочной метрики, которая количественно определяет сходство каждой пары признаков с помощью модифицированной косинусной функции сходства.
В то время как в Liu и др. (2009b) был разработан метод, который сочетает лапласианскую дробь с энтропией расстояния, введенной в Dash и др. (2002). Метод выбирает подмножество функций на основе ранжирования, полученного с помощью показателей Лапласа (с использованием меры энтропии).
LLDA-RFE (лапласианский линейный дискриминантный анализ на основе рекурсивного исключения признаков)
Аналогичным образом, Ниидзима и Окуно (2009) предложили метод под названием LLDA-RFE (рекурсивное исключение признаков на основе лапласовского линейного дискриминантного анализа). Этот метод расширяет линейный дискриминантный анализ (LDA) (Fukunaga 1990) на случай без учителя, используя сходство между объектами; это расширение называется LLDA. Идея состоит в том, чтобы рекурсивно удалить признаки с наименьшим абсолютным значением дискриминантного вектора LLDA, чтобы идентифицировать признаки, которые, вероятно, будут показывать кластеры в выборке. По мнению авторов, LLDA-RFE тесно связан с оценкой Лапласа; основное отличие состоит в том, что LLDA-RFE представляет собой многофакторный подход, позволяющий выбирать признаки, которые в совокупности помогают дифференцировать.
Другие многомерные методы выбора признаков, которые привлекли внимание в последние несколько лет из-за их хорошей производительности и интерпретируемости (Li et al., 2016), представляют собой методы, основанные на сочетании спектрального анализа и разреженного обучения (El Ghaoui et al., 2011). Разреженное обучение относится к тем методам, которые ищут компромисс между мерами согласия и результирующей разреженностью (Эль Гауи и др., 2011). Примерами ранних методов, основанных на этой идее, являются: MCFS (Cai et al. 2010), MRSF (Zheng et al. 2010), UDFS (Yang et al. 2011b), NDFS (Li et al. 2012), JELSR (Hou et al. , 2011, 2014), SPFS (Zhao et al. 2013), CGSSL (Li et al. 2014b), RUFS (Qian and Zhai 2013) и RSFS (Shi et al. 2015).
MCFS (Cai et al. 2010) и MRSF (Zheng et al. 2010) являются самыми ранними методами выбора признаков для неконтролируемого многомерного спектрального/разреженного обучения.
MCFS (Multi-Cluster Feature Selection) состоит из трех этапов: (1) спектральный анализ, (2) изучение разреженных коэффициентов и (3) выбор признаков. На первом этапе выполняется спектральный анализ (Люксбург, 2007 г.) набора данных для выявления кластерной структуры данных. Затем, на втором этапе, MCFS измеряет важность признаков с помощью регрессионной модели с регуляризацией l1- Наконец, на третьем этапе, после решения задачи регрессии, MCFS выбирает d признаков на основе наибольшего абсолютного значения коэффициентов, полученных с помощью задачи регрессии.
MRSF (минимизация избыточности объекта для выбора спектрального объекта)
С другой стороны, MRSF (минимизация избыточности признаков для выбора спектральных признаков) оценивает все признаки, чтобы исключить избыточные признаки. Идея состоит в том, чтобы сформулировать проблему выбора признаков как проблему регрессии с несколькими выходами (Фридман и др., 2001) и выполнить выбор, применяя норму l2,1 (Аргириу и др., 2008) вместо нормы l1 для обеспечения разреженности. . Также в данной работе предлагается эффективный алгоритм, основанный на методе Нестерова (Liu et al., 2009a), для решения задачи регрессии. Окончательное подмножество признаков выбирается в соответствии со значением взвешенной W- матрицы.
UDFS (алгоритм неконтролируемого дискриминационного выбора признаков)
UDFS (Yang et al., 2011b) (алгоритм неконтролируемого дискриминационного выбора признаков) следует той же идее, что и MRFS, чтобы выполнять выбор признаков, используя как матрицу рассеяния, так и дискриминационную информацию, содержащуюся в корреляции признаков. Этот метод предлагает решить проблему выбора признаков с учетом критериев отслеживания проблемы регрессии (Фукунага, 1990). Кроме того, UDF добавляет некоторые дополнительные ограничения к проблеме регрессии и предлагает эффективный алгоритм для ее оптимизации. UDFS упорядочивает каждую функцию в соответствии с соответствующим значением веса в порядке убывания и выбирает ранжированную функцию.
JELSR (совместное обучение встраиванию и разреженная регрессия)
Другим подходом, имеющим много общего с MRSF, является JELSR (совместное встраивание обучения и разреженная регрессия) (Hou et al. 2011). JELSR применяет ту же целевую функцию, что и MRSF, только при построении графов Лапласа, поскольку в этой работе для измерения локального сходства используется локальный вес линейной аппроксимации (Roweis and Saul 2000). JELSR применяет ту же целевую функцию, что и MRSF, только при построении графов Лапласа, поскольку в этой работе для измерения локального сходства используется локальный вес линейной аппроксимации (Roweis and Saul 2000). JELSR использует ту же целевую функцию, что и MRSF, и отличается только построением лапласовского графа, поскольку в этой работе для измерения построения лапласовского локального подобия графов используются локальные веса линейной аппроксимации (Roweis and Saul 2000). Более позднее обобщение JELSR было представлено Хоу и др. (2014), где была предложена унифицированная структура обучения и разреженной регрессии вместо использования графов Лапласа для описания структуры многомерных данных с последующим применением регрессии. Кроме того, в этой работе представлена единая точка зрения для понимания и сравнения многих популярных методов выбора признаков без учителя. Недавняя работа, связанная с JELSR, — USFS (Wang et al., 2016) (Неконтролируемый выбор спектральных признаков с использованием карт L1-норм). Идея состоит в том, чтобы использовать спектральную кластеризацию и карты l1-норм для выбора дискриминационных признаков. Основное различие между USFS и JELSR заключается в методе построения лапласовских графов; JELSR использует для построения графов локальные веса линейной аппроксимации, тогда как USFS использует новый граф с нормой l1.
NDFS (неотрицательный дискриминационный выбор признаков)
Другой подход, связанный с вышеупомянутой работой, — это NDFS (неотрицательный дискриминационный выбор признаков) (Li et al., 2012). NDFS, такие как UDFS и MRFS, выполняют выбор функций, используя дискриминационную информацию и корреляцию функций в единой структуре. Во-первых, NDFS использует спектральный анализ для изучения меток псевдоклассов (определяемых как неотрицательные действительные значения). Затем была построена и оптимизирована с помощью специального решателя регрессионная модель с регуляризацией по норме l2,1 (Аргириу и др., 2008). По мнению автора, основное различие между NDFS и UDFS заключается в том, что NDFS добавляет ограничение неотрицательности к проблеме регрессии, потому что удаление этого ограничения NDFS становится UDFS.
NSCR (неотрицательный спектральный анализ с ограниченной избыточностью)
Более поздняя модификация NDFS была предложена теми же авторами в Li and Tang (2015), где был представлен метод под названием NSCR (неотрицательный спектральный анализ с ограниченной избыточностью). Основное отличие от NDFS заключается в том, что NSCR добавляет механизм явного управления избыточностью.
FSLR (подмножество функций с разреженностью и низкой избыточностью)
На основе идеи NDFS Хана и др. (2015) предлагается метод под названием FSLR (Sparse Low Redundancy Feature Subset). FSLR использует спектральный анализ для представления низкоразмерных данных и вводит новый член регуляризации в целевую функцию, которая имеет ограничение неотрицательности. Кроме того, предлагается алгоритм итеративного умножения для эффективного решения задач оптимизации с ограничениями.
CDL-FS (выбор функции обучения парному словарю)
Чжу и др. (2016) предложили еще один подход UFS под названием CDL-FS (выбор функций для изучения парного словаря), который использует словари парного анализа/синтеза вместо спектрального анализа для изучения меток псевдоклассов. Общая идея заключается в использовании обучения по словарю (Gu et al., 2014) для моделирования кластерной структуры данных. Выбор признаков достигается путем применения l2,p-нормы ( 0 < p ≤ 1 ) регуляризации матрицы весов признаков к модели обучения словаря.
SOGFS (выбор функций структурированного оптимального графика)
Ни и др. (2016) предложили метод, основанный на разреженном обучении, называемый SOGFS (выбор признаков структурированного оптимального графа), который одновременно выполняет выбор признаков и изучение локальной структуры. SOGFS адаптивно изучает структуру локального многообразия, вводя матрицу подобия в модель разреженной оптимизации, основанную на функции потерь и минимизации регуляризованной нормы l2,1 (Nie et al. 2010). После того, как предложенная модель оптимизирована, функции выбираются в соответствии с их соответствующими весами.
SPFS (выбор функций с сохранением сходства)
Чжао и др. (2013) представили еще один метод выбора признаков для разреженного обучения, SPFS (выбор признаков с сохранением сходства). В этом методе идея состоит в том, чтобы использовать множественную выходную регрессию (Фридман и др., 2001) с ограничениями по норме 12,1 для выбора признаков d , которые лучше всего сохраняют сходство объектов . Кроме того, в этой работе авторы показывают взаимосвязь между предложенным методом и многими другими современными контролируемыми и неконтролируемыми методами выбора признаков. Авторы показывают, что многие существующие критерии оценки признаков могут быть объединены общей формулировкой, в которой корреляция признаков определяется количественно путем измерения их способности сохранять сходство парных выборок, заданных предопределенной матрицей подобия.
CGSSL (разреженное структурное обучение, управляемое кластеризацией)
Аналогичным образом Ли и др. (2014b) предложили другой метод под названием CGSSL (кластерно-управляемое разреженное структурированное обучение). В этой статье мы предлагаем метод выбора признаков, основанный на неотрицательном спектральном анализе и изучении разреженной структуры. Идея состоит в том, чтобы использовать метрики кластеризации (полученные с помощью неотрицательной спектральной кластеризации) в линейных моделях, чтобы предоставить информацию о метках для изучения структуры. Кроме того, как и в предыдущих методах, в этой статье авторы показывают связь между представленным методом и несколькими методами выбора признаков, включая SPFS, MCFS, UDFS и NDFS.
RUFS (надежный неконтролируемый выбор функций)
Чтобы решить проблему выбросов или шума, присутствующих во многих наборах данных, Цянь и Чжай (2013) предложили метод фильтрации под названием RUFS (надежный выбор признаков без присмотра). Цель состоит в том, чтобы добиться надежной кластеризации и надежного выбора функций. В отличие от вышеупомянутых методов выбора признаков без учителя (таких как MCFS, UDFS и NDFS), RUFS изучает метки псевдокластеров с помощью надежной неотрицательной матричной факторизации регуляризации локального обучения (Kong et al. 2011). Идея состоит в том, чтобы изучить метки с помощью надежной совместной минимизации нормы l2,1 во время выбора признаков. В этой работе авторы также предлагают итеративный алгоритм BFGS с конечной памятью (Liu and Nocedal 1989), чтобы эффективно решать задачи оптимизации и сделать RUFS пригодным для практических приложений.
RUFSM (надежный неконтролируемый выбор функций с помощью матричной факторизации)
Следуя идеям, аналогичным RUFS, Ду и др. (2017) предложили метод под названием RUFSM (надежный неконтролируемый выбор признаков с помощью матричной факторизации). RUFSM выбирает признаки, используя норму l2,1, чтобы одновременно выполнять дискриминационный выбор признаков и надежную кластеризацию. Основное различие между RUFS и RUFSM заключается в том, что последний рассматривает центр кластера как объективную концепцию, а не как псевдометку данных.
RSFS (Надежная структура спектрального обучения для неконтролируемого выбора функций)
Другим подходом к решению проблемы зашумленных признаков и выбросов является RSFS (надежная структура спектрального обучения для неконтролируемого выбора признаков) (Shi et al., 2015). RSFS выбирает функции, применяя этап встраивания графа (используя регрессию ядра) для эффективного изучения структур кластеризации и обрабатывает шум и выбросы с помощью разреженной спектральной регрессии. Идея состоит в том, чтобы построить графы Лапласа с учетом весов, присвоенных каждому объекту посредством локальной ядерной регрессии, и разработать эффективные итерационные алгоритмы для решения предложенной задачи оптимизации.
В последние годы некоторые работы были предложены в категории разреженного обучения/спектрального анализа, но эти работы выполняются в рамках новой точки зрения, называемой самопредставлением признаков . В основе этих методов лежит предположение, что каждый признак может быть хорошо аппроксимирован линейной комбинацией связанных признаков и матрицы коэффициентов (которую можно использовать в качестве весов признаков) с ограничением разреженности.
RSR (модель регулярного самопредставления для неконтролируемого выбора функций)
RSR (Zhu et al., 2015) (Regularized Self-Representation Model for Unsupervised Feature Selection) была первой моделью, использующей эту идею. В этой работе авторы утверждают, что если функция важна, она будет участвовать в представлении большинства других функций. Выбор признаков минимизирует ошибку самопредставления, характеризуя остатки с использованием нормы l2,1, и выбирает наиболее репрезентативные признаки (признаки с высокими весами признаков). Чжу и др. (2017) предложили расширенную версию RSR, в которой авторы используют регуляризацию l2,p-нормы вместо l2,1-нормы для выбора признаков, подчеркивая признаки с малыми p-значениями (0 ≤ p < 1 ).
GRNSR (регуляризованное неотрицательное самопредставление графа)
Другим методом, связанным с RSR, является GRNSR (Graph Regularized Non-Negative Self-Representation) (Yi et al., 2016). Как и RSR, GRNSR использует способность объектов к самопредставлению, но разница в том, что GRNSR также учитывает геометрическую структуру данных с использованием графа, взвешенного по соседству (граф представления с низким рангом). В GRNSR каждый признак сначала представлен всеми другими признаками посредством неотрицательной линейной комбинации. Затем строится матрица сходства, чтобы выявить информацию о локальной структуре объектов, и проблема неотрицательных наименьших квадратов (NNLS) включается в качестве нового члена в окончательную задачу неотрицательной регрессии с ограничениями по l2,1-норме. После этого, когда модель (задача регрессии) оптимизирована, выбираются d лучших признаков с наибольшим весом.
Другие новые методы, разработанные с точки зрения саморепрезентации, включают SPNFSR (Zhou et al. 2017), LRSL (Wang and Wang 2017), DSRMR (Tang et al. 2018a), l2,1-UFS (Tang et al. 2018b) и Лу и .др
SPNFSR (структурно-сохраняющее неотрицательное самопредставление признаков)、l 2,1-UFS ( метод UFS, основанный на регуляризованном графе на основе l 2,1) 、 DSRMR (двойное самопредставление и многообразная регуляризация)
SPNFSR (сохраняющее структуру самопредставление неотрицательных признаков), l2,1-UFS (метод UFS регуляризации графа на основе l2,1) и DSRMR (двойное самопредставление и регуляризация многообразия) путем оптимизации на основе модели, принимая во внимание как самопредставление, так и способности сохранения структуры признаков. Общая идея этих методов заключается в оптимизации модели (целевой функции) с учетом трех аспектов:
(1) Признак самопредставления с использованием нормы l2,1.
(2) Геометрия локального многообразия исходных данных использует термин регуляризации нормы на основе графа.
(3) Член регуляризации W , отражающий важность каждого признака . Задача оптимизации решается эффективным итерационным алгоритмом. На заключительном этапе каждый признак сортируется в порядке убывания в соответствии с соответствующим значением W , и выбираются лучшие p признаков.
LRSL (аппроксимация низкого ранга и изучение структуры для неконтролируемого выбора признаков)
В отличие от предыдущих методов, LRSL (низкоранговая аппроксимация и структурное обучение для неконтролируемого выбора признаков) использует норму Фробениуса вместо нормы l2,1. Наконец, метод, представленный Лу и др. (2018), предлагает целевую функцию для моделирования проблемы выбора признаков с помощью линейной комбинации всех признаков в исходном пространстве признаков и рассматривает структуру локального многообразия данных с использованием матрицы сходства объектов. Затем, как только модель сходится, функции ранжируются в соответствии с их соответствующими весами, и выбираются лучшие p функций.
Недавно было предложено использовать локально линейные вложения (LLE) и невыпуклые разреженные функции регуляризации в разреженных моделях обучения. В Luo и др. (2018) предлагается новый метод выбора признаков без учителя, который использует LLE (Roweis and Saul, 2000) для моделирования многообразной структуры данных. Идея состоит в том, чтобы охарактеризовать внутренние локальные геометрические особенности, основываясь на графиках LLE вместо типичных парных матриц подобия и членов структурной регуляризации. Для каждой функции определяется оценка реконструкции на уровне функций на основе карты LLE, и окончательное подмножество функций выбирается на основе этой оценки. С другой стороны, Ши и др. (2018) предложили невыпуклую разреженную модель обучения. Идея состоит в том, чтобы выполнить выбор признаков с помощью ортогональной неотрицательной модели разреженной регуляризации с ограничениями, используя новую норму, называемую l2,1-2, определяемую как разницу между l2,1 и нормой Фробениуса. Для эффективного решения этой модели также предлагается итерационный алгоритм, основанный на методе множителя переменного направления (ADMM) (Boyd et al. 2011).