Существуют обширные требования к контролю рисков в таких аспектах, как доступ к кредитам и транзакционный маркетинг финансовых бизнес-продуктов. По мере увеличения количества типов бизнеса традиционные экспертные правила и модели показателей не могут справиться со все более сложными сценариями контроля рисков.
В контексте традиционного контроля рисков, где экспертные системы правил являются основным применением, входные привычки моделей правил называются «переменными». Оценка рисков, основанная на экспертных правилах, имеет такие характеристики, как сложность количественного определения порога срабатывания правила, а также существует узкое место в повышении точности совпадения правил.
С технической реализацией алгоритмов машинного обучения и нейронных сетей все больше и больше «функций» начинают использоваться для обозначения входных параметров , предоставляемых модели алгоритма . В частности, «функции» служат выходным параметром вышестоящего внешнего интерфейса во время процесса вывода и служат входным параметром нижестоящей модели правил во время процесса ввода на стороне приложения.
строительный фон
Источники данных с переменными функциями включают основную информацию о клиентах, финансовое состояние, графики потребительского поведения, социальные сети и т. д., которые вводятся в различные модели контроля рисков , чтобы отразить кредитный статус заемщика и уровень риска. Эффективное управление извлечением функций представляет собой серию онлайн-проектов. база данных для действий по контролю рисков.
В финансовых учреждениях, таких как банки и страховые компании, из-за сложности организационной структуры источников риска в бизнесе неизбежно происходит развитие характерных переменных между различными линиями. Потребности разработчиков стратегических моделей в данных часто ограничиваются определенными. Продукт был разработан и развернут, но не сформировал единый механизм платформы управления и совместного использования, что привело к отклонениям в согласованности использования данных и формировании политик между предприятиями.
Таким образом, необходимо дополнительно усовершенствовать абстракцию процесса бизнес-данных о рисках, чтобы стандартизировать получение, хранение, вызов и мониторинг характеристических переменных, а также появилась единая платформа характеристических переменных управления рисками .
Анализ болевых точек
В сценарии разработки задачи управления рисками модельная задача извлекает числа из заранее разработанной таблицы хранения переменных. В реальной разработке часто возникают болевые точки бизнеса и разработки, такие как высокий порог для разработки и развертывания функций, сложность извлечения сложных функций, непоследовательные калибры приложений и непоследовательные процессы обработки функций.
01 Порог для разработки переменных характеристик в реальном времени высок.
Технологический стек разработчиков стратегических стратегий, связанных с управлением рисками, в основном основан на возможностях Python и SQL. Разработка Flink на основе семантики Java требует определенной стоимости обучения и развертывания на основе автономных данных, а также функции реального времени. Возможности обработки недостаточны.
02 Трудно извлечь сложные переменные функции
Возвратные сообщения некоторых интерфейсов внешних источников данных имеют множество вложенных уровней, расположение параметров является запутанным, интерфейс сложно получить, а для извлеченных функций отсутствует унифицированное управление платформой и обслуживание.
03 Уровень применения функциональных переменных непостоянен.
При построении модели управления рисками задачи модели имеют одинаковые требования к переменным функций, но бывают ситуации, когда обработка функций повторяется для одних и тех же исходных данных в разных командах или разных проектах, что приводит к согласованности и точности соответствующего SQL после логика переменной функции изменена.
04 Трудно унифицировать процесс обработки переменных признаков
В требованиях к новым переменным функций на стороне нисходящей стратегии и модели отсутствует согласованный и стандартизированный путь обработки, что приводит к путанице в именах входящих и исходящих параметров в соответствующей таблице переменных. При добавлении новых полей восходящая таблица не может быть прочитана. исходный SQL, что приводит к более сложным вложенным операциям соединения. При настройке производных функций и наборов переменных масштаб задач и использование ресурсов часто трудно контролировать.
План построения системы характеристических переменных контроля рисков
Создание системы характеристических переменных контроля рисков направлено на выявление, предотвращение и контроль рисков финансовых учреждений в режиме реального времени посредством пакетного извлечения, агрегирования и производной обработки разнородных данных из нескольких источников, единой платформы характеристических переменных, которая стандартизирована и легко расширяется. призван реализовать доступ к данным, генерацию переменных функций , сквозной замкнутый цикл, который предоставляет данные для последующего обучения модели и выполнения решений, повышая скорость реагирования на рисковые события и точность принятия решений.
01 Технические возможности
Бизнес по контролю рисков часто сталкивается с требованиями обработки данных в режиме реального времени . При транзакциях клиентов, утверждении кредитов и других сценариях потоковые вычисления могут обновлять кредитные рейтинги клиентов, контролировать лимиты и другую информацию о рисках в реальном времени, обеспечивая возможности межсистемной идентификации рисков в реальном времени. для последующих механизмов принятия решений.
В архитектуре системы технологии управления рисками в реальном времени вычисления включают в себя пакетные вычисления, потоковые вычисления и графовые вычисления. Взяв в качестве примера возможности потоковых вычислений, Flink предоставляет базовые возможности вычисления функций в реальном времени, которые в основном используются для ETL данных, широкой таблицы. обработка и обработка окон. Вычисления, двухпотоковое объединение и другие сценарии, посредством предварительного расчета, расчета агрегации состояний и других возможностей, реализуется обработка исходных переменных функций, стандартных переменных функций и производных переменных функций для обеспечения поддержки функций. модели принятия решений.
Механизм моделей в основном отвечает за хранение и управление различными обученными моделями, такими как модели кредитного скоринга, модели обнаружения мошенничества , модели предупреждения об оттоке клиентов и т. д.
Механизм принятия решений централизованно управляет моделями политик, такими как наборы правил, деревья решений, матрицы решений и карты показателей. Набор правил вызывает сервис переменных функций и сервис модели механизма модели для участия в логической работе потока решений.
На основе разнородных источников данных механизм функциональных переменных выполняет извлечение, обработку и расчет данных, стандартизированное управление и обслуживание, а также обеспечивает самообслуживание запросов персоналом по контролю рисков, что делает поиск и анализ бизнес-данных более удобным и стандартизированным.
02 Источник данных
Если взять в качестве примера источник данных о кредитном бизнесе, то в зависимости от различных кредитных организаций его обычно можно разделить на личный кредит To C и корпоративный кредит To B. В реальных обзорах бизнеса менеджеры по работе с клиентами обычно анализируют возможность кредитования клиентов на основе двух показателей: уровня денежного потока и уровня задолженности.
В сценарии личного кредита уровни денежных потоков клиентов могут быть разбиты на потоки доходов от выплат социального страхования, банковских платежей и сторонних платежных платформ. Уровень ответственности в основном определяется кредитным отчетом Народного банка Китая, который охватывает все кредиты, выданные финансовыми учреждениями на имя физического лица, финансовые продукты, связанные с рисками, и информацию о внешних гарантиях. Помимо Народного банка Китая, данные кредитного отчета. Источники включают в себя другие сторонние лицензированные кредитные агентства, такие как Baihang Credit Information, Pudao Credit Information и Qiantang Credit Information.
В сценарии корпоративного кредитования источники риска малых и микро-инклюзивных кредитов концентрируются у фактического контролера. В дополнение к личному потоку фактического контролера, уровень денежного потока собирается одновременно с потоком корпоративного счета, а также дополнительно определяется уровень ответственности. Доступен из корпоративного кредитного отчета Народного банка Китая. При предоставлении кредитов средним и крупным предприятиям и отраслевых кредитах события рискового поведения основных предприятий трудно напрямую измерить на основе данных о кредитном налоге. В отличие от инклюзивных кредитов для малых и микропредприятий, требуется дополнительная оффлайн-дью-дилидженс. совмещаться с инвентаризацией предприятия и условиями работы дочерних предприятий.
Для двух вышеупомянутых типов кредитного бизнеса обработка признаков часто собирает следующие многомерные источники данных:
03 Обработка данных
Для источников данных в различных сценариях управления рисками используются методы обработки функциональных переменных, которые объединяют пакетный, потоковый, предварительный расчет и другие режимы, чтобы обеспечить гибкую разработку бизнес-потребностей, а также контроль затрат на хранение и вычисления.
Пакетные вычисления: для крупномасштабных наборов исторических данных используется пакетная обработка для обработки переменных объектов. Такие проблемы, как пропущенные значения и выбросы в данных, обрабатываются с использованием таких методов, как интерполяция и сглаживание, чтобы обеспечить качество данных.
Потоковые вычисления: для потоков данных в реальном времени режим потоковой обработки используется для обработки переменных функций. Благодаря технологии потоковой обработки в реальном времени осуществляется анализ данных в реальном времени для удовлетворения требований сценариев управления рисками в реальном времени. В то же время используется архитектура, управляемая событиями, для обеспечения эффективности и гибкости обработки данных.
Предварительные вычисления: для данных бизнес-системы предварительно рассчитайте и сохраните переменные функций в соответствии с частотой их изменения, что может эффективно снизить затраты на расчет потоков и повысить эффективность системы принятия решений при получении данных из механизма функций.
04 Строительство платформ
В частности, платформа характеристических переменных должна интегрировать данные из нескольких источников, таких как системы кредитной отчетности, сторонние источники данных и внутренние корпоративные системы, а также выполнять производную обработку возможностей пакетной обработки, чтобы поддерживать входные требования моделей управления рисками в различные бизнес-сценарии. Поддерживает настраиваемые бизнес-методы обработки с низким уровнем кода для функциональных переменных различной сложности. Таким образом, построение платформы функциональных переменных обычно включает в себя следующие аспекты:
1. Извлечение и генерация переменных функций, автоматическая очистка и предварительная обработка данных, преобразование необработанных данных в функции, которые можно использовать для моделирования. Предоставляет универсальную модель WEB IDE на основе холста и компонентов для повышения эффективности разработки и поддерживает определяемую пользователем или встроенную в систему логику расчета функций.
2. Хранение и управление переменными функций.
Основанный на механизме распределенного хранения , он хранит крупномасштабные исторические данные и характеристики в реальном времени. Внедрите контроль версий функций, запишите историю изменений логики расчета функций и убедитесь, что обучение модели можно отследить до конкретной версии данных.
3. Сервитизация характеристических переменных
Предоставляет интерфейс сервиса объектов для предоставления услуг запроса объектов в реальном времени или в пакетном режиме для различных механизмов обучения моделей, прогнозирования и принятия решений. С помощью компонента вывода вы можете быстро подключиться к нижестоящим механизмам правил, хранилищам данных в реальном времени и очередям сообщений, чтобы удовлетворить требования к производительности для низкой задержки и высокого уровня одновременного доступа в сложных бизнес-сценариях.
4. Исследование и анализ характеристических переменных
Предоставляет множество инструментов статистического анализа , которые помогают аналитикам быстро понять распределение переменных признаков, корреляционные связи и т. д. Визуальный интерфейс отображает важность, влияние и другие индикаторы функций, помогающие выбирать и повторять функции.
5. Интеграция с внутренними и внешними системами
Интегрируйте несколько источников данных, таких как внутренние торговые системы финансовых учреждений, системы CRM и системы ERP. Поддерживает связь с другими компонентами контроля рисков (такими как механизмы правил, библиотеки моделей и т. д.) и сторонними поставщиками услуг данных, такими как внешняя кредитная отчетность.
05 Доходы от строительства
При реализации проекта характеристических переменных клиента банка платформа удовлетворяет потребности в обработке и управлении производными характеристическими переменными в сценариях кредитования перед кредитованием и подключается к диверсифицированным источникам восходящих данных, таким как данные внешних операторов, промышленные и коммерческие, а также судебные данные. и внутреннее оборудование клиента банка, информация об оценке активов и расчете лимита, собранные перед кредитованием; Благодаря возможностям расчета функциональных переменных в режиме реального времени его можно применять к последующим моделям, таким как системы показателей, для предоставления данных.
1. Извлечение переменных признаков на основе компонентов.
Платформа анализирует переменные функций в пакетном режиме из команд SQL. Для целей сбора данных задач модели пользователи могут свободно обрабатывать и комбинировать необходимые переменные функций на платформе и записывать их в соответствующую таблицу куста темы для чтения и обработки.
2. Синхронное обновление наборов переменных функций.
Страница поддерживает добавление, удаление и редактирование наборов переменных функций, а операции со структурой таблицы платформы автоматически синхронизируются с таблицей физической модели. Когда логика переменных функции изменяется, вам нужно только отредактировать соответствующий производный код стандартной переменной функции или исходную операцию стандартизации переменной функции, чтобы избежать сложной разработки больших функций SQL.
3. Мониторинг стабильности и отклонений от нормы.
Функция панели мониторинга , предоставляемая платформой, поддерживает мониторинг колебаний характеристических переменных и вызов наборов переменных. Мониторинг значений характеристических переменных гарантирует, что, когда исходящие данные ненормальны, последующие задачи вовремя останавливаются. максимизация возможности избежать проблем, вызванных чрезмерными различиями в характеристических переменных при использовании модели. Искажение статистики результатов модели по состоянию каждого набора переменных, а также выдача базовых сигналов тревоги в реальном времени и информации о проверке сильных и слабых правил.
4. Единая платформа управления и контроля.
Платформа обеспечивает управление участниками, центр утверждения, анализ вызовов, автоматическое архивирование, перезапуск задач и другие методы управления и контроля, поддерживает настройку приоритета задач и единообразно планирует операции задач для повышения производительности службы данных и использования ресурсов кластера.
Платформа была развернута онлайн, охватывая и поддерживая более 30 кредитных сценариев для потребительских кредитов, малых и микрокредитов и других предприятий. В сочетании с механизмом модели последующих правил платформа характеристических переменных реализует реализацию возможностей принятия решений в реальном времени в сценариях контроля рисков, что удовлетворяет потребность пользователей в улучшении качества обслуживания клиентов и эффективности кредитования при подаче заявки на кредитную карту и одобрении кредита. Кроме того, он также предоставляет данные для сбора средств после получения кредита, борьбы с мошенничеством при транзакциях и других сценариев, поддерживая последующие системы для мониторинга аномального поведения транзакций пользователей в режиме реального времени, проведения идентификации личности в целях борьбы с отмыванием денег. и нажимайте сигналы тревоги в реальном времени.
Адрес загрузки «Информационного документа о продукте Dutstack»: https://www.dtstack.com/resources/1004?src=szsm
Адрес для скачивания «Белой книги по отраслевой практике управления данными»: https://www.dtstack.com/resources/1001?src=szsm
Для тех, кто хочет узнать или получить дополнительную информацию о продуктах больших данных, отраслевых решениях и историях клиентов, посетите официальный сайт Kangaroo Cloud: https://www.dtstack.com/?src=szkyzg .
Линус взял на себя задачу не допустить, чтобы разработчики ядра заменяли табуляции пробелами. Его отец — один из немногих руководителей, умеющих писать код, его второй сын — директор отдела технологий с открытым исходным кодом, а младший сын — ядро с открытым исходным кодом. участник Робин Ли: Естественный язык станет новым универсальным языком программирования. Модель с открытым исходным кодом будет все больше и больше отставать от Huawei: потребуется 1 год, чтобы полностью перенести 5000 часто используемых мобильных приложений на язык Hongmeng, наиболее подверженный этому . сторонние уязвимости. Расширенный текстовый редактор Quill 2.0 был выпущен с функциями, надежностью и разработчиками. Опыт был значительно улучшен. Ма Хуатэн и Чжоу Хунъи пожали друг другу руки, чтобы «устранить обиды». Meta Llama 3 официально выпущен. источник Laoxiangji не является кодом, причины этого очень трогательны. Google объявил о масштабной реструктуризации.