Baidu Search & Finance: создание высокоэффективной и высокодоступной распределенной системы передачи данных

[Предварительный просмотр прямой трансляции] Облачная виртуальная машина за 99 юаней × Собственная облачная архитектура за 9 юаней √

Автор | Отдел исследований и разработок поисковой технологической платформы

Введение 

Распределенная система передачи данных — это система, используемая для эффективной передачи больших объемов данных между несколькими вычислительными узлами. Она способна эффективно решать такие проблемы, как крупномасштабная миграция данных, резервное копирование и межрегиональная репликация. Она широко используется в реальной жизни. Передача потока данных во времени, миграция данных между центрами обработки данных, передача мультимедиа и другие сценарии, он также используется в управлении журналами, создании базы данных бизнес-данных и других сценариях на большинстве предприятий. Как мы все знаем, эффективная передача данных часто напрямую влияет на способность предприятия использовать рыночные возможности и имеет большое значение для развития предприятия. Особенно в финансовой сфере, такой как индустрия ценных бумаг, она выдвигает более высокие требования к разработке распределенные системы передачи данных., Данные в сфере ценных бумаг быстро меняются. Высокоэффективная и стабильная система потоковой передачи данных может не только эффективно улучшить пользовательский опыт, но и предоставить пользователям инвестиционную информацию из первых рук, что полезно для пользователей. 'инвестиционные решения, тем самым сокращая расстояние между предприятиями и пользователями. В этой статье будет рассмотрена конструкция распределенной системы передачи данных в финансовом случае при поиске Baidu.

Полный текст составляет 7584 слова, расчетное время чтения — 19 минут.

01 фон

Как бизнес с высокими требованиями к своевременности в сценариях поиска Baidu, финансы ежедневно обрабатывают десятки миллионов пользовательских поисковых запросов.До 2021 года данные финансового бизнеса всегда вводились с использованием традиционного интернет-метода.Характеристики этого метода.Стоимость доступа низкая. , но на него влияют неконтролируемые факторы, такие как общедоступная сеть, плохая своевременность данных и часто возникают такие проблемы, как сбои в работе данных и ошибки. За этим следуют высокие затраты на обслуживание бизнеса, что не способствует итерации продукта., исходя из этого, был запущен проект прямого подключения данных о ценных бумагах, целью которого является создание высокоскоростной и высокодоступной распределенной системы передачи путем подключения к центрам обработки данных крупнейших фондовых бирж по всему миру, тем самым эффективно решая традиционный метод введения данных (проблемы общедоступных сетей, такие как как своевременность, стабильность и точность, обеспечиваемые сканированием и нажатием), тем самым удовлетворяя финансовые потребности пользователей по всей стране и даже по всему миру.

02 Цели дизайна

• бизнес

Подключайтесь к рыночным данным уровня 1 крупнейших фондовых бирж по всему миру (сокращенно рынок LV1), которые представляют собой рыночную информацию в реальном времени, публикуемую биржей в соответствии с правилами торговли.Форматы данных включают интерфейсы на основе протокола FIX/FAST и файлы TXT, потоки двоичных данных и т. д. Рыночные данные, распространяемые через высокоскоростную наземную сеть и спутниковую систему широкополосного вещания компании Exchange Information Technology или через Интернет и передачу по выделенной линии компании SSE Information Network Co., Ltd.), охватывают акции всех котируемых компаний, иностранная валюта, фьючерсы, ETF, Turbo Bull and Bear и другие виды деятельности, связанные с ценными бумагами. Чтобы удовлетворить потребности пользователей, своевременность находится на одном уровне с конкурирующими продуктами в финансовой индустрии, а также создать резервы инфраструктуры данных для построения сильной финансовой экосистемы. .

• технологии

1. Строительство инфраструктуры : сотрудничать с биржами и операторами для завершения развертывания физических выделенных линий и подключения к центрам обработки данных Шанхая, Шэньчжэня, Гонконга и фондовой биржи Nasdaq в облачных компьютерных залах Baidu через физический доступ к выделенным линиям, который подходит. Порядок обмена и протокол многоадресной рассылки используются для ввода двоичных потоковых/текстовых данных в Baidu, а затем для завершения хранения и пересылки данных в Южном Китае, Северном Китае, Восточном Китае и Гонконге (с поддержкой зарубежного доступа).Он также поддерживает загрузку и планирование трафика для поддержки различных регионов Региональные запросы пользователей.

2. Улучшенная своевременность и стабильность : 99-й процентиль извлечения рыночных данных занимает не более 200 мс, стабильность данных повышена с 99% до более 99,99%, а возможность аварийного восстановления данных повышена с 1 главного и 0 резервных копий до 1 главного. и 2 резервных.

3. Безопасность данных . На основе возможностей безопасности Baidu создайте аналогичную политику брандмауэра для строгого контроля разрешений доступа к каждому компьютерному залу и каждому кластеру и настройте соответствующие групповые политики безопасности.

△Примечание. Физическая выделенная линия здесь относится конкретно к оптическому кабелю.

03 Ключевые идеи

С точки зрения функциональной и сетевой топологии высокоэффективная и высокодоступная система передачи финансовых данных должна включать в себя как минимум следующие части:

• Уровень доступа : адаптируется к протоколам одиночной и многоадресной передачи основных бирж по всему миру, чтобы обеспечить нормальную передачу данных в выделенной физической сети.

Существует два основных способа доступа: один через Интернет, а другой через физическую выделенную линию.Первый относительно гибок и может в основном поддерживать различные протоколы данных.Существует прямой HTTP (GET/POST) или очередь сообщений. Публикация и подписка и т. д., стоимость доступа низкая, и это тип немедленного доступа. Однако из-за неконтролируемых факторов в общедоступной сети будет относительно большой разрыв в эффективности и безопасности передачи по сравнению с последней. Мы обычно используем Интернет-метод существует как возможность аварийного восстановления; метод выделенной линии характеризуется только передачей точка-точка. Поскольку он использует независимые оптические кабели, он теоретически может достичь состояния без конфликтов в пределах ограниченной полосы пропускания и не зависит от общедоступной сети, что делает передачу надежной. Приватизация протокола передачи добавляет больше механизмов аутентификации и, следовательно, более безопасна. Он различает различные сценарии приложений, такие как передача данных ценных бумаг. Как правило, биржи используют методы одноадресной и многоадресной рассылки, и в настоящее время в основном используется многоадресная рассылка.Кроме того, выделенные линии также имеют концепцию активных и резервных.Как правило, 1-2 линии зарезервированы для аварийного восстановления.В целом, выделенные линии дороже, а цикл доступа длиннее, часто продолжительнее как несколько месяцев.

• Сетевой уровень : завершить построение архитектуры виртуальной сети облачных компьютерных залов Baidu в Южном, Северном и Восточном Китае, включая подсети, маршрутизацию, шлюзы и т. д.

Основными компонентами виртуальной сети являются в основном подсети, маршруты, шлюзы и виртуальные машины. Каждая подсеть связана с кластером виртуальных машин. Мы вместе называем весь компонент (домен) VPC (виртуальное частное облако), и различаются маршруты. При маршрутизации и пиринговых соединениях TGW основное внимание здесь уделяется пиринговым соединениям. Он предоставляет пользователям услуги межсетевого соединения на уровне VPC, позволяя пользователям реализовать совместимость трафика между различными виртуальными сетями и достичь одного и того же региона/межрегиона для одних и тех же пользователей. ./Ядро стабильного и высокоскоростного межсетевого взаимодействия между различными пользователями основано на работе таблиц маршрутизации. Одноранговое соединение также поддерживает настройку синхронизации DNS на региональном уровне, шлюз разделен на шлюз NAT. и шлюз выделенной линии, один внешний, например, для настройки SNAT. Правила DNAT используются для экспорта внешней сети того же сегмента сети, один для внутреннего, а внутренний фактически предназначен для обеспечения возможности использования выделенной линии для подключения к внутренняя сеть.

• Транспортный уровень : полный анализ данных, хранение, синхронизация, пересылка и т. д. в каждом компьютерном зале.

Мы разделяем данные, полученные уровнем доступа, на три уровня. Например, обмены - это в основном двоичные потоки, а текст - это данные первого уровня. Нам необходимо хранить исходные данные за недавний период времени локально (кластер управления данными первого уровня). ), так что он используется для экстренного воспроизведения; декодированные данные являются вторичными данными, которые попадают в кластер управления вторичными данными и в основном используются для межрегиональной синхронизации; наконец, декодированные данные рассчитываются и обрабатываются и используются как данные третьего уровня и попадают на Трехуровневый кластер управления данными используется для выполнения сервисов приложений.При этом данные, декодированные в соответствии с протоколом, делятся на потоки реального времени (например, с разделением времени) и задержанные потоки. (например, K-линия) в соответствии со сценариями использования. Задержанные потоки рассчитываются с помощью потоков реального времени. Поток реального времени синхронизируется с памятью для повышения эффективности ввода-вывода, а задержанный поток асинхронно вводится в БД после расчет потока в реальном времени.БД поддерживается на трехуровневом кластере управления данными.

• Прикладной уровень : планирование нагрузки/трафика, возможности мониторинга и т. д.

При разработке уровня приложения необходимо учитывать два основных фактора: с одной стороны, это планирование нагрузки и трафика уровня доступа. Например, путем развертывания служб websocket/http для поддержки пользовательского трафика Baidu и использования BLB (Baidu Баланс нагрузки) для загрузки трафика в одной и той же области. Несколько интеллектуальных облачных серверов Baidu виртуализируются в группу, задают адрес службы интрасети или внешней сети и перенаправляют одновременный внешний доступ к нескольким внутренним облачным серверам (BCC) для достижения баланс трафика приложений и достижение расширения бизнес-уровня с точки зрения производительности. Балансировка нагрузки также своевременно устраняет отдельные точки сбоя службы посредством автоматического переключения при сбое, повышает доступность службы, поддерживает настройку политики веса планирования сервера и поддерживает TCP, HTTP и другие протоколы; с одной стороны, это применение мониторинга, например в виде журналов запросов/передачи данных. Размещение, статистика, анализ, мониторинг трафика и SLA и т. д.

После создания вышеупомянутых четырехуровневых возможностей топология сети в одном компьютерном зале должна быть такой, как показано на следующем рисунке:

△Примечание: DCC/BBC/BCC — это все типы компьютеров в категории Baidu Cloud. Для получения более подробной информации см. Частную сеть Baidu Smart Cloud ( https://cloud.baidu.com/doc/VPC/s/Vjwvytu2v ).

04 Основные трудности и решения

Сложность 1

Как завершить адаптацию нескольких протоколов в облаке в режиме общедоступной и частной сети, особенно как адаптировать протоколы одноадресной и многоадресной рассылки в частных сетях и как преобразовать многоадресную рассылку в одноадресную.

Введение в общедоступную сеть и доступ к частной сети

Для системы передачи данных наиболее важным моментом на самом деле является поддержка многопротокольной адаптации данных для повышения гибкости системы.Методы доступа, обычно предоставляемые фондовыми биржами, включают доступ к общедоступной сети и доступ к частной сети.Стоимость доступа к сети составляет низкий и обычно может быть выполнен с еженедельной детализацией без сложных ограничений протокола; частные сети часто имеют более высокие требования. Большинство протоколов требуют возможности одноадресного вмешательства, а некоторые требуют возможностей одноадресного вмешательства, например Nasdaq и Shenzhen Exchange потребуют нисходящего потока для поддержки многоадресной рассылки. доступ. Подавляющее большинство поставщиков облачных услуг не могут напрямую адаптироваться к виртуальным машинам.Традиционные брокерские компании в основном используют дорогостоящие физические машинные ресурсы для переноски нагрузки.Хотя подключение и отключение физических машин более удобны и стабильны, затраты на управление эксплуатацией и обслуживанием также выше Кроме того, эти два метода имеют существенные различия в эффективности и стоимости:

1. Доступ к общедоступной сети : наиболее распространенными методами доступа к данным в общедоступной сети являются в основном HTTP/HTTPS.Конечно, существуют также RPC/FTP, но они используются относительно реже.Чтобы повысить безопасность передачи данных, обе стороны могут провести переговоры перед вызовом.Хорошие алгоритмы и ключи шифрования данных имеют преимущество низкой стоимости доступа и быстрого применения, особенно при трансокеанской передаче.Недостаток заключается в том, что используются линии общего пользования, сеть ненадежна и данные легко перехватываются.Когда злоумышленник После захвата пакетов данных на обоих концах, даже если они не могут быть полностью проанализированы, могут быть реализованы некоторые методы атаки на трафик, чтобы повлиять на стабильность обслуживания.Вообще говоря, данные с высокими требованиями к безопасности и своевременности обычно не доступны таким способом.Это более это всего лишь резервный метод (за исключением особых сценариев, таких как трансокеанская передача).

2. Доступ к частной сети : Интранет компании на самом деле является частной сетью. Однако для сценариев передачи данных между компаниями, если вы хотите построить частную сеть, вы обычно будете использовать доступ к физической выделенной линии. Эта передача «точка-точка» Этот метод имеет значительные преимущества.Преимущество состоит в том, что частная сеть является выделенной и имеет высокий уровень безопасности.На нее практически не влияет публичная сеть (за исключением форс-мажорных обстоятельств, таких как стихийные бедствия).В пределах полосы пропускания практически нет конфликтов в сети (данные доступен сразу после отправки). Поскольку это частная сеть (двусторонняя передача в интрасети), практически нет необходимости беспокоиться о проблемах безопасности данных, и часто добавляются дополнительные методы проверки данных. Особенно в финансовых сценариях, будет строгая аутентификация по токену (жесткая/мягкая).Недостатком этого метода является стоимость.По сравнению с передачей и доступом в общедоступной сети, стоимость выше, обычно длится несколько месяцев, а стоимость дороже, обычно исчисляется миллионами. юаней, в зависимости от выбранной среды передачи (обычно оптоволокно) и пропускной способности.

Решения для доступа по протоколам одноадресной и многоадресной рассылки в частных сетях

Частные сети делятся на одноадресные, широковещательные и многоадресные. Одноадресную рассылку относительно легко адаптировать. Чтобы использовать статическую маршрутизацию, вы можете настроить IP-сегменты облака и IDC соответственно под тем же VLANID, что и адрес соединения выделенной линии IPV4; широковещательная передача Как правило, на стороне сервера, например, нисходящий поток фондовой биржи подключен ко всем брокерам по всему миру, а источник данных один и тот же. Обычно для передачи данных всем нижестоящим узлам используется механизм широковещательной рассылки; протоколы многоадресной рассылки обычно требуют нисходящая адаптация. В настоящее время большинство предприятий перешли в общедоступное облако. Технология виртуализации обычно используется в облаке для завершения развертывания кластеров серверов. Для виртуальных машин большая поддержка — это одноадресная передача и не поддерживает многоадресную передачу. Часто требуется быть развернут в выделенном маршруте для пересылки многоадресных пакетов настроен на физическом устройстве (многоадресный маршрутизатор или специальное программное обеспечение многоадресной рассылки) Таблица маршрутизации связана с конкретным протоколом маршрутизации (например, PIM), а затем используется протокол IGMPV3 для завершения маршрутизации участников многоадресной рассылки и пакетов. Управление, поддержание отношений соседства через динамический BGP (текущие поставщики облачных технологий могут назначать фиксированные номера AS для BGP. Если есть требования к AS, это все равно необходимо делать отдельно на физической машине). Мы может окружать часть физических ресурсов специально для передачи многоадресных данных. Передача путем настройки IGMP Snooping (многоадресные сообщения могут быть перенаправлены на уровень канала передачи данных второго уровня для реализации групповой одноадресной передачи. Обратите внимание, что версия должна быть 3 , в противном случае сообщения IGMPV3 не могут быть перенаправлены) + Точка доступа завершает настройку многоадресной рассылки в одноадресную, Затем через две сетевые карты (порт WAN + порт LAN) реализуется доступ к данным выделенной сети и синхронизация с интрасетью Baidu. Физические машины связаны через трехуровневые коммутаторы для построения топологии сети, аналогичной следующей:

Сложность 2

Улучшено управление данными и межрегиональная синхронизация, возможности аварийного восстановления данных и своевременность.

Иерархическое управление данными в основном касается сценариев в пределах одного компьютерного зала. Основной трудностью для нескольких компьютерных залов или межрегиональных сетей является синхронизация данных. Последнее требует большего внимания к эффективности передачи данных между компьютерными залами и управлению аварийным восстановлением. ядром является сетевой дизайн. :

1. Управление данными : в соответствии с различными сценариями использования данные делятся на данные двоичного потока (исходный поток данных), текстовые данные, бизнес-данные/журналы и т. д.:

• Исходный поток данных в основном касается сценариев передачи данных в одно машинное помещение и между машинными помещениями. Когда возникает ошибка отображения данных, вызванная аномалиями нижестоящих бизнес-услуг, сохраненный исходный поток данных может очень хорошо воспроизводить данные для быстрого восстановления бизнеса. , особенно для финансовых ценных бумаг. В сценариях передачи данных фондовые биржи обычно не отправляют дублирующиеся данные. Если исключение нижестоящей бизнес-службы приводит к тому, что все сохраненные бизнес-данные становятся недействительными или некорректными, возможно только активно запросить восходящий поток для повторного использования. -получить его путем обновления, но это может привести к потере основных данных. Поскольку этот метод менее эффективен и увеличивает влияние ущерба для бизнеса, исходный поток данных, выдаваемый обменом, обычно сохраняется первым. Компания может настроить метод хранения и цикл. При возникновении проблемы потерю можно остановить путем «воспроизведения» исходного потока данных. Кроме того, исходный поток данных также можно использовать для восстановления бизнес-данных в компьютерных залах в одноранговой сети.

• Поток бизнес-данных в основном касается сценария передачи одного компьютерного зала.В соответствии с различным разделением труда модулей, рыночными условиями в реальном времени, историческими рыночными ценами на ценные бумаги и т. д., у нас есть много способов управления данными одного компьютерного зала. кластеров.Для самостоятельно разрабатываемых БД планирование может быть. С некоторыми стандартными методами распределенного управления (такими как zk) обычно необходимо настраивать методы синхронизации данных.Для традиционных БД, таких как Mysql, Redis, Mongo и т. д., обычно существуют стандартизированные методы синхронизации данных и режимы планирования.

2. Межрегиональная синхронизация . Предпосылка региональной синхронизации между компьютерными залами заключается в том, что нескольким компьютерным залам необходима выделенная физическая сеть с прямыми или косвенными связями, то есть обеспечение доступности сети, а затем объединение виртуальной сети для завершения конфигурация подсети и маршрутизации. Для двух компьютерных залов с прямыми сетевыми связями конструкция нашей одноранговой сети (Peer Connection) немного проще. Теперь все поставщики облачных услуг в основном поддерживают прямую настройку. Принцип заключается в том, чтобы сначала разделить их в одном VPC. подсети и запланируйте размер кластера, а затем завершите ассоциацию следующего перехода между локальным концом и противоположным концом, настроив таблицу маршрутизации. Это завершает построение двух прямых одноранговых сетей, а затем настраивает маршрут к Выделенная линия интрасети. Вы можете обеспечить сетевое взаимодействие между облачным компьютерным залом -> компьютерным залом интрасети; но что, если два компьютерных зала не связаны напрямую и необходимо выполнить синхронизацию локальных и одноранговых данных? Например, есть три компьютерных зала ABC, и только AB BC Существует прямая ассоциация, и мы хотим связать AC. В настоящее время невозможно установить другую физическую связь. Мы можем использовать метод моста (или туннель), чтобы связать три компьютерных зала ABC в то же время, из которых B используется как «сетевой мост», а затем завершается преобразование IP-адреса с помощью технологии NAT, чтобы гарантировать, что C может идентифицировать маршрут от A, а AB BC обычно использует одноранговую сеть. для завершения базовой конфигурации сети, чтобы несколько компьютерных залов могли обмениваться данными.Поскольку это передача по физической сети, затраты времени в компьютерном зале не будут сильно отличаться (в пределах 30 мс).

Поскольку деталей сети слишком много, мы не будем вдаваться в подробности. Здесь мы рассмотрим архитектуру сети для межрегиональной синхронизации:

△Примечание: сегменты сети на рисунке можно разделить по различным сценариям.Это лишь краткое введение.

3. Улучшенные возможности и своевременность аварийного восстановления данных.

• Аварийное восстановление данных: обычно мы выбираем точку доступа рядом с каждой фондовой биржей. Например, Шанхайская фондовая биржа выбирает доступ к компьютерному залу в Шанхае, Шэньчжэньская фондовая биржа выбирает доступ в Гуанчжоу, а Nasdaq выбирает доступ в Гонконге. Конг.Каждая точка доступа Настройте 2 выделенные линии в качестве основного и резервного физических каналов, а также расширите интернет-канал (обратите внимание, что Интернет здесь также напрямую связан с АТС и уже не является традиционным каналом ввода данных) в качестве вторичного резервного канала. активны по умолчанию.Наше физическое оборудование будет автоматически переключаться в зависимости от состояния выделенной линии (настраиваемая логика).Наконец, на основе упомянутого выше принципа межрегиональной синхронизации каждое физическое соединение будет связано с облачным компьютерным помещением. Для каждого физического канала абстрагируйте независимое VPC и реализуйте репликацию данных между машинными залами и аварийное восстановление путем построения топологии сети.

• Своевременность: естественным преимуществом метода доступа по физической выделенной линии (оптическому кабелю) является то, что данные «доступны сразу после отправки», поскольку в пределах фиксированной полосы пропускания практически нет сетевых конфликтов, и большинство линий теперь оснащены реле. , которые приводят к потерям. Влияние относительно контролируемо, поэтому метод доступа определяет своевременность передачи данных. По сравнению с традиционными методами доступа в Интернет, с точки зрения данных, SLA для доступа по выделенной линии превышает 5 9 с (доступ в Интернет 2 9 с). Конечно, механизм повторной передачи также будет настроен для дальнейшего повышения надежности поступления данных; частота выдачи данных биржей делится по рынку, акции A обычно составляют 3 секунды за транзакцию, акции Гонконга и США не имеют особых ограничений. , и будет выдан, как только транзакция будет завершена, за исключением света. Влияние потери может достигать 3 мс/ручка в максимально быстром режиме. Поскольку чем выше частота, тем выше требования к машине. По этой причине мы специально выполнили некоторые операции по ограничению частоты. Общая своевременность данных в основном составит 60 мс (99,99+ минут).бит) в пределах.

Сложность 3

Управление кластером и планирование трафика в одном регионе и между регионами.

Планирование трафика действует на уровне приложения. В основном оно направлено на поиск эффективного метода планирования/загрузки для обеспечения поддержки данных для внутренних и внешних служб. Из классификации сценариев протокола/приложения оно в основном включает TCP/HTTP. Стратегии различаются в зависимости от Бизнес. Он по-прежнему основан на определении веса в распределении трафика. Например, существует распределение, основанное на проверке работоспособности RS. Состояние работоспособности нисходящего кластера определяется время от времени для динамической регулировки соотношения трафика. Его также можно распределить в зависимости от количества подключений нижестоящего компьютера.Вы также можете Распределение основано на популярности доступа к ресурсам, а различие между однорегиональными и межрегиональными сценариями заключается в следующем:

1. Сценарий с одним регионом : в настоящее время различные поставщики облачных услуг поддерживают соответствующие продукты для планирования трафика. Например, Baidu Cloud имеет BLB (Baidu Load Balance). Вы можете легко создать правило планирования. В разделе BLB вы можете установить протокол для планирования. кластеры (TCP/HTTP), затем свяжите соответствующий кластер серверов и, наконец, настройте политики веса для разных кластеров серверов. При поступлении трафика BLB поможет нам завершить автоматическое распределение. Когда в определенном кластере возникает проблема, мы можем вручную настроить вес кластера, чтобы вмешаться.Коэффициент потока, так называемый обрезанный поток.

2. Сценарий с несколькими регионами : Стратегии планирования трафика нескольких компьютерных залов обычно изолированы в облаке. Конечно, мы можем абстрагировать специальный кластер планирования в верхней части нескольких компьютерных залов и открыть VIP для внешнего мира. Настроить планирование отношения между несколькими регионами на VIP. Это в основном то, что делают интернет-компании. Он больше ориентирован на сценарии чрезвычайно большого масштаба кластера, и выбор VIP также зависит от условий/затрат, но если вы хотите низкую стоимость, быстро создайте приложение на облако, которое может поддерживать одновременный доступ из нескольких регионов и имеет автоматическое планирование трафика. Если облако не поддерживает функцию разделения VIP-персон в нескольких регионах, мы можем доделать это самостоятельно на основе существующих функций в облаке, насколько это возможно. кластер, аналогичный nginx, извлекается в каждом компьютерном зале. Каждый кластер поддерживает отношения планирования, отличные от локального домена. Их нисходящим потоком является BLB, отличный от локального компьютерного зала. В то же время они проверяют состояние здоровья друг друга и сообщают Таким образом, при возникновении неисправности, помимо завершения планирования трафика на уровне BLB в локальном компьютерном зале, он также может переключать трафик между несколькими компьютерными залами, чтобы улучшить возможности аварийного восстановления компьютерного зала. Конечно, он также должен иметь достаточную мощность.

05 Общий дизайн

Функции каждого модуля на рисунке выше следующие (каждый модуль использует мультиплексирование):

1. Кластер доступа к исходным данным : адаптируется к доступу к источнику данных двумя способами (Интернет/физическая выделенная линия) + различные протоколы (Интернет, одноадресная, многоадресная рассылка)

2. Кластер пересылки исходных данных : обеспечьте согласованность исходных данных в каждом компьютерном зале и уменьшите проблемы несогласованности данных, вызванные самой бизнес-службой.

3. Кластер анализа данных : общедоступный модуль, в основном для унифицированной обработки исходных данных с целью их передачи последующим предприятиям.

4. Кластер бизнес-данных (потоковая передача в режиме реального времени/с задержкой) : отвечает за преобразование контента, доставляемого кластером анализа данных, в подробные бизнес-данные, которые представляют собой данные, которые видят пользователи B-стороны или C-стороны.

5. Кластер шлюзов : отвечает за передачу трафика доступа пользователей.

6. Кластер мониторинга : отвечает за сбор журналов, сообщаемых каждым кластером, и использование их в качестве одного из методов управления стабильностью.

Видно, что по сравнению с другими компьютерными залами компьютерный зал B имеет меньшую конфигурацию уровней доступа. Это в основном основано на соображениях стоимости и производительности. Использование компьютерного зала B в качестве узла передачи данных не только обеспечивает передачу данных в локальном компьютерном зале, но также поддерживает данные в компьютерных залах.Синхронизация и репликация.Эта распределенная система передачи охватывает все: от доступа к данным до кластеров мониторинга.Общий размер машины небольшой (около 100), но он может поддерживать более 1 миллиарда трафика.

06 Резюме и перспективы

Хороший опыт работы с продуктом и матрица продуктов должны быть неотделимы от высокодоступной и своевременной поддержки данных.Особенно в финансовой сфере пользователи могут платить только за информацию из первых рук и полные функции продукта.С 2021 года, с момента создания канала данных, финансовая стабильность и масштабы бизнеса совершили качественный скачок: своевременность данных по ценным бумагам сократилась с десятков раз в квартал до менее одного в год, а время 99-го процентиля сократилось с последних минут до менее одного в год. В течение 60 мс соглашение об уровне обслуживания данных было увеличено примерно с 2 9 до более чем 5 9. Продукты охватывают акции, иностранную валюту, фонды, фьючерсы и многие другие области. Это также первый бизнес, поддерживающий долгосрочное соединение рынка. Условия в области поиска. Он также создан на основе поисковой экосистемы. Он разработал ряд независимых продуктов, таких как сайт и приложение для ПК Baidu Stock Connect, и в настоящее время интегрирует возможности искусственного интеллекта для непрерывной оптимизации. Ожидается, что это улучшит работу пользователей. опыт -> помочь пользователям принимать продвинутые решения, а также сделать финансовые инвестиции более разумными и простыми.

В этой статье в основном дается краткое введение в распределенную систему передачи данных на основе случая доступа к финансовым данным, включая проектирование некоторых основных узлов в системе передачи, таких как многопротокольная адаптация уровня доступа к данным, иерархическое управление данными и Топология сети, соответствующая межрегиональной синхронизации данных и т. д., путем экспериментов сделан вывод, что данное решение может хорошо применяться при проектировании распределенных систем передачи данных различных размеров. Конечно, из-за нехватки места многие детали реализации опущены.Если у читателей возникнут вопросы, они могут оставлять сообщения и обсуждать их вместе, а мы постараемся на них ответить.

--КОНЕЦ--

Рекомендуем к прочтению

Делимся опытом «наступления на подводные камни»: практика реализации языка Swift

В системе учетных записей Baidu реализована мобильная технология антискриншотов и записи экрана.

AI Native Engineering: практика интерактивных технологий AI в приложении Baidu

Раскрытие тайны цикла событий

Реконструкция сервиса отображения поиска Baidu: прогресс и оптимизация

Дважды произошел сбой Bilibili, авария первого уровня Tencent «3.29»… Подведение итогов десяти крупнейших аварий с простоями в 2023 году. Vue 3.4 «Slam Dunk» выпустил MySQL 5.7, Moqu, Li Tiaotiao… Подведение итогов «остановки» в 2023 году Подробнее (с открытым исходным кодом) проекты и веб-сайты оглядываются на IDE 30-летней давности: только TUI, яркий цвет фона... Выпущен Vim 9.1, посвященный Брэму Муленаару, отцу Redis, "Rapid Review" LLM Programming: Omniscient и Всемогущий&& Глупый «Пост-открытый исходный код». Наступила эра: срок действия лицензии истек, и она не может обслуживать широкую публику. China Unicom Broadband внезапно ограничила скорость загрузки, и большое количество пользователей пожаловались. Руководители Windows пообещали улучшения: сделайте начало Меню снова великолепное. Скончался Никлаус Вирт, отец Паскаля.

{{o.name}}

{{м.имя}}