Подробное объяснение технологии адаптации EasyMR на основе локализованного Синьчуана.

Внутренние информационные инновации означают использование отечественных продуктов и услуг информационных технологий для создания независимой и контролируемой системы информационных технологий. В последние годы, поскольку страна придает все большее значение сетевой безопасности и информационной безопасности, локализованные информационные инновации стали важной частью национальной стратегии и демонстрируют следующие общие тенденции:

● Ускоренное развитие, основанное на политике.

Штат обнародовал ряд политик и постановлений, призванных решительно поддержать развитие локализованной информационной и инновационной индустрии. Например, в «14-й пятилетке развития цифровой экономики» предполагается, что к 2025 году будет достигнут прорывной прогресс в основных технологических исследованиях в области ключевых информационных технологий, а также появится возможность замены ключевых программных и аппаратных продуктов и услуг. быть значительно усилена. Национальный план информатизации «14-й пятилетки» предлагает ускорить строительство безопасной и управляемой цифровой инфраструктуры и способствовать независимым исследованиям, разработкам и применениям в ключевых областях информационных технологий.

Благодаря активному продвижению политики локализованная индустрия информационных инноваций быстро развивалась, а масштабы рынка продолжали расширяться. Согласно статистике, объем рынка информационной и инновационной индустрии Китая превысит 1 трлн юаней в 2023 году и, как ожидается, достигнет более 2 трлн юаней к 2025 году.

● Технологические прорывы и экологическое строительство

Ядром локализованной индустрии информационных инноваций являются технологические исследования и экологическое строительство. За последние годы отечественные базовые программные продукты, такие как операционные системы, базы данных и промежуточное программное обеспечение, добились значительного прогресса. Их производительность и стабильность постоянно улучшаются, а разрыв с зарубежными продуктами постепенно сокращается. В то же время отечественная экосистема информационных инноваций постепенно совершенствуется, а вспомогательные продукты и услуги, такие как прикладное программное обеспечение и продукты безопасности, постоянно обогащаются и обновляются.

● Расширение приложений и разнообразные сценарии.

Сценарии применения локализованного Синьчуана продолжают расширяться, простираясь от ключевых областей, таких как партийные и правительственные учреждения, финансы и телекоммуникации, до большего количества отраслей, таких как образование, здравоохранение и транспорт. Например, в сфере образования Пекин, Шанхай и другие места запустили пилотные проекты информационных инноваций в университетах в области медицины, многие больницы развернули локализованные системы информационных инноваций;

● Безопасный и контролируемый, независимый и контролируемый.

Фундаментальной целью локализованных информационных инноваций является достижение независимой управляемости и управляемости безопасности информационных технологий. Используя отечественные продукты и услуги информационных технологий , можно эффективно снизить риски информационной безопасности и повысить уровень национальной информационной безопасности.

Вообще говоря, локализованные информационные инновации являются неизбежной тенденцией развития времени и имеют широкие рыночные перспективы. В будущем, благодаря постоянному развитию технологий и постоянному расширению сценариев применения, локализованные информационные инновации откроют новый этап развития. более быстрое развитие.

EasyMR основан на поддержке локализованной адаптации Синьчуана.

EasyMR — это механизм эластичных вычислений , созданный Kangaroo Cloud на основе облачной технологии и компонентов больших данных с открытым исходным кодом, таких как Hadoop, Hive, Spark, Flink, Hbase и Presto . Предоставляйте безопасные, надежные, недорогие, эластично масштабируемые услуги хранения и вычислений для больших данных , а также реализуйте комплексное создание, управление, развертывание, эксплуатацию, обслуживание и мониторинг кластеров Hadoop.

Основные компоненты EasyMR основаны на отечественных методах самостоятельной разработки и успешно адаптированы к различным отечественным операционным системам и процессорам, в том числе:

· Galaxy Kirin V10 (Intel X86, Kunpeng 920, Feiteng 2000)

· Galaxy Kirin V4 (Intel X86, Feiteng 2000)

· Победа в тендере на Kirin V7.6 (Intel X86)

· Tongxin UOS V20 (Intel X86, Kunpeng 920)

· Дракон Ящерица 8.4 (Intel X86)

Что касается локализованной базы данных Синьчуан, EasyMR был адаптирован к базе данных Dameng 8 и создал абстрактный интерфейс для операций добавления, удаления, изменения и запроса на уровне базы данных. Такая конструкция позволяет легко адаптироваться к другим внутренним базам данных Синьчуана в будущем.

Далее мы подробно представим, как компоненты EasyMR адаптируются к отечественным операционным системам и процессорам с точки зрения технической реализации .

О Docker Buildx

В процессе частного развертывания EasyMR мы выбрали Docker в качестве среды развертывания. Docker — это легкая платформа контейнеризации , которая упрощает развертывание, управление и масштабирование приложений. По сравнению с традиционными виртуальными машинами Docker имеет преимущества, заключающиеся в более быстром запуске, более высоком использовании ресурсов, большей переносимости, а также простоте развертывания и управления. Таким образом, упаковка различных компонентов EasyMR в образы Docker для частного развертывания может значительно повысить эффективность эксплуатации и обслуживания развертывания, а также снизить вероятность возникновения проблем.

При адаптации локализованных компонентов Xinchuang основная проблема, с которой мы сталкиваемся, заключается в том, как создавать образы, адаптирующиеся к этим компонентам в среде Docker. Для решения этой проблемы мы представили инструмент Docker Buildx . Docker Buildx поддерживает создание кроссплатформенных образов Docker и легко адаптируется к различным операционным системам и архитектурам процессоров.

Docker Buildx — мощный инструмент, который упрощает процесс создания и публикации образов Docker на нескольких архитектурах ЦП. В этом разделе основное внимание будет уделено тому, как создавать мультиархитектурные образы Docker на базе Linux, а также показано, как упаковывать образы и как настраивать Docker Buildx в различных хост-средах. В качестве примера для объяснения возьмите версию дистрибутива Ubuntu/Debian.

● Как Docker Buildx компилирует многоверсионные сервисы.

Docker Buildx поддерживает построение мультиархитектуры двумя основными способами: один — использовать собственные сборщики разных архитектур, другой — реализовать его через симулятор процессора QEMU; В этой статье основное внимание будет уделено QEMU , поскольку это чисто программное решение, для работы которого не требуется наличие серверов, работающих на разных архитектурах.

QEMU работает путем эмуляции всех инструкций внешнего типа ЦП, установленных на сервере/процессоре. Например, на машинах с архитектурой x86 QEMU может имитировать инструкции ЦП архитектуры ARM. С помощью эмулятора QEMU на сервере можно запускать двоичные файлы различной архитектуры.

К счастью, в Linux также есть встроенная поддержка запуска неродных двоичных файлов — binfmt_misc. Когда Linux пытается выполнить двоичный файл, он проверяет, зарегистрирован ли в binfmt_misc обработчик для этого типа файла. Если он зарегистрирован, этот обработчик будет вызван для выполнения двоичного файла.

В этом случае мы будем использовать модуль binfmt_misc для явного выполнения эмулируемого двоичного файла QEMU внешней архитектуры ЦП.

● Требования к программному обеспечению для использования Docker Buildx.

Если вы хотите использовать Docker Buildx для создания образа, вам необходимо выполнить следующие условия:

· Docker>=19.03: сам Docker должен включать функцию Buildx.

· Должен быть включен Экспериментальный режим

· Версия ядра Linux >=4.8: binfmt_misc требует, чтобы ядро ​​Linux поддерживало параметр F.

· Монтировать файловую систему binfmt_misc

· Установите инструменты поддержки QEMU и binfmt_misc в режиме хоста или в образе Docker.

Если вы используете Docker Desktop (>= версии 2.1.0), например, в Mac OSX или Windows, никакой другой настройки не требуется, поскольку он уже соответствует всем вышеуказанным требованиям. Ниже приведены шаги по установке и настройке операционной среды Docker Buildx на машине с архитектурой Linux x86, особенно на примере Ubuntu 22.04 .

Этапы установки Docker Buildx

01 Установите Докер

Только версии Docker после 19.03 поддерживают Buildx, поэтому развернутая версия Docker должна быть как минимум этой версии. Вы можете проверить ее с помощью следующей команды:

root@localhost:~# docker --version
Docker version 25.0.3, build 4debf41

Если Docker не установлен на сервере, вы можете попробовать установить его с помощью соответствующего дистрибутива Docker Linux.

sudo apt-get install -y docker-ce

02 Включить экспериментальные функции Docker

Экспериментальные функции можно включить двумя способами :

· Путем установки переменных среды

export DOCKER_CLI_EXPERIMENTAL=enabled

· Включив переключатель функции в файле конфигурации $HOME/.docker/config.json.

{
  "experimental": "enabled"
}

После завершения настройки вы можете использовать версию Docker , чтобы проверить, успешно ли она открыта.

файл

Затем вы можете проверить, доступна ли команда Docker Buildx.

файл

03 Проверьте версию ядра Linux

root@localhost:~# uname -r
5.15.0-72-generic

Как упоминалось выше, версия ядра Linux должна быть не ниже 4.8.

04 Проверьте, смонтирована ли файловая система binfmt_misc

$ ls /proc/sys/fs/binfmt_misc/
register status

05 Установите QEMU

sudo apt-get install -y qemu-user-static

После завершения выполнения будет установлен QEMU, поддерживающий несколько архитектур. Вы можете запустить следующую команду, чтобы проверить aarch64.

ls -l /usr/bin/qemu-aarch64-static
qemu-aarch64-static --version

файл

sudo apt-get install -y binfmt-support
update-binfmts --version

Убедитесь, что версия update-binfmts больше или равна 2.1.7.

Создайте образы с помощью Docker Buildx.

● Создать конструктор Buildx.

docker buildx create --name mybuilder
docker buildx use mybuilder
docker buildx inspect --bootstrap
docker buildx ls

● Сборка с использованием Buildx.

docker buildx build --platform linux/arm64 -f Dockerfile.arm --tag=easymanager/matrix:6.1.2-rel-rel . --load

Приведенная выше команда используется для упаковки образа Docker, чтобы его можно было запускать на сервере с архитектурой Linux/arm64. Если существуют другие типы архитектур, вы можете изменить параметр --platform, например linux/amd64, linux/arm/v6, linux/arm/v7, linux/arm64/v8, linux/386, linux/ppc64le, linux /s390x и т. д. .

Подведем итог

Локализованные информационные инновации являются ключевым компонентом национальной стратегии и имеют большое значение для обеспечения национальной сетевой безопасности и информационной безопасности. В последние годы, поскольку страна продолжает придавать большое значение информационной и инновационной индустрии, в этой области был достигнут значительный прогресс, а информационные и инновационные компоненты становятся все более распространенными.

EasyMR стремится глубоко изучить область локализованных информационных инноваций, сосредоточив внимание на превращении EasyMR в эластичный вычислительный механизм для больших данных, который наиболее подходит для компонентов локализованных информационных инноваций , помогая предприятиям создавать безопасные, стабильные и эффективные решения для больших данных.

Благодаря постоянной оптимизации и обновлению EasyMR продолжит ускорять процесс адаптации локализованных информационных инноваций в будущем, лучше удовлетворять потребности индустрии локализованных информационных инноваций и вносить вклад в национальную сетевую безопасность и информационную безопасность.

Адрес загрузки «Белой книги по системе отраслевых индикаторов»: https://www.dtstack.com/resources/1057?src=szsm

Адрес загрузки «Информационного документа о продукте Dutstack»: https://www.dtstack.com/resources/1004?src=szsm

Адрес для скачивания «Белой книги по отраслевой практике управления данными»: https://www.dtstack.com/resources/1001?src=szsm

Для тех, кто хочет узнать или получить дополнительную информацию о продуктах больших данных, отраслевых решениях и историях клиентов, посетите официальный сайт Kangaroo Cloud: https://www.dtstack.com/?src=szkyzg .

Пиратские ресурсы «Цин Юй Нянь 2» были загружены в npm, в результате чего npmmirror был вынужден приостановить работу службы unpkg. Чжоу Хунъи: У Google осталось не так много времени. Я предлагаю сделать все продукты открытыми. time.sleep(6) здесь играет роль. Что он делает? Лайнус самый активный в «еде собачьего корма»! Новый iPad Pro использует 12 ГБ микросхем памяти, но утверждает, что у него 8 ГБ памяти. People’s Daily Online рассматривает зарядку офисного программного обеспечения в стиле «матрешки»: Только активно решая «набор», мы сможем выпустить будущее Flutter 3.22 и Dart 3.4. новая парадигма разработки для Vue3, без необходимости `ref/reactive`, нет необходимости в `ref.value` MySQL 8.4 LTS Руководство на китайском языке: поможет вам освоить новую область управления базами данных Тонги Цяньвэнь Уровень GPT-4 Цена основной модели снижена на 97%, 1 юань и 2 миллиона токенов
{{o.name}}
{{m.name}}

рекомендация

отmy.oschina.net/u/3869098/blog/11185177
рекомендация