Справочные документы
- Миграция данных Tencent Cloud Object Storage
- Инструмент переноса данных Aliyun ossimport
- HUAWEI CLOUD переносит локальные данные в OBS
Деловая сцена
- Локальные данные в облаке
- Миграция данных в облаке
- Тот же облачный поставщик, перенос данных в разные регионы
- Различные поставщики облачных услуг, перемещение данных
- Перенос данных из облака в локальный
Если локальный конец поддерживает объектное хранилище, сценарии подразделения следующие:
- Под учетной записью службы исходных объектов объекты в указанной корзине синхронизируются с корзиной с таким же именем или с указанным именем корзины облачной службы объектов.
- Данные в нескольких сегментах в службе исходных объектов синхронизируются с указанным сегментом в службе облачных объектов.
- Под учетной записью службы исходных объектов она синхронизируется с службой облачных объектов по принципу «сегмент к сегменту».
Если локальный конец не поддерживает хранилище объектов, например только хранилище файлов, вы можете использовать пакет SDK, предоставляемый службой хранилища целевых объектов, для загрузки в службу хранилища целевых объектов. Сцена выглядит следующим образом:
- В виде списка файлов загрузить файлы из списка в указанную корзину облачного сервиса объектов.
- В виде каталога загрузите файлы из каталога в указанное ведро службы облачных объектов.
- В виде списка каталогов загрузите файлы из нескольких каталогов в указанную корзину службы облачных объектов.
Предварительные требования
Служба целевого хранилища предоставляет службы хранилища объектов и SDK, совместимый с протоколом S3.
- Учетная запись службы объекта
- АК/СК
- целевой сегмент
Шаги операции
Если локальный конец поддерживает хранилище объектов, вы можете спроектировать следующие шаги операции.
- Получите список локальных сегментов и список соответствующих целевых сегментов.
- Перебрать список локальных сегментов.
- Получите список файлов в корзине.
- Создайте задачу загрузки, включая локальную корзину, имя объекта и целевую корзину, и поместите ее в очередь списка задач загрузки.
- Просмотрите список задач загрузки.
- Получите объект из локальной корзины.
- Загрузите объект в целевую корзину.
- Для небольших объектов загрузите напрямую.
- Для больших объектов используйте интерфейс загрузки из нескольких частей.
- Ведите журнал.
Меры предосторожности:
- Схема параллелизма при сканировании локальных корзин.
- Сканирование между сегментами последовательно или параллельно.
- В корзине получите список объектов последовательно или одновременно.
- Проблема перекоса с локальными сегментами.
- Количество объектов в отдельных корзинах особенно велико.
- Размер объекта распределен неравномерно.
- Временное окно для операций сканирования и загрузки.
- Старт, конец, пауза, возобновление управления.
- Статистика задач.
- Пропускная способность, потребляемая операциями загрузки.
- Количество операций загрузки.
Вопросы, о которых следует знать:
- Дублирование имен объектов в корзинах.
- Проблема с повторяющимся именем корзины.
- Большие объекты, например превышающие 5G, обычно необходимо загружать в несколько сегментов.