Documentos de referencia
- Tencent Cloud Object Storage Migración de datos
- Herramienta de migración de datos Aliyun ossimport
- HUAWEI CLOUD migra datos locales a OBS
Escena de negocios
- Datos locales a la nube
- Migración de datos en la nube
- El mismo proveedor de nube, reubicación de datos en diferentes regiones
- Diferentes proveedores de nube, reubicación de datos
- Obtener datos de la nube a local
Si el extremo local admite el almacenamiento de objetos, los escenarios de subdivisión son los siguientes:
- En la cuenta del servicio de objetos de origen, los objetos del depósito especificado se sincronizan con el depósito con el mismo nombre o el nombre del depósito especificado del servicio de objetos en la nube.
- Los datos de varios depósitos en el servicio de objetos de origen se sincronizan con el depósito especificado en el servicio de objetos en la nube.
- En la cuenta del servicio de objetos de origen, se sincroniza con el servicio de objetos en la nube de un depósito a otro.
Si el extremo local no admite el almacenamiento de objetos, como solo el almacenamiento de archivos, puede usar el SDK proporcionado por el servicio de almacenamiento de objetos de destino para cargar en el servicio de almacenamiento de objetos de destino. La escena es la siguiente:
- En forma de lista de archivos, cargue los archivos de la lista en el depósito especificado del servicio de objetos en la nube.
- En forma de directorio, cargue los archivos del directorio en el depósito especificado del servicio de objetos en la nube.
- En forma de una lista de directorios, cargue los archivos en varios directorios al depósito especificado del servicio de objetos en la nube.
Requisitos previos
El servicio de almacenamiento de destino proporciona servicios de almacenamiento de objetos y un SDK compatible con el protocolo S3.
- La cuenta del servicio de objeto.
- Ak/SK
- cubeta de destino
Pasos de operación
Si el extremo local admite el almacenamiento de objetos, puede diseñar los siguientes pasos de operación.
- Obtenga la lista de depósitos locales y la lista de depósitos de destino correspondientes.
- Iterar sobre la lista de cubos locales.
- Obtenga una lista de los archivos en el cubo.
- Cree una tarea de carga, incluidos el depósito local, el nombre del objeto y el depósito de destino, y colóquela en la cola de la lista de tareas de carga.
- Recorra la lista de tareas de carga.
- Obtenga el objeto del depósito local.
- Cargue el objeto en el depósito de destino.
- Para objetos pequeños, cárguelos directamente.
- Para objetos grandes, utilice la interfaz de carga de varias partes.
- Mantenga un registro.
Precauciones:
- Esquema de concurrencia al escanear cubos locales.
- Escanee entre cubos en serie o en paralelo.
- En el cubo, obtenga la lista de objetos en serie u obtenga la lista de objetos al mismo tiempo.
- Problema de sesgo con cubos locales.
- El número de objetos en cubos individuales es particularmente grande.
- El tamaño del objeto está distribuido de manera desigual.
- La ventana de tiempo para las operaciones de escaneo y carga.
- Iniciar, finalizar, pausar, reanudar el control.
- Estadísticas de tareas.
- Ancho de banda consumido por las operaciones de carga.
- El número de operaciones de carga.
Cuestiones a tener en cuenta:
- Nombres duplicados de objetos en el depósito.
- Problema de nombre duplicado del depósito.
- Los objetos grandes, como los que superan los 5G, generalmente deben cargarse en varios segmentos.