Sobre el autor: Un personal de operación y mantenimiento de la red de computación en la nube, que comparte la tecnología y los productos secos de la red y la operación y el mantenimiento todos los días.
Lema: Mantén la cabeza baja y apúrate en tu camino, sé respetuoso
Página de inicio personal: Página de inicio de Netdou
Tabla de contenido
1. Introducción al almacenamiento tradicional:
1. El historial de desarrollo del almacenamiento.
2. Historia y tendencia del desarrollo de discos duros
3. Introducción al disco duro SDD
4. Antecedentes de la tecnología RAID
2. Modo de almacenamiento de acceso al host
1. Introducción a la copia de seguridad de almacenamiento
2. Introducción a la recuperación ante desastres del almacenamiento
Centro de recuperación de desastres dentro de la ciudad:
3. Introducción y escenarios de uso del OSS de almacenamiento en la nube
1. Tendencias globales de almacenamiento de datos
2. Clasificación de almacenamiento en la nube
3. Servicio de almacenamiento de objetos en la nube de Alibaba os
4. La posición de OSS en la arquitectura de la plataforma Alibaba Cloud
5. Comparación entre el OSS y el almacenamiento en servidor de construcción propia
7. Escenario de aplicación OSS de almacenamiento en la nube: almacenamiento masivo de archivos
8. Escenario de aplicación de OSS de almacenamiento en la nube: procesamiento de datos en la nube
9. Escenario de aplicación OSS de almacenamiento en la nube: aceleración de descarga de datos
4. Descripción general básica del OSS de almacenamiento en la nube
(4) ID de acceso y clave de acceso (clave API)
4. Estructura de organización de datos OSS
6. Método de gestión del OSS de almacenamiento en la nube
5. Carga y descarga de datos OSS de almacenamiento en la nube
1. oss para cargar y descargar
2. Cargue archivos a través de la consola de Alibaba Cloud
3. Sube y descarga archivos a través de API
6. Procesamiento de imágenes y alojamiento de sitios web estáticos
1. Procesamiento de imágenes OSS de almacenamiento en la nube
2. Alojamiento de sitios web estáticos
7. Seguridad de OSS de almacenamiento en la nube
1. Seguridad y fiabilidad de los datos
3. Pasos de replicación entre regiones
4. Control de seguridad: control de permisos de cubeta
5. Almacenamiento en la nube OSS anti-sanguijuela
6. Almacenamiento cifrado del lado del servidor
7. Operaciones compatibles con el cifrado del lado del servidor
8. Algoritmos de cifrado compatibles
objetivo de aprendizaje:
1. Comprender los conocimientos básicos y las tecnologías comunes del almacenamiento tradicional
2. Familiarizado con los escenarios de aplicación del almacenamiento en la nube y la descripción general de la función básica del almacenamiento en la nube
3. Cómo utilizar el almacenamiento en la nube para cargar y descargar datos y funciones de gestión relacionadas
4. Comprender el control de la autoridad de seguridad y la seguridad de los datos del almacenamiento en la nube
1. Introducción al almacenamiento tradicional:
1. El historial de desarrollo del almacenamiento.
2. Historia y tendencia del desarrollo de discos duros
3. Introducción al disco duro SDD
disco duro SDD
Generalmente se refiere a un dispositivo de almacenamiento compuesto por una unidad de control y una unidad de almacenamiento de estado sólido (DRAM o chip Flash), y actualmente admite interfaces SATA, FC y SAS.
En comparación con los discos duros mecánicos, SSD tiene las siguientes ventajas:
>Velocidad de acceso a datos rápida: en comparación con los discos duros tradicionales, tiene un rendimiento excelente en términos de lectura y escritura intensivas I0 y baja latencia;
>Baja tasa de fallas: no hay partes mecánicas en el interior y todos los chips de memoria flash se utilizan en el interior
>Protección ecológica y ambiental: silencioso cuando se trabaja, baja generación de calor, rápida disipación del calor
>Peso más ligero: es beneficioso llevar el dispositivo móvil.
4. Antecedentes de la tecnología RAID
5. Introducción a RAID
RAID (Matriz Redundante de Discos Independientes) es una Matriz Redundante de Discos Independientes. Hablando fundamentalmente, una cierta cantidad de redundancia de datos se forma de cierta manera a través de varios discos duros, de modo que cuando uno o más discos duros se dañan, los datos aún se pueden guardar mediante dicha redundancia y no se perderán.
2. Modo de almacenamiento de acceso al host
Las tecnologías actuales de almacenamiento en red incluyen:
- Almacenamiento adjunto directo (DAS: Almacenamiento adjunto directo)
- Dispositivo de almacenamiento en red (NAS: NetworkAttached Storage)
- Red de almacenamiento (SAN: Red de área de almacenamiento)
1. Introducción a la copia de seguridad de almacenamiento
- copia de seguridad completa
- respaldo incremental
- copia de seguridad completa
Copia de seguridad completa:
es una copia de seguridad completa de los datos.
Respaldo incremental:
Es para hacer una copia de seguridad de los archivos que han sido modificados después de la última copia de seguridad completa o copia de seguridad incremental
La ventaja es que la cantidad de datos de respaldo es pequeña y el tiempo requerido es corto;
La desventaja es que se requieren múltiples datos de copia de seguridad al restaurar, y existe un mayor riesgo de problemas
Copia de seguridad completa:
Se realizará una copia de seguridad de todos los archivos cada vez que se realice una copia de seguridad;
La ventaja es que la velocidad de recuperación es relativamente rápida, porque solo se requiere la última copia de seguridad completa;
La desventaja es que cada copia de seguridad lleva mucho tiempo.
2. Introducción a la recuperación ante desastres del almacenamiento
Centro de recuperación de desastres dentro de la ciudad:
La distancia entre el centro de producción y el centro de respaldo de desastres es relativamente pequeña, y es relativamente fácil realizar la duplicación síncrona de datos, lo que puede garantizar la integridad de los datos y la pérdida de datos cero.
Puede prevenir riesgos potenciales y peligros ocultos, como incendios y daños a edificios, pero es impotente frente a peligros ocultos, como guerras, terremotos e inundaciones.
Centro de respaldo remoto:
El centro de producción y el centro de respaldo se encuentran en áreas metropolitanas y la distancia es relativamente larga.
La copia de seguridad de los datos a través de la duplicación/replicación asíncrona no garantiza una pérdida de datos cero.
Si el espejo se sincroniza a larga distancia, la eficiencia de la transacción es demasiado baja y el costo de la comunicación es alto.
Tres Centros en Dos Lugares:
Combinando las ventajas de "misma ciudad + diferentes lugares".
En el caso de que el centro de respaldo remoto tenga capacidades completas de adquisición de desastres, el establecimiento de un sitio de respaldo dentro de la ciudad puede permitir que el centro de recuperación de desastres dentro de la ciudad tenga capacidades de adquisición de aplicaciones.
También es posible hacer que el centro de recuperación de desastres dentro de la ciudad sea solo un sitio de duplicación de datos sincrónicos.
3. Introducción y escenarios de uso del OSS de almacenamiento en la nube
1. Tendencias globales de almacenamiento de datos
La cantidad total de datos en la tierra hasta ahora:
En 2006, los usuarios individuales acababan de entrar en la era de la tuberculosis y se generó un total de aproximadamente 180 EB de datos en todo el mundo;
En 2011, esta cifra llegó a 1,8 ZB;
Y algunas instituciones de investigación de mercado predicen:
Para 2020, la cantidad total de datos en todo el mundo aumentará 44 veces, alcanzando 35.2ZB (1ZB=10(ZTB)
2. Clasificación de almacenamiento en la nube
3. Servicio de almacenamiento de objetos en la nube de Alibaba os
El Servicio de almacenamiento de objetos (OSS, por sus siglas en inglés) es un servicio de almacenamiento distribuido orientado a Internet.
Tiene las características de masa, seguridad, alto rendimiento, alta confiabilidad y bajo costo.
OSS es muy adecuado para almacenar una gran cantidad de datos no estructurados de diferentes tamaños y formatos, como videos, imágenes, registros, archivos de texto, etc. El tamaño de un solo dato varía de 1 byte a 48.8T, y la cantidad de archivos que se pueden almacenar es ilimitada, lo que brinda a las aplicaciones de Internet una capacidad de almacenamiento masiva.
4. La posición de OSS en la arquitectura de la plataforma Alibaba Cloud
OSS es una parte importante de Alibaba Cloud, se basa en la plataforma principal de Feitian y es un servicio estándar de almacenamiento de computación en la nube proporcionado por Alibaba Cloud.
5. Comparación entre el OSS y el almacenamiento en servidor de construcción propia
6. Escenario de aplicación de OSS de almacenamiento en la nube: sitio web/aplicación separación dinámica y estática
Los desarrolladores pueden usar directamente el ancho de banda OSS y BGP para realizar la descarga directa de datos de latencia ultrabaja, o cooperar con el servicio de aceleración de Alibaba Cloud CDN para distribuir imágenes, audio y video, y actualizaciones de aplicaciones móviles para brindar la mejor experiencia y otros escenarios.
7. Escenario de aplicación OSS de almacenamiento en la nube: almacenamiento masivo de archivos
Es adecuado para el almacenamiento de archivos masivos como imágenes, audio y video, y registros. Admite varios dispositivos terminales, programas de sitios web y aplicaciones móviles para escribir o leer datos directamente en OSS, y admite dos métodos de escritura de transmisión y escritura de archivos.
8. Escenario de aplicación de OSS de almacenamiento en la nube: procesamiento de datos en la nube
Después de cargar archivos en OSS, puede cooperar con el Servicio de transcodificación de medios (MTS), el Servicio de procesamiento de imágenes (IMG), el Servicio de computación por lotes y el Servicio de procesamiento de datos fuera de línea (ODPS) para aprovechar al máximo el valor de sus datos y liderar la transformación de TI a DT.
9. Escenario de aplicación OSS de almacenamiento en la nube: aceleración de descarga de datos
Puede usar el ancho de banda OSS y BGP para realizar la descarga directa de datos de latencia ultrabaja y también cooperar con el servicio de aceleración de Alibaba Cloud CDN para brindar la mejor experiencia para sus imágenes, audio y video, distribución de actualizaciones de aplicaciones móviles y otros escenarios.
4. Descripción general básica del OSS de almacenamiento en la nube
-
Conceptos básicos del SFA
(1) Objeto
- Cada archivo del usuario es un Objeto
- límite de tamaño de archivo
- El método Put Object no puede exceder 5G8 como máximo, use multijpart para cargar
- El tamaño del objeto del método no excede 48.8T8
- Object国含key.datafDmeta data
(2) Cubo
- Cada objeto debe incluirse en el cubo.
- Los nombres de los cubos son globalmente únicos en todo el OSS y no se pueden modificar
- La cantidad total de espacios de almacenamiento creados por la misma cuenta de Tongli Cloud en la misma región no puede exceder los 100 cubos
- No hay límite para la cantidad de Objetos almacenados en cada Cubo, y no hay límite para la capacidad del espacio de almacenamiento
- Una aplicación puede corresponder a uno o más Cubos
(3) Servicio
El espacio de almacenamiento virtual proporcionado al usuario, el usuario puede tener uno o más cubos en este espacio de almacenamiento
(4) ID de acceso y clave de acceso (clave API)
El usuario se identifica como usuario y realiza un certificado de precio de firma para acceder al OSS
4. Estructura de organización de datos OSS
5. Consola de página
6. Método de gestión del OSS de almacenamiento en la nube
5. Carga y descarga de datos OSS de almacenamiento en la nube
1. oss para cargar y descargar
2. Cargue archivos a través de la consola de Alibaba Cloud
1. Ingrese a la interfaz de la consola de administración de OSS.
2. Haga clic en el nombre del espacio de almacenamiento en el que desea cargar archivos para abrir la página de administración del espacio de almacenamiento.
3. Haga clic en el nombre del archivo para ingresar a la página de administración de todos los archivos en el espacio de almacenamiento
4. Haga clic en Cargar archivo para abrir el cuadro de diálogo de selección de archivos.
5. Seleccione el archivo para cargar, luego haga clic en Abrir, el archivo se carga correctamente, haga clic en el botón Actualizar para ver el archivo cargado
1. Ingrese a la interfaz de la consola de administración de OSS.
2. Haga clic en la lista de cubo donde se encuentra el archivo de destino para abrir la página de administración de archivos.
3. Haga clic en el nombre del archivo para abrir la página de administración de archivos.
4. Haga clic en el enlace Obtener detalles correspondiente al archivo de destino y aparecerá un cuadro de diálogo para proporcionar la dirección URL para acceder al archivo.
3. Sube y descarga archivos a través de API
subir archivos
El usuario sube un único objeto mediante el método Put Object en la API de OSS
descargar archivo
Descargue el archivo cargado (Objeto), la descarga del objeto se realiza mediante una solicitud HTTP GET, Obtener objeto
Se utiliza para obtener un Objeto, y esta operación requiere que el usuario tenga permiso de lectura sobre el Objeto.
Cargar y descargar archivos a través de SDK
6. Procesamiento de imágenes y alojamiento de sitios web estáticos
1. Procesamiento de imágenes OSS de almacenamiento en la nube
2. Alojamiento de sitios web estáticos
1. Los usuarios pueden configurar sus cubos como modo de alojamiento de sitio web estático a través de la consola OSS - "Lista de cubos" - "Seleccionar cubo especificado" - "Configuración básica" - "Página estática"
2. Acceda al nombre de la ciudad: http://<nombre personalizado de la ciudad>/, como: http://cloudstorage.aliyunihao.net/
3. El sitio web estático alojado admite las siguientes funciones:
a) Página de inicio predeterminada
(Soporte de documento de índice)
a) Página 404 predeterminada
(Error Documento de soporte
7. Seguridad de OSS de almacenamiento en la nube
1. Seguridad y fiabilidad de los datos
2. Replicación entre regiones
- Solución de recuperación ante desastres de almacenamiento en la nube orientada a la empresa
- Replicación de datos entre regiones
- La actualización de datos inicia la sincronización en tiempo real
- Realice la recuperación remota de datos ante desastres
- Garantice la continuidad del negocio en entornos extremos
- Admite sincronización bidireccional, multiactivo regional
- Subir datos cerca
3. Pasos de replicación entre regiones
Paso 1: Consola OSS de almacenamiento en la nube - "Lista de cubos -" seleccione el Cubo correspondiente - "Descripción general -" Replicación entre regiones
Paso 2: establezca atributos como la región, el depósito y el objeto de sincronización de datos del destino de sincronización
4. Control de seguridad: control de permisos de cubeta
OSS proporciona control de acceso de permisos a nivel de depósito
> Público-lectura-escritura
Cualquiera puede realizar operaciones PUT, Obtener y Eliminar en el Objeto en el Cubo
> Lectura pública
El creador del Cubo puede escribir en el Objeto en el Cubo (incluyendo PUT y Borrar Objeto)
Cualquiera (incluido el acceso al nombre del mapa) puede leer el Objeto en el Cubo (Obtener Objeto)
>Privado
Solo el creador del depósito puede leer y escribir objetos en el depósito (incluidos PUT y Get Object)
Otros no pueden acceder a los Objetos en este Cubo
El permiso predeterminado es privado al crear un depósito. Puede modificar el permiso del Bucket a través de la interfaz Put Bucket ACL de OSS
5. Almacenamiento en la nube OSS anti-sanguijuela
OSS es un servicio de pago por uso. Para evitar que los datos de los usuarios en OSS sean robados por otros, OSS admite un método anti-leeching basado en la referencia del campo de encabezado en el encabezado HTTP.
Actualmente, solo a través de la consola OSS puede configurar la lista blanca del campo de referencia para un depósito y si permitir el acceso a las solicitudes con un campo de referencia vacío.
Para un depósito llamado os-example, si su lista blanca de referentes está establecida en http://www.aliyun.com, entonces todas las solicitudes cuyo referente es http://www.aliyun.com pueden acceder a objetos en el depósito de os-example
6. Almacenamiento cifrado del lado del servidor
1. OSS admite el cifrado y la codificación de los datos cargados por los usuarios en el lado del servidor
2. Especifique x-oss-server-side-encryption=AES2563 al cargar el archivo.
3. Para los archivos encriptados, el método de acceso es el mismo que para los archivos no encriptados
- Cuando se carga el archivo, OSS cifra los datos del usuario y los guarda
- Cuando se descarga el archivo, OSS descifra automáticamente el archivo y lo declara en la solicitud HTTP devuelta
Este archivo utiliza encriptación del lado del servidor
7. Operaciones compatibles con el cifrado del lado del servidor
Contenido-Longitud: ContentLength
- Poner objeto
- Copiar objeto
- Iniciar carga multiparte
8. Algoritmos de cifrado compatibles
AES256
9. Control de instalación
La creación no es fácil, presta atención, dale me gusta, colecciona, gracias ~