HCIP学习笔记-存储服务规划 -4

存储服务概览

1.1 数据存储发展趋势

• 从IBM大机时代(大机的文件功能3网络功能和存储功能封装在。套环境中)，到x86时代(数据库中的数据等存储在机房中x86架构的服务器中)，再到虚拟化时代(利用分布式技术将数据存储到虚拟机中)，存储介质组件走向云化(业务上云，数据也随着业务存储在云端)，网络协议走向ALL IP化。

1.2 传统云上存储与云下存储

• 根据服务器类型分为:封闭系统的存储和开放系统的存储。开放系统的存储分为:内置存储和外挂存储。外挂存储根据连接的方式分为:直连式存储( Direct-AttachedStorage，简称DAS )和网络化存储( Fabric-Attached Storage，简称FAS);网络化存储根据传输协议又分为:网络接入存储( Network-Attached Storage，简称NAS hw35和存储区域网络( Storage Area Network，简称SAN )。
• DAS: DAS虽然比较古老了，但是还是很适用于那些数据量不大，对磁盘访问速度要求较高的中小企业。
• NAS:NAS多适用于文件服务器，用来存储非结构化数据，虽然受限于以太网的速度但是部署灵活，成本低。2903hw3580290
• SAN:SAN则适用于大型应用或数据库系统，缺点是成本高、较复杂
• 块存储: 块存储会将数据拆分成块，并单独存储各个块。每个数据块都有一个唯一标290识符，所以存储系统能将较小的数据存放在最方便的位置。这意味着有些数据可以存储在Linux环境中，有些则可以存储在Windows单元中。
• 文件存储:文件存储也称为文件级存储或基于文件的存储，数据会以单条信息的形式存储在文件夹中。
• 对象存储:对象存储，也称为基于对象的存储，是一种扁平结构，其中的文件被拆分成多个部分并散布在多个硬件间。在对象存储中，数据会被分解为称为“对象”的离散单元，并保存在单个存储库中，而不是作为文件夹中的文件或服务器上的块来保存

1.3 华为云存储使用场景

• RPO ( Recovery Point Objective )即数据恢复点目标，主要指的是业务系统所能容忍的数据丢失量。
• RTO ( Recovery Time Objective )即恢复时间目标，主要指的是所能容忍的业务停止服务的最长时间，也就是从灾难发生到业务系统恢复服务功能所需要的最短时间周期

存储服务规划

2.1 块存储服务EVS

2.1.1 云硬盘服务EVS

• 几点注意事项:
  • 实例挂载云硬盘，按照实例规则的不同挂载云硬盘的数量也会发生变化。要按具体情况而定。
  • 实例与云硬盘必须在同一区域，否则挂载失败。
  • 当为EVS创建副本时，副本会创建在与EVS同一区域中。

2.1.2 EVS规格类型

• 使用场景推荐
  • 高IO云硬盘：各操作系统的系统盘
  • SSD类型的磁盘：通常用作数据盘

2.1.3 加密功能

• 如果安全管理员首次使用加密功能，则操作流程如下:
  • 授权EVS访问KMS。授权成功后，系统会为用户创建默认主密钥“evs/default”此密钥用来加密云硬盘。
  • 说明: 云硬盘的加密依赖KMS，首次使用加密功能时，需要授权EVS访问KMS当授权成功后，用户组中的所有用户使用加密功能均无需再次进行授权操作。
  • 选择密钥。用户可以选择使用的密钥如下: 默认主密钥。evs/default”。0
  • 用户主密钥，用户在使用云硬盘加密功能前已经创建的密钥，或者新创建密钥0安全管理员成功使用加密功能后，则区域B中的所有用户都可以直接使用加密功能。
• 如果是用户E(普通用户)首次使用加密功能，则操作流程如下.
  • 用户E使用加密功能，系统提示权限不足，无法授权EVS访问KMS。0
  • 联系安全管理员，让安全管理员授权EVS访问KMS。
• 授权成功后，用户E以及区域B中的所有用户都可以直接使用加密功能，无需再联系安全管理员进行授权。

2.1.4 扩容功能

• 在管理控制台扩容云硬盘容量:
  • 在管理控制台扩容云硬盘的容量，需要根据云硬盘状态选择对应的扩容方法。查看云硬盘状态的方法，状态为“正在使用”的云硬盘表示云硬盘已挂载至云服务器，需根据约束与限制判断云硬盘是否支持处于“正在使用”状态下扩容若支持，可直接扩容云硬盘容量。若不支持，需卸载云硬盘后再扩容。状态为“可用”的云硬盘表示云硬盘未挂载至任何云服务器，可直接扩容云硬盘容量

2.1.5 快照功能

• 日常备份数据
  • 通过对云硬盘定期创建快照，实现数据的日常备份，可以应对由于误操作、病毒以及黑客攻击等导致数据丢失或不一致的情况
• 快速恢复数据:
  • 应用软件升级或业务数据迁移等重大操作前，用启可以创建一份或多份快照.0一旦升级或迁移过程中出现问题，可以通过快照及时将业务恢复到快照创建点的数据状态。
• 快速部署多个业务
  • 通过同一个快照可以快速创建出多个具有相同数据的云硬盘，从而可以同时为多种业务提供数据资源。

适用场景

2.2 对象存储服务OBS

• 桶(Bucket)是OBS中存储对象的容器。对象存储提供了基于桶和对象的扁平化存储方式，桶中的所有对象都处于同一逻辑层级，去除了文件系统中的多层级树形目录结构。每个桶都有自己的存储类别、访问权限、所属区域等属性，用户可以在不同区域创建不同存储类别和访问权限的桶，并配置更多高级属性来满足不同场景的存储诉求
• OBS系统和单个桶都没有总数据容量和对象/文件数量的限制，为用户提供了超大存储容量的能力，适合存放任意类型的文件，适合普通用户、网站、企业和开发者使用OBS是一项面向Internet访问的服务，提供了基于HTTP/HTTPS协议的Web服务接口用户可以随时随地连接到Internet的电脑上，通过OBS管理控制台或各种OBS工具访问和管理存储在OBS中的数据。此外，OBS支持SDK和OBS API接口，可使用户方便管理自己存储在OBS上的数据，以及开发多种类型的上层业务应用。

2.2.1 OBS三种存储类别

• 标准存储:
  • 例如:大数据、移动应用、热点视频、社交图片等场景。
• 低频访问存储:
  • 例如:文件同步/共享、企业备份等场景。与标准存储相比，低频访问存储有相同的数据持久性、吞吐量以及访问时延，且成本较低，但是可用性略低于标准存储。
• 归档存储:
  • 例如:数据归档、长期备份等场景。归档存储安全、持久且成本极低，可以用来替代磁带库。为了保持成本低廉，数据取回时间可能长达数分钟到数小时不等。

2.2.2 OBS三种存储类别对比

• 对象存储服务OBS在配置数据几余存储策略时，可结合业务场景选择多AZ存储和单80AZ存储。当选择多AZ存储时，多AZ间的数据通过容灾等手段，保障数据持久性高达99.9999999999%，业务连续性高达99.995%，远高于传统架构
• 持久性:99.9999999999%(12个9)的持久性意味着平均每年对象损失率预计为0.0000000001%。例如，用户在OBS中存储了一亿个对象，则预计平均每一万年才会出现丢失一个对象的可能。
• 可用性:可用性也可以理解为业务连续性，99.995%的可用性意味着如果连续访问OBS十万分钟( 69天左右)，期间出现不可访问的时长不超过5分钟。

2.2.3 生命周期管理功能

• 动作解释:
• 存储类别转换: 当对象存储类别转换为另一种存储类别。
• 过期后删除: 当对象过期后，由对象存储删除。
• 补充注意事项:
  • 单个桶的生命周期规则条数没有限制，但一个桶中所有生命周期规则的XML描述总大小不能超过20 KB。
  • 归档存储的最低存储时间为90天。若对象经过转换，归档存储时间少于最低存储时间，需要补足剩余天数的存储费用。
• 对象存储类别转换限制 (1):
  • 仅支持将标准存储对象转换为低频访问存储对象
  • 仅支持将标准存储或低频访问存储对象转为归档存储对象
• 对象存储类别转换限制(2)
  • 低频访问存储对象转换为标准存储对象需手动转换
  • 归档存储对象转换为标准存储或低频访问存储对象，需要手动恢复对象，然后手动转换存储类别。

2.2.4 跨区域复制

• 在配置跨区域复制规则时，用户可以按前缀匹配请求复制部分对象，也可以请求复制桶中的所有对象。复制到目标桶的对象是源桶中对象的精确副本。它们具有相同的对象名称和元数据，包括: 对象内容、大小、最后修改时间、创建者、版本号、用户定义的元数据以及ACL。默认情况下复制对象的存储类别，与源对象保持一致。用户也hw35802903可以为复制对象指定358个存储类别。
• 复制的内容:
  • 新上传的对象(归档存储对象除外)
  • 有更新的对象，比如对象内容有更新或者已复制成功的对象ACP有更新
  • 桶中的历史对象(需要开启“同步历史对象”功能，且归档存储对象除外)

2.2.5 多版本控制功能

• 一个存储桶，存储两个对象，对象一和对象二。因为存储桶开启了版本控制功能，所以用户看到对象一的当前版本是版本三，通过查询历史记录p0可以看到对象一的非当前版本有版本一和版本二。用户看到对象二的当前版本是已删除，因为此时对象上有删除标记。通过查询历史记录，可以看到对象二的非当前版本有版本一

2.2.6 服务端加密功能

• KMS托管密钥的服务端加密( SSE-KMS)
  • 用户首先需要在KMS中创建密钥(或者使用KMS提供的默认密钥)，当用户在OBS中上传对象时使用该密钥进行服务端加密
• 客户提供加密密钥的服务端加密(SSE-C):
  • OBS使用用户提供的密钥和密钥的MD5值进行服务端加密

2.2.7 事件通知功能

• 受支持的事件类型:
• OBS可以通过PUT、POST和COPY之类的API创建对象，配置与之对应的事件类型用户在使用特定API创建对象时收到通知。用户也可以使用ObiectCreated:*事件类型请求所有的创建对象通知。
  • ObjectCreated:*(所有上传操作)
  • ObjectCreated:Put( 上传对象)
  • ObjectCreated: Post(使用浏览器上传对象)。0
  • ObjectCreated;8Copy(拷贝对象)。
  • ObjectCreated: CompleteMultipartUpload (合并段)
• 通过使用ObiectRemoved事件类型，用户可以在从存储中删除一个对象或一批对象时启用通知。
• 用户可以使用ObiectRemoved:Delete事件类型请求在删除对象或永久删除受版本控制对象时收到通知。或者，也可以使用ObiectRemoved:DeleteMarkerCreated请求在为受版本控制对象创建删除标记时收到通知。还可以使用ObiectRemoved:*请求在每次删除对象时收到通知。
  • ObjectRemoved:4(所有删除操作)
  • ObjectRemoved: Delete (删除对象)
  • ObjectRemoved: DeleteMarkerCreated ( 产生了deletemarker对象)

2.2.8 适用场景

• OBS提供的大数据解决方案主要面向海量数据存储分析、历史数据明细查询、海量行为日志分析和公共事务分析统计等场景。
• 海量数据存储分析:
  • 典型场景:PB级的数据存储，批量数据分析，毫秒级的数据详单查询等。历史数据明细查询:
  • 典型场景: 流水审计，设备历史能耗分析，轨迹回放，车辆驾驶行为分析，精细化监控等。
• 海量行为日志分析:
  • 典型场景:学习习惯分析，运营日志分析，系统操作日志分析查询等。
• 公共事务分析统计:
  • 典型场景:犯罪追踪，关联案件查询，交通拥堵分析，景点热度统计等

2.3 文件存储服务SFS

2.3.1 弹性文件服务SFS

2.3.2 SFS Turbo

2.3.3 适用场景

2.3.4 EVS、SFS和OBS的区别

2.4 三种存储服务总结

• 云硬盘(EVS ):将裸磁盘空间整个映射给主机VM使用，用户可以根据需要随意将存储格式化成文件系统来使用。
• 弹性文件服务( SFS ): 好比是一个共享文件夹，文件系统已经存在，用户可以直接将自己的数据存放在文件存储上，比如Windows远程目录共享。
• 对象存储服务(OBS ): 每个数据对应着一个唯一的id，在面向对象存储中，不再有类似文件系统的目录层级结构，完全扁平化存储，即可以根据对象的id直接定位到数据的位置。

2.5 专属分布式存储服务DSS

• 规格丰富:
  • 高IO:高性能、高扩展、高可靠，适用于性能相对较高，读写速率要求高，有1hw35802903实时数据存储需求的应用场景。
  • 超高IO: 低时延、高性能，适用于低时延，高读写速率要求，数据密集型应用场景。
• 弹性扩展:
  • 按需扩容:可根据业务需求扩容存储池
  • 性能线性增长:支持在线扩容DSS下的磁盘，并且性能线性增长，满足业务需求。
• 安全可靠:
  • 三副本几余: 数据持久性高达99.9999999%。
  • 数据加密: 系统盘和数据盘均支持数据加密，保护数据安全
• 备份恢复:
  • 云备份服务:“可为专属分布式存储下的磁盘创建备份，利用备份数据回滚磁盘最大限度保障数据的安全性和正确性，确保业务安全

2.6 DSS与EVS的对别

2.6.1 适用场景

• 企业客户: IDC Hosting客户、某证券结算公司等等.
• 客户将业务使用EVS共享存储和DSS专属存储服务。ECS共享存储为日常企业办公、开发部、测试部还有数据库提供日常存储。DSS专属存储则为BMS上运行的核心业务数据提供存储。

内容分发网络服务

3.1 为什么需要CDN

• 实现跨运营商、跨地域的全网覆盖: 互联不互通、区域ISP地域局限、出口带宽受限制等种种因素都造成了网站的区域性无法访问。CDN加速可以覆盖全球的线路，通过和运营商合作，部署IDC资源，在全国骨干节点商，合理部署CDN边缘分发存储节点充分利用带宽资源，平衡源站流量。
• 保障网站安全:CDN的负载均衡和分布式存储技术，可以加强网站的可靠性，无形中给用户的网站添加了一把保护伞，应对绝大部分的互联网攻击事件。防攻击系统也能避免网站遭到恶意攻击
• 异地备援:当某个服务器发生意外故障时，系统将会调用其他临近的健康服务器节点进行服务，进而提供接近100%的可靠性，这就让网站可以做到永不宕机。
• 节约成本投入: 使用CDN加速可以实现网站的全国铺设，不用考虑购买服务器与后续的托管运维，服务器之间镜像同步，也不用为了管理维护技术人员而烦恼，节省了人力、精力和财力。
• 让用户更专注业务本身:CDN加速厂商一般都会提供一站式服务，业务不仅限于CDN.还有配套的云存储、大数据服务、视频云服务等，而且一般会提供7 x24运维监控支持，保证网络随时畅通。并且将更多的精力投入到发展自身的核心业务之上。

3.2 内容分发网络CDN

• 华为云CDN将源站资源缓存到遍布全球的加速节点上，当终端用户访问资源时，无需回源，CDN通过一组预先定义好的策略(如内容类型、地理区域58网络负载状况等 )将当时能够最快响应用户的CDN节点IP地址提供给用户，使用户可以以最快的速度获得网站内容。
• 华为云CDN加速节点资源丰富，有2000+中国大陆加速节点，800+中国大陆境外加速节点。有充足的带宽资源,全网带宽输出能力不低于150.Tbps。涵盖了电信、联通、移动、教育网等主流运营商，以及多家中小型运营商。覆盖130多个国家/地区，支持运营商网络超过1600家。保证将用户请求精准调度至最优边缘节点，提供有效目稳定的加速效果。

3.3 CDN工作原理

3.4 静态内容加速

• 动态数据：Web程序
• 静态数据：图片、视频、音频等

3.5 内容防篡改

• 广泛应用于万维网上安全敏感的通讯，例如交易支付等

3.6 支持range回源

• Range信息的作用是在HTTP请求头中指定返回数据的范围，即第一个节的位置和最后一个字节的位置。如: Range: bytes=0-100就是请求该文件的前101个字节的数据内容。
• Range回源能有效缩短大文件的分发时间，提升回源效率，减少回源消耗

3.7 防盗链

3.8 案例：CDN加速OBS桶文件

备份方案规划

4.1 为什么要做数据备份

4.2 云备份CBR

• 备份:
  • 备份即一个备份对象执行一次备份任务产生的备份数据，包括备份对象恢复所需要的全数据
• 存储库:
  • 云备份使用存储库来存放备份。创建备份前，需要先创建至少一个存储库，并将服务器或磁盘绑定至存储库。服务器或磁盘产生的备份则会存放至绑定的存储库中。
  • 存储库分为备份存储库和复制存储库两种。备份存储库用于存放备份对象产生的备份，复制存储库用于存放复制操作产生的备份。
  • 不同类型的备份对象产生的备份需要存放在不同类型的存储库中
• 策略: 分为备份策略和复制策略。
  • 备份策略:需要对备份对象执行自动备份操作时，可以设置备份策略。通过在策略中设置备份任务执行的时间、周期以及备份数据的保留规则，将备份存储库绑定到备份策略，可以为存储库执行自动备份。
  • 复制策略: 需要对备份或存储库执行自动复制操作时，可以设置复制策略。通过在策略中设置复制任务执行的时间、周期以及备份数据的保留规则，将备份存储库绑定到复制策略，可以为存储库执行自动复制。复制产生的备份需要存放在复制存储库中。

4.3 四种备份的差异

• 云备份产生的备份可以分为几种类型:
  • 云硬盘备份:云硬盘备份提供对云硬盘的基于快照技术的数据保护
  • 云服务器备份:云服务器备份提供对弹性云服务器的基于多云硬盘一致性快照技术的数据保护。同时，未部署数据库等应用的服务器产生的备份为服务器备份，部署数据库等应用的服务器产生的备份为数据库服务器备份
  • SFS Turbo备份:SFS Turbo备份提供对SFS Turbo文件系统的数据保护
  • 混合云备份:混合云备份提供对线下备份存储OceanStor Dorado阵列中的备份数据以及VMware服务器备份的数据保护。

4.4 CBR配置方式

• 用户也可以根据业务情况将两种方式混合使用。例如，根据数据的重要程度不同，可以将所有的服务器/文件系统绑定至同一个存储库，并将该存储库绑定到一个备份策略中进行日常备份保护。其中个别保存有非常重要的数据的服务器/文件系统，根据需要不定期的执行一次性备份，保证数据的安全性。

4.5 云硬盘备份与快照的区别

4.6 适用场景

容灾方案规划

5.1 存储容灾服务SDRS

• RPO=0:基于8+年自研存储层同步复制技术，保障数据零丢失。
• 分钟级RTO: 灾难发生后，分钟级完成故障切换。
• 在线容灾演练:可在不影响业务的情况下，按需在线执行容灾演练，用以检验容灾方案的可行性、有效性。
• 三步容灾:只需通过创建保护组、创建保护实例、开启保护三步即可轻松在云上实现业务容灾保护。
• 一键容灾切换:SDRS支持一键容灾切换，切换完成后，通过手动快速启动ECS即可恢复业务。
• 业务粒度保护:SDRS支持以业务为粒度做容灾保护，即将同一个业务的多个ECS加入SDRS同一个保护组中做容灾保护
• 无需安装插件: 无需在容灾的ECS中安装插件，部署简单容灾端ECS不收费:正常状态下，容灾端ECS处于关机状态，计算资源不收费TCO降低60%:相较于传统容灾方案，省去硬件、电力维护等成本，容灾TCO下降约60%。
• 网络自动迁移:容灾切换完成后，ECS的IP、MAC、EIP支持迁移到新的生产站点，无需再次配置IP和EIP

5.2 SDRS与CBR的区别

5.3 适用场景：跨AZ容灾

思考题