Huawei big data cloud object storage service

There is no doubt that the cloud is the future of the data center, data center and along with the rapid development of the Internet of Things and mobile devices, we've come to an era of information explosion, according to the IDC report, the current data is growing at an annual rate of about 50% by 2020 the world's data is expected to reach 44ZB.

So, the question is - how such a day the amount of data storage and backup, especially for those who would produce massive picture every day, video, and files of the company or government agency, which is obviously a painful thing?. If you purchased a traditional storage device, the high initial storage investment is likely to make many enterprises daunting. Of course, now you have a much better solution, that is to choose the cloud storage service.

Cloud storage has become one of the industry's most fiery of the concept, they are lively debate "cloud", and slowly began to believe that such a future of the Internet: the future is cloud era, there is no storage device, everything is stored in the cloud. We have to score Dropbox, Box and other cloud storage start-up enterprises in the foreign market made familiar in the country, it has also emerged in a number of noteworthy cloud storage company. I believe we all have to understand the advantages of cloud storage: on-demand, pay-on-demand, without having to bear the extra cost, and without additional hardware or with the person responsible for maintenance. Faced with a wide variety of cloud storage services, business users might get confused, no choice. But do not worry, in the country can really provide enterprise-class cloud storage services company is extremely rare, and today we'll tell you about the Huawei cloud object storage service to see if it is not your best choice.

What is object storage?

First, we take a look at what is currently the object storage, individual storage There are three forms:? Block storage, file storage, and object storage emerging.

We understand simple block storage is a piece of hard disk, mounted directly on the host, the host we can see is a piece of hard disks and partitions. From the perspective of storage architecture, memory is divided into blocks of storage DAS (Direct-Attached Storage, direct-attached storage), and storage SAN (Storage Area Network, Storage Area Network).

File storage, we are referring to is stored on the file system, which is the host operating system's file system. We know that there is a file system partition, by a folder, subfolder, the file structure is formed of a top-down; file in the file system, the user can open, modify, etc. by the application operating system, such as open the word, edit word. Architecturally, file storage provides a NAS (Network Attached Storage, Network attached storage) architecture, making the host's file system is not limited to the local file system, LAN-based shared file system can also be connected.

The new object is an object-oriented storage / file, mass storage Internet, it can also be directly referred to as "cloud storage." Even though the object is a file, it has been packaged files (programming objects have encapsulation characteristics), that is, object storage system, you can not directly open / modify files, but you can upload the same file as ftp , download files. In addition objects are stored not as a hierarchical file structure much like a file system, but only a concept of "bucket" (ie storage space), "bucket" which are all objects, is a very flattened storage . Its greatest feature is its object name is a domain name address, once the object is set to "public", all users have access to it; it's owner can also access the objects by way of the REST API. Therefore, static content object storage using the most mainstream scene, is the storage site, mobile app and other Internet / mobile Internet applications (video, pictures, documents, software installation package, and so on).

The following is a schematic diagram of the three memory storage architecture and morphology.

 

 

Huawei cloud object storage service is available now

Huawei cloud object storage service (Massive Object Service, referred to as MOS) is the cloud service-oriented, mass object storage. MOS can be used to access the object in any format, mass / data file; it is because the Internet is stored, may be performed at any time of the access operation of the MOS anywhere on the Internet. Any Internet-based applications, including web sites, video applications, SaaS applications, network disk, mobile APP, etc., it may be developers are ideal for data storage as. In addition, for backup, large data storage, archiving near-line, off-line storage scene, the MOS storage is also a good investment saving.

 

 

MOS提供基础的对象存储和管理控制功能,包括桶创建/删除、对象上传/下载/复制/删除、用户访问授权(AK/SK)、桶和对象访问控制、对象元数据管理等,同时还基于各种应用场景,提供了很多增值的功能特性,如静态网站托管(网站增值功能)、对象多版本管理(数据保护增值功能)、对象生命周期管理(数据管理增值功能)、用户访问日志自动保存到指定桶中(这样做大数据分析的基础——日志都自动保存在MOS中;做日志分析时,就可以直接从MOS获取原始的日志文件了)等。

华为云服务业务运营支撑平台为MOS提供了业务运营保证以及运维支撑,能够充分保障服务的质量和服务的安全性。大家知道,棱镜门后,各国政府警惕信息安全,据说华为云服务的MOS和云主机均已经通过了工信部组织的“可信云”认证测试,解决了用户安全性方面的顾虑。


五大优势保驾护航

据华为云服务官方网站中介绍,MOS具有海量(容量巨大、线性扩展、5TB超大文件存储)、省钱(零初始投资,用多少算多少,用得越多越经济)、可靠(数据持久性11个9)、安全(访问、传输、保存端到端安全)等特点。使用MOS后,开发人员可以无需关注底层存储技术,而是专注于业务创新,因为无论业务如何发展,开发人员都无需规划存储容量,数据可以快速访问、线性扩容,且具有高可靠性和高安全性。最重要的是业务使用IT的成本可以大大降低。

下面我们具体来看看MOS的五大优势。

第一,MOS提供海量的存储服务。近乎无限的存储资源供调用,使企业用户无需事先规划存储容量;线性的存储资源扩展,使企业用户无需担心存储资源扩容减容问题;它还支持最大5TB的超大文件存储,可以轻松搞定大数据的存储;另外它的并发请求处理能力可以线性无限扩展。

MOS具有极佳的在线扩展能力。在不中断业务的情况下,实现存储空间的大规模在线扩展,存储空间可以从几十TB线性扩展到几十PB甚至更多。据了解,华为云内部有科学严格的资源管理制度,当MOS中总的存储容量达到一定阈值时(如使用量已经达到总存储资源的80%以上),华为云内部会启动资源扩容机制,后端通过增加存储节点的方式扩充容量,而企业用户则做无需任何工作。后端扩容后,MOS的云存储系统能自动识别云存储节点,并使该节点加入到海量的存储资源中。

第二是MOS巨省钱。企业可以实现零初始投资, IT开支真正用在刀刃上。同时,MOS按使用量付费,用多少算多少;并采用阶梯价格,用得越多越经济。

费用和开支无疑是大家最为关心的问题之一。MOS采用的基本计费模型为阶梯定价、按需付费。通过阶梯定价和按需付费的计价方式既满足了资源使用量小的客户的资源需求,也降低了资源使用量大的客户的资源使用成本。目前,MOS采用了三个维度的计费,三个维度包括:流量、容量、API调用。据介绍,最近,MOS经历了一次大幅度降价,单价同比下降了66%。MOS的现有价格如下:

 

 

第三是MOS具有高可靠性。MOS提供冗余校验码的数据冗余存储技术,将数据存储在多块磁盘中。一旦某块磁盘发生故障,系统将利用冗余校验码自动地、快速地恢复坏盘中的数据。只有在同一时间内有四块盘坏,才有可能丢失数据,这种可能性是微乎其微的。MOS还定期使用校验码和来验证数据完整性。基于以上所述的高端技术,MOS的数据持久性高达99.999999999%(11个9)。

第四是MOS安全值得信赖。MOS的用户访问自己的桶和对象时,需要采用AK/SK密钥进行用户鉴权。用户还可以设置桶和对象的ACL访问控制权限以及对桶的精细化存取控制策略,用户自己可以控制哪些对象不允许别人访问,或只允许一部分人访问,或完全公开。在数据传输方面,MOS支持HTTPS/SSL,可使对象在上传/下载的过程中不会被泄密。在数据加密方面,MOS支持用户自行对数据加密后上传保存。另外MOS将对象切片保存,每个分块都分散到不同的磁盘中,这也保障了对象保存的安全性,即使华为云服务的运维人员即使能够把存储的磁盘拔下来,也会因为无法确认切片之间的关系而无法识别用户上传的对象,从技术上就杜绝了安全堡垒从内部攻破的可能性。

第五,MOS易用性强。MOS提供多种途径供用户/开发者使用:

(1)通过华为云服务官网(www.hwclouds.com)

直接利用华为云服务官网可以使用MOS服务。先注册为云服务官网用户,并“开通对象存储服务”,登录后即可进入官网的管理控制台,具体的使用指南,可参考《华为云对象存储服务用户使用手册》。下图是进入MOS管理控制台后,MOS的容量使用情况、流量使用情况、请求数统计等展示界面。

 

 

(2)通过REST API

一些开发者需要有灵活的对象上传、下载等操作,就可以通过代码的方式来调用MOS服务的REST API,具体可参考《华为云对象存储服务API接口说明书》。

(3)通过各种语言的SDK开发包

华为云服务开发了一些针对各种语言的SDK,开发者可以直接拿来用,或稍作修改嵌入到自己的应用中。

(4)通过第三方客户端

业界有很多公司开发了对对象存储服务进行管理的第三方客户端软件,如CloudBerry、DragonDisk、S3Browser等等。MOS与这些软件都是可以兼容的,用户可以自行酌情甄别使用这些第三方的客户端软件,上传/下载文件、设置权限、同步备份等,实现对MOS中桶和对象的管理。


五类用户最佳选择

那么,什么类型的企业用户适合选择MOS呢?我们认为,以下需求的企业用户最适合使用MOS:需要构建海量存储资源池;提供云盘、网盘的供应商;需要进行静态网站托管;需要进行云备份和容灾以及视频监控的存储用户。

我们来看看几个具体的应用场景。

首先,最为典型的是网盘供应商。目前个人网盘市场和企业网盘市场竞争均非常激烈。传统的网盘技术使得网盘服务提供商力不从心,IT投资规模大、维护运营成本高、文件传输速度慢、冗灾备份及恢复能力低、安全性低等瓶颈开始困扰着众多网盘服务商。基于MOS打造企业网盘服务,不仅大大降低网盘服务商的初始投资以及投资风险,节省长期投资成本,还可以利用华为云服务提供的网盘服务端引擎,为企业提供统一的文档存储和一站式数据保险箱服务,并能立即拥有支持PC/移动多终端、海量和5TB超大文件上传、秒传、数据同步备份、端到端数据安全等企业用户亟需的功能特性。

其次,是对互联网海量数据存储有迫切需要的互联网/移动互联网应用。互联网/移动互联网企业面对海量信息内容(视频、照片、图片、杂志、音乐、数据等)的爆炸性增长,其存储成本和技术投入方面面临巨大挑战。如果使用MOS,就无需一次性投入购买大容量存储设备,前期数据量小时,投入也很小;随业务增长,因为MOS可以自动动态扩容,企业用户可以无需关心扩容问题;企业用户也不需要对存储进行24小时监控和管理,省去更换损坏存储设备等运维成本;按需付费的商业模式,使得企业用户不需要同传统存储一样始终保证一定的空闲存储空间;同时,MOS中的所有数据可直接利用CDN来将数据加速、分发。

最后是需要做云备份的企业用户。众所周知,企业业务高速发展,企业的数据也将急剧膨胀。与此同时,数据安全性正遭受着前所未有的威胁,自然灾害、系统故障、员工误操作和病毒感染都有可能导致数据的破坏和丢失。而企业已经把关键数据视为正常运营的基础,一旦遭遇数据灾难,运营必然陷入瘫痪,带来的损失难以估量。因此,企业中的数据不仅要有足够的容量空间去存储,还需要实现数据的安全备份和远程容灾。不仅要保证本地数据的安全性,还要保证当本地发生重大的灾难时,可通过远程备份进行快速恢复。海量存储、高安全可靠的MOS结合专业的远程数据备份软件,可以为企业提供放心的远程数据备份,或轻松将本地以及分支机构的重要数据进行统一归档/备份。

总结:从Bigger than bigger到Better than better

总结而言,华为云对象存储服务(MOS)可以用四个词概括:海量、省钱、可靠、安全。据了解,相信MOS借助于大平台,能够精益求精,不断增加实用的功能特性并不断提升产品性能,竭诚服务广大企业用户,给企业用户带来更多惊喜。

推荐阅读文章

程序员分享大数据课程三大必备技能

大数据高端班培训 HDFS读写两步教程

程序员分享现在学习大数据来得急吗?

Guess you like

Origin blog.csdn.net/sdddddddddddg/article/details/91605236