心の中で生まれたHuawei社「ソードフィッシュ」:大いなる野望、帆の海

2017年初頭では、空港外の寒さと風の強い、Huawei社OceanStorドラドのチーフアーキテクト張鵬だけではおよそ1人は海外に行ってきましたです。現時点では、彼は彼の興奮を隠し、正式採択OceanStorドラドV6オールフラッシュプロジェクトは、彼は非常に興奮製;と興奮、張鵬の心彼のチームは、ハイエンド・ストレージ・メモリ風雲冠にHuawei社を委託ので、不安の跡があります攻撃のパールは、タスクに発売されました。

2019年7月には、Huawei社は正式に新世代OceanStorドラドV6オールフラッシュストレージを開始しました。Huawei社のグローバルR&Dチームストアからハイエンドストレージ製品を構築するために3年近く続いた、OceanStorドラドV6が安定した遅延業界最高2000万IOPS極端なパフォーマンス、業界最小0.1msを持っている、画期的なハイエンド・ストレージ・アーキテクチャは、SmartMatrixを可能にしたよう新たなレベルへの安定性と信頼性を再度、その後、ハイエンド・ストレージ・インテリジェンスの開発のトレンドをリードAI OceanStorドラドV6にチップをしましょう。

過去2年間の多くを想起し、鵬は嘆く:「OceanStorドラドV6は、業界では非常に稀であるものを、画期的数は、私もそれに満足して感じて実装しています。」

剣の十年

フラッシュメモリは、近年のストレージにおける技術革新の最大のフィールドとして記述することができます。その中でも、オールフラッシュストレージは、市場の発展の重要な方向性を表しています。フラッシュメモリのコストは、従来の機械的なハード転機が来た置き換えるために、近年では減少するだけでなく、容量のフラッシュメモリを上昇し続けて特にで、オールフラッシュストレージは、市場競争の指揮の高さとなっています。

「実際には、Huawei社はすべて、フラッシュストレージ領域に格納された蓄積の十年以上となっている。早ければ2009年のように、Huawei社は、業界のすべてのフラッシュアレイベンダーを起動する最初の一つである。」鵬は、蓄積の十年後」、言った表現しましたそして、気性、私たちは今日市場に登場する前例のない機会をつかむことを願っています。」

オールフラッシュストレージ皆保険期間、機械的なハードディスク・ストレージ・システムに入ったいわゆる前例のない機会が終了を加速しますが、すべてのフラッシュストレージ製品の市場での従来のストレージ・アーキテクチャに基づいた市場は、イノベーションのための巨大なスペースを残していました。鵬は言った:「市場と技術の変化の際に、最初は、業界の絶対的な競争力を築くだろう画期的な製品を持っています。」

3a966b30621c447ba6f83b373cbc6d71.jpeg

このため、Huawei社のストレージはOceanStorドラドV6生成物の質的なブレークスルーを達成したいと考えて、自分のハイエンド・ストレージ市場のための強固な基盤を築きました。鵬はそうでは、十年の剣は、蓄積の連続プロセスは、業界が参加するより多くの優秀な人材を誘致するために継続する必要があります。「数年前、OceanStorドラドV6のために海外に行くことを本当にバランスをオフにスローのコンペア始め、海外のR&Dチームは、なじみのないを設定します。」しかし、鵬はあきらめなかった、一対一の呼び出しにより通信を維持するために、業界トップの才能との接触を確立します徐々に自信を得ました。

近年のストレージに「華為技術の急速な成長は、市場で一定の地位を占めていた。しかし、Huawei社を保存するために優秀な人材を説得するための時間ではまだ難しいものです。理由は、最終的に成功した、主にHuawei社のストレージ・プロバイダーましたステージと何の希望はそれをやった、これは、Huawei社は参加する業界トップの人材を誘致するための主な理由です。」

実際には、長年にわたって、ハイエンド・ストレージ市場は長い間の競争相手を阻止するために、3人の主要な国際巨人、ハイエンド・ストレージの非常に高い技術しきい値によって片手に開催されている一方、ある程度の技術革新を結び、自社製品を変更しています。「Huawei社は、これらの人々が夢を実現したい正確には、何かを達成したい保存されている。それは言うことができる、OceanStorドラドV6が高い画期的で、ストレージ製品の世界の優秀な人材の知恵を組み合わせたものです。」

伝統的な建築の束縛を破ります

伝統的な機械式ディスクの時代では、ハイエンド・ストレージ・アーキテクチャがベースとスケールアップ長手方向の延長で、比較的安定しています。しかし、スケールアウトスケールのハイエンドストレージ製品を作る近年の急速な成長データの量、およびパフォーマンスに関する情熱的なビジネスアプリケーション、で人気となりました。しかし、スケールアウトアーキテクチャが拡大するのを助けることができる、そしてパフォーマンスと効率の面で従来の縦型アーキテクチャの利点を失っています。

伝統的な建築の束縛を打破する方法、Huawei社のストレージチームの前に置かれた最大の課題となっています。この目的を達成するために、プロジェクトのOceanStorドラドV6開始は、Huawei社のストレージチームが克服する方向を決定するために:スケールアップとスケールアウト融合は、新しいアーキテクチャは、両方の長所を兼ね備えて設計すること、この目標は、チームに影響を与えました偉大な力のメンバー。我々はすべて知っているように、「我々は、市場からの海外R&Dチームのメンバーの数が長い有名な企業となっている、彼らは新しいアーキテクチャは、やる気のように記述することができる挑戦しています。持っている」、ハイエンド・ストレージ・アーキテクチャの年の歴史的負担が重すぎることをかなりの程度、技術革新のコストに、前進しますそして、リスクが高すぎます。「これは、海外のチームメンバーの一部は、製品アーキテクチャに重要な役割を果たし、この世代の革新的なアイデアの彼らの年を達成できることが判明しました。」

f09d3f6c905e441eb6288c4199ba6d77.jpeg

アーキテクチャ設計の着実な進歩の過程では、Huawei社のストレージ・チームは、大きな課題のシリーズに遭遇しました。アーキテクチャは新しいデザインですので、現在の市場では、製品の多くのコンポーネントは、特定の設計要件を満たしていません。「私たちは、サプライヤーへの具体的な製品の要件を行うインタフェースカード、などのコンポーネントの後、業者を選定した後、それはあまりにも困難であるため、あきらめてみました。」の後、このような状況では、数回起こると似ているので、ストレージへのHuawei社のR&Dチーム混乱の中で、だけでなく、開発段階での進捗状況を停止しました。

「なぜハスを試してみませんか?」この時点で、それが示唆されたハスのチップを使用してのアイデア。

実際には、数年前でHuawei社ハスチップは、Huawei社のストレージ間で、ローエンドの製品を入力して、重要な役割を果たしてきました。しかし、ハスのチップは、ハイエンド・ストレージ・システムの要件に厳しい上に行くことができますか?議論の数日後にHuawei社のストレージ・チームは、完全な画期的なアーキテクチャを追求するために、ハスシリーズチップアーキテクチャ設計を組み込むための他の方法を探すことにしました。

OceanStorドラドV6アーキテクチャのチップ検証とテストシリーズハス、それはまた、時間、仕事の重い仕事です。それはOceanStor DoradoのV6アーキテクチャで5チップコントローラチップ、SSDコントローラチップ、AIチップ、プロトコル処理チップと安定した動作を含むように関連し、Huaweiのストレージ研究開発チームは、ハースチップチームのニーズと密接に通信するための時間を必要とし、適応チップアーキテクチャを完了します。「チームは同僚を持って、彼は二年以上はただ一つのことをやってに焦点を当てた、それはその後のデモンストレーション、テスト、適応、チューニング、安定した動作から、特定の通信ニーズやハスチップチームに捧げられて、この同僚は重要な役割を果たした。「張鵬に導入しました。

ccaffb25ebec4417a5c526211d56a2f7.jpeg

自此,经过华为团队的不懈努力,OceanStor Dorado V6的SmartMatrix架构得以最终实现了高端存储开创性的计算和存储分离、前后端全互联架构,将计算型的存储控制器引擎和存储型的硬盘框完全分离,二者可以进行独立升级和扩展,这种设计架构具备良好的延续性和灵活性,可以很好地保护用户投资;此外,OceanStor Dorado V6实现了单系统最高可扩展到32控制器,控制器可以实现8坏7,实现了高达99.9999%的高可用性。

回顾整个架构从设计到实现的过程,张鹏感叹道:“正所谓是好事多磨。如果按照过去思路和友商的芯片产品,我们可以施展的事情就会被束缚住,这样研发出来的产品不会具有绝对竞争力,OceanStor Dorado V6的架构虽然经历了波折与坎坷,但是以当前数据增长和业务变化趋势来看,高端存储的架构必然需要变化,OceanStor Dorado V6率先走出了一条具有开创性的路,在市场中无疑是具有领先性的。”

极致性能如何炼成

华为OceanStor Dorado V6全闪存存储最高可达到2000万IOPS的性能,并且可以实现0.1ms的稳定时延。IOPS越高,意味着性能越强;而时延越低,则意味着性能越稳定。稳定和时延是一个螺旋上升的过程,中间需要反复的打磨与优化。

尤其是在架构设计获得稳步进展时,研发团队也开始对软件层面进行了优化,由于采用了鲲鹏920处理芯片,每个CPU都有48个核心,需要在软件架构层面对多CPU多核、高速网络进行优化。“最开始是为了实现2000万IOPS的性能。当实现之后,因为系统存在各种潜在的中断因素,使得IO经常会被打断,需要逐个梳理出其中的原因,并且进行修改和测试,这是个反复优化的过程。”张鹏介绍到。

270942193640489b8d391abdab87aadd.jpeg

“由于存储系统的处理器主要是做数据相关的处理,所以像鲲鹏920这样的多核ARM处理器反而更具优势,它可以专门划出资源来做像重删和压缩这些数据处理工作,而像通用X86处理器更加擅长的是运算类应用。”根据华为介绍,OceanStor Dorado V6同时打开重删和压缩这些功能,其性能可以超越同等高端存储产品50%。

在性能提升过程中,客户也发挥了意想不到的作用。“有时候,客户其实是最好的产品经理。OceanStor Dorado V6的出色和稳定的性能表现,离不开用户宝贵的建议。”张鹏感慨道。

曾经有这样一件记忆深刻的小事:一次恰逢欧洲某×××来华为拜访,于是张鹏团队向该客户展示了OceanStor Dorado V6样机,并演示了各项强大的存储功能。“当时向客户展示的时候,非常高兴,甚至有一点洋洋得意。”当展示结束之后,客户也对OceanStor Dorado V6的产品设计和强大功能所折服,不过客户也提出,如何解决万分之一概率的IO时延偏大问题,这是客户一直期待能够解决的难题。

张鹏直言,该客户所提出的建议促使了内部进行了激烈的讨论。有人认为解决这个小概率IO时延偏大问题,需要对之前原有系统设计进行改动,这将花费巨大的精力和投入。但是,经过多次讨论和研究之后,团队还是决定下决心解决潜在小概率IO时延偏大问题。张鹏表示:“解决这种长尾IO时延偏大的问题,的确会对原有设计产生一些冲击,需要进行任务的隔离和分开,会涉及到硬件、软件等多个层面。”

最终,华为存储团队经过多次的讨论和测试,重新对系统设计进行了修改,并且在硬件驱动、操作系统、软件等层面进行了反复的打磨与改进,长尾IO时延偏大的问题得以完美解决,OceanStor Dorado V6得以实现0.1ms的稳定时延。

“永远”有多远

高端存储之所以被誉为存储皇冠上的明珠,在于其拥有出色性能之外,也具备了极致的可靠性和稳定性。这些特性使得高端存储在众多行业中承载最为核心的关键业务。

“最近几年与客户频繁的接触,明显感觉到客户业务对于可靠性需求的提升。”张鹏介绍到,近年来华为存储团队经过与大量不同行业的用户接触,普遍对数据中心设备的多点故障感到焦虑,“随着数字化的步伐较快,很多用户的数据中心规模越来越大,设备也越来越多,多点故障成为用户未来不可逃避的挑战。”

华为OceanStor Dorado V6在可靠性和稳定性上可谓是下足了功夫,从部件级、产品级、方案级和云级四个层面打造出端到端的可靠性架构,可以承载全整合场景所需,保障业务高达99.9999%的高可用性,为高端存储的可靠性树立了新标杆。

51d0d0c1caae4616a4399c25c39fae6e.jpeg

首先,华为在OceanStor Dorado V6的闪存盘上采用全局磨损均衡技术,将业务负载均衡到所有SSD上,并且采用华为专利的反磨损均衡技术,避免多盘集体失效,在部件级构建了极高的可靠性;此外,OceanStor Dorado V6的SmartMatrix架构采用前后端全联接设计和智能多协议接口芯片,采用全对称的A-A控制器设计,LUN可以通过任意一个控制器访问应用服务器,当控制器故障出现之后,一秒就完成故障控制器的正常切换,并且可以实现控制器8坏7的极端情况。

张鹏直言:“数据中心规模变大和设备增多、客户潜在的误操作、以及内部软件升级等是造成多点故障的主要原因。像很多行业用户数据中心的软件极为复杂,软件失效率根本就算不出来,这不是物理失效,而需要做软硬件的隔离,保障软件的快速恢复。可以说,那些用双控节点去堆叠出来的高端存储产品,很容易出现规模越大、风险越高的情况。”

此外,在华为存储团队的努力下,OceanStor Dorado V6采用了备份容灾一体化设计,具备免网关的双活方案,减少了故障节点,降低了系统布置的复杂度;并且与公有云可以进行联动,实现备份容灾上云,云内分钟级业务恢复。

“OceanStor Dorado V6可以实现故障0感知、业务0影响、升级0影响,真正保障了业务永久在线。”张鹏自豪道。

智能赋予高端存储新生机

高端存储产品看似暮霭沉沉,其实却蕴含新生机。人工智能技术的崛起,赋予了高端存储新的生机。高端存储产品走向智能化成为必然的趋势。

“要让一个存在几十年历史的产品焕发活力,必须思考加入一些创新性的技术。”张鹏如是说。为此,华为在OceanStor Dorado V6中加入了大量的智能技术,“华为在AI算法方面投入很大。”比如,OceanStor Dorado V6的智能多协议接口芯片,可以承载通用CPU负责协议解析工作,智能完成协议的解析;而AI芯片则基于机器学习框架,主动分析并掌握多个应用模型的IO规律,让读缓存命中率提升50%。

c04fe47dd13c4f18bc288b21a33ff7e6.jpeg

“OceanStor Dorado V6这种全互联、全共享的架构,非常适合采用机器学习这些人工智能技术,对IO进行全局的学习和分析,实现存储操作更加智能化,从而提升系统的性能和效率。”张鹏补充道。

此外,OceanStor Dorado V6还基于AI芯片和算法实现了全生命周期的智能运维,包括资源规划、业务发放、系统调优、风险预测、故障定位等实现了全方位智能管理,使得性能容量趋势可以提前60天预判,提前14天发现故障盘、93%的问题可以即时给出方案。

“OceanStor Dorado V6整个系统架构就是智能化设计的,控制器和硬盘柜可以分别独立升级,确保10年内数据无需迁移。”张鹏介绍到。

写在最后

张鹏直言,OceanStor Dorado V6项目让他和他的团队在过去两年承受了巨大的压力,项目技术难度大、规模大,全新的硬件设计、全新的软件和操作系统,全都需要重新设计和实现,过去两年几乎每天都需要加班加点。“虽然很累,但是团队还是希望不断挑战自己,一步一步实现了OceanStor Dorado从设计到交付。”

与此同时,华为存储在全闪存市场刮起了一股旋风,不仅是国内全闪存市场第一,还是全球全闪存市场增速第一的厂商,远超其他竞争对手。这背后正是华为存储团队多年以来持续不懈的努力所铸就的。

同じ日OceanStorドラドV6リリースでは、新しい画像も見事なデビューロゴである:1つのサーフ海メカジキ、海の外に跳躍、生まれ空きました。諺にように、「大いなる野望は、帆の海」、Huawei社OceanStorドラドは、勇気あります!


おすすめ

転載: blog.51cto.com/yuanshaolong/2428983