李菲菲の対話アリクラウドインテリジェントデータベース部門の責任者は:戦争は、後半のクラウドデータベースに入っています

[編集者注] DTCC 2019は、コミュニティアリババは、高品質な音声を共有Yunqi降水多くの終了した原稿を仕上げを誰もが共有するための魚のこの数IT168&ITPUB古いエグゼクティブエディタは、公開から転載します。


李菲菲、アリババグループ、シニアフェロー、アリクラウドインテリジェントデータベース部門全体的な責任の副社長。アリババに入社する以前は、ユタ州のコンピュータサイエンス大学の終身教授です。研究は、IEEE ICDE、ACM SIGMOD論文賞およびその他の重要な学術賞を受賞しています。

2018年には、李菲菲は、独立した知的財産権を持つ研究にチームを率いアリババダルマ研究所に参加します。現時点では、アリクラウドインテリジェントデータベース部門は、次世代の分散型データベースシステムの研究開発を主導アリババグループ、11のデータおよびトランザクションのピークの膨大な量の二重の挑戦の複雑なビジネスをサポートする、それが知的な都市交通の多くの都市で使用されてきましたネットワーク管理、および金融サービス、小売、物流、製造、その他の産業と企業。

2018年には、アリのクラウドデータベースが正常にこれが初めて中国企業のためのリストであり、ガートナーのマジック・クアドラントのデータベースに入って、最近という名前のアリクラウドデータベースデータベースForresterの評価報告書再び、テクノロジー企業に認識上の2つの組織を得るために最初になりました。

北京で開催された5月10、2019、DTCC 2019(第10中国データベース技術会議)、李菲菲は基調演説をし、総会時の古い魚のエグゼクティブエディタでIT168&ITPUBデプスインタビューを受け入れ、多くのシーンに来ましたユニークな視点輝かしいです。

2つの情報を明らかにしました。

1昨年10月からPolarDBが存在し商業化するには、アリの雲は最も急速に成長しているデータベース製品となっています。

2、AnalyticDBが経過したTPC-DSは、リストを打つように世界最初、TPC-DSの公式ウェブサイトに掲載最初の費用対効果の高い、データ;

素晴らしいアイデアの抜粋の一部:

1は、ネイティブのクラウドデータベースの全て自己開発の真の意味で、現在市場に出回っている分散型データベースは、それだけので、後半では、これは画期的なことかもしれないが、分散データベース・ストレージと呼ばれることができません。

2は、NoSQLのと従来のリレーショナルデータベースがますますぼやけます境界。

図3は、企業の多くは、彼らが1つのまたは2つの点を達成するために、いくつかの次元であり、厳密に言えば、NewSQLデータベースであると言うがある、そして完璧なソリューションNewSQLすべての技術的課題はありません。

4、MongoDBの非常に巧妙な変更契約、その目的は、独自のクラウドホスティングサービスを行うクラウドホスティングプラットフォームベンダーを取得することです。

図5は、各クラウドベンダーのコアコンピタンスの前半はそのため、クラウド・ベンダーがその管理と制御を行うために、オープンソースのデータベース、オープンソースプラットフォームの最新バージョンをホスティングする契約を修正することは絶対に不可能である、実際には根本的なホスティングプラットフォームです。

1ホストしているプラ​​ットフォームは、競争力を強化し続け、そして第二に、なぜ研究データベースから皆、なぜなら、ホスティングだけでプラットフォームがあるデータベース・カーネルの自身の自己啓発を、持っている必要があります:6、後半は2点を強制的に競争力が、ギャップの身体位置を引き出していません。

............................................................

以下は、本来の意図、わずかに変更に影響を与えることなく、読みやすくするために、オリジナルのインタビューです。

Q:重要な画期的な製品ノードとアリクラウドデータベース製品ラインから、データベースにアリの雲競争の激しい分野について話をしますか?

:我々はすべて知っているように、データベース市場は、次のセクションに分割され、伝統的なOLTP、いわゆるRDBMSのオンライン取引システム。最も古典的なビジネスは、OLTPは素晴らしいaliyun板であり、オープンソースのMySQL、Postgresqlの存在は、Oracle、SQL Serverのです。

第二セグメントは、テラ、AWS赤方偏移としてOLAPライン分析は、この分野に属しています。

第3のセグメントは、HBaseの、CassandraのようなNoSQLのデータベース処理要件をもたらすために非構造化、半構造化データであり、今のMongoDBの火災で、Redisのこの分野に属します。

最後のセクションでは、ユーティリティクラス生態学製品、データ転送、データのバックアップやデータ管理部門です。また、クラウドホストされているデータベース・プラットフォームとして知られている以下の4つのセクションだけでなく、運用、保守管理及び制御プラットフォーム、これらのモジュールは、クラウド・データベース・システムおよびアーキテクチャを構成しています。

これらは、アリの雲は、各モジュールに蓄積されたコア製品とテクノロジのいくつかについて何かを言うために、次の、大規模なデータベース市場セグメントです。まず、それは二つのカテゴリーに分けることができ、最も重要なOLTP板です:

一つは、主に顧客がシームレスにクラウドラインの下にデータベースを移行することができ、選択の富を提供するために、製品、すなわち、サードパーティの商用データベースやなどSQL Serverのは、MySQL、Postgresqlのオープンソースのデータベースを、ホストされています。

第二のカテゴリーは、ネイティブクラウドデータベースの自己啓発で、最も重要なヘビー級の製品がありPolarDBです。PolarDBストレージおよび計算を分離しもたらし、分散共有メモリの利点を使用して、ネイティブデータベース、クラウドベースの分散共有メモリであり、デカップリング、それぞれ、究極を達成するために、デカップリング後の記憶と計算に弾性拡張することができます顧客にとって魅力クラウドの弾力性。クラウド顧客が必要とするためと、使用量によって、しかし、オンデマンド課金の量によって、臨界点の需要です。

また、PolarDBなどの高可用性などの多くの技術が存在するが、3つのコピーや分散データの一貫性プロトコルを使用して、パラレル・ラフトは、お客様がRPO、RTOの問題を心配する必要はありませんので、財務パフォーマンスの高可用性のレベルを達成します。他には、ライトワンストップの多くを読み、その後、インテリジェントエージェントレベルを作った上で、インテリジェントな、自動化された低バランス、ノード・コンピューティングとの技術のロードバランシングを行うことができ、分散ストレージとコンピューティングノードです。これらは、ネイティブには大きな利点がある上、クラウドでPolarDB OLTPデータベース処理を行うために組み合わせます。

例えば、PolarDBは、2つのシェルノードからノード4に、2〜32コアCORE殻から、わずか約5分縮小分程度の弾性膨張を行うことができ、わずか数分かかり、いくつかの低減膨張TB百TBのクラウド顧客、柔軟性、高可用性、負荷分散のための単一のQPS処理性能のポイントの何百万人をサポートする、などの問題に非常に良い解決策を持っていることができていない問題に対応。クラウド上のアプリケーションは、伝統的な建築のオンプレミスデータベースに関して、PolarDBが非常に強い競争力を持っている、非常に競争力があります。

私は非常に自信を持っアリクラウド上PolarDBは、いずれかのパフォーマンスから、技術的には、到達しているかさえ、いくつかの場所AWSオーロラで突破し、言うことができます。また、アリクラウドSIGMODとしてトップ国際的な技術共有の会議は、VLDBアリは、紙のプレゼンテーション技術を発表しました。

商業的には、伝統的な製造業に、している現在、商業化するために、最後の10月から、話す、PolarDBはすでに急成長しているアリのクラウドデータベース製品、資金を調達するためにPolarDB新しいリテール顧客の実際の使用であり、企業の多くは、上記PolarDBするデータベースアプリケーションを移行し始め、これはケースのOLTP部門です。

OLAPの分野では、保管品と自己開発製品に分割されますよう。マネージド例は、タブローのような従来のBIツールと同様に、自己開発は、その主な機能は、秒あるいはミリ秒レベルでは、混合堆積物のランクは、複雑な中国のマルチテーブルクエリを行うことができますで、最も重要な製品AnalyticDB分析分散データベースです応答。

、我々はすべての非常に重要なベンチマークのための認識の分析データベースであり、我々は良いニュースを持って知っているAnalyticDBを技術的な詳細は、2つの具体例について話して、話を起動しませんA最近のTPC-DSは、リストをヒットし、TPC-DSそれは、TPC-DSによってテストの層を有する世界初の、価格は最初に、このデータは、TPC-DS公式サイトを公開されていませんでした。また、紙全体AnalyticDBシステムを説明し、その高度な技術からアップ証明することができますどちらも、今年のVLDBで説教します。

ビジネスが関係していることから、不動産業界への金融からの税、パブリッククラウドへの市の脳、および大規模なデータ分析高同時実行秒オンライン需要のシリーズ、およびPolarDBからAnalyticDBサポートは、OLTPからの自然な補完を形成し、 OLAPは、完全なデータリンクを形成しました。

最後に、アリの雲とNoSQLのツールはまた、コア製品の一部のうち、多くの年のためのグループの適用を通じて、主に偽造強力な技術のレイアウトを持っています。顧客は迅速なデータベースを作ることができるように、例えば、ツールは、我々は、異なるライブラリー、雲と雲のリアルタイムデータの一貫性増分バックアップ送信などの下に雲の間行動の異なるインスタンス間でDTSデータ転送を持っています移行だけでなく、データのバックアップDBSサービス。製品のこのシリーズは、顧客が何を望んでいるか、お客様の視点からですか?どのような顧客の痛みのポイント?私たちは、お客様がこのような状態が今日ように、技術的なことを何をすべきか私たちを突き逆にする必要があり得ます。

Q:PolarDBオーロラ、AnalyticDBの主題上の赤方偏移の対象には、その後、アリクラウドデータベースは、独自の研究開発が確立R&D戦略であり、または採用戦略に従いますか?

:客観的に言って、雲の中に、IaaS事業からのPaaSに、AWSは間違いなく先駆者で、データベース分野であるだけではなく。彼らの経験と回り道を避けるためにそれらを進めたが、我々は必ずしもオープンマインドを持って、私は個人的にそれが長いの100セットであることを信じて、彼らと全く異なる道を行く必要はありません。

だから、あなたの前の質問に答えるために、私たちは認める、これはちょっと恥ずかしい、フォロワー(フォロワー)を始めていると思います。しかし、我々はそのリーダーので、フォロワーの超越をしたいです。リーダーの位置となるよう努力の年月を経て、今、私たちは、別の方法を得るためにそれをやりました。それは、フォロワーのリーダーになる方法は?コアの魅力は、顧客のニーズからです。

アリは利点は何ですかクラウド?アリクラウドの利点は、中国の大半は顧客のニーズへのアクセス権を持っているということです。米国では、顧客のニーズと中国のお客様のニーズのAWSの主要な市場が同じ場所を持っていますが、別の場所、例えば、多くの国有企業が存在し、そのような組織が存在しない米国、そのビジネスニーズと米国は、会社を断言しました異なるがあります。これは、我々は技術の移行パスは、いくつかの新しい思考、新しい挑戦を提唱してきた非常に特殊な例であり、我々はまた、技術がオーロラのものとは異なる方法のうちに終わるでしょう。

また、当社は、だけでなく、私たちの技術のために、それは非常に大きなチャレンジをした、馬のボックスとなどYoukuの、などのオンラインエンターテインメントのように、小売からのラインの新電力供給者に、複雑な環境に住んで、アリババグループが付いています、また、それは非常に豊富な訓練場を提供します。これは、我々は上に行くと新しいコア保護技術を導き出すために継続して続けることができるものです。

Qは:これまでのところ、アリクラウドデータベース製品ラインのサービスはどのように多くの合計を持っていますか?

A:私たちは、16かそこらの製品まで追加、今の製品への管理下の製品から自習しています。OLTP、OLAPプラスプラスのNoSQLツールと、最終的には、ユーザーが基本となるのホスティングプラットフォームを参照することはできません。これらの製品は、4つの2つのセクションに分かれています。ホステッド基本となる製品は、それが目に見えない存在であり、独立した製品ではありません。

話すからデータベース製品の数は、誰もが同じ大きさの順序、あまりの違いに基本的に、ほとんど同じです。コアの違いは、OLTP及びOLAPプレートです。

アリ雲が行われ、フォロワーAWSベーシックフラット、および偶数フィールドのいくつかの技術的なリードをしましたされています。例えば、単にOLAPの話、パフォーマンスAnalyticDBは、TPC-DS、最初に並列にヒットリストにされています。これとは対照的に、公式AWSと赤方偏移クエリTPC-DSの多く、AnalyticDB性能が赤方偏移よりも優れている、(AWS赤方偏移は、同じワークロードを購入するに走りました)。

另外,在某些领域,我们也做到了人无我有,即AWS不一定有,阿里云有。比如,在分布式数据库板块,因为集团的“双11”场景需求,我们需要做share-nothing的架构。因此,我们在PolarDB基础上做了PolarDB-X。这样一个share-nothing的分布式架构来支持“双11”海量高并发数据的应用场景支撑。

从AWS的角度看,没有和我们对标的产品。所以,现在云数据库时代是百花齐放、百家争鸣的状态,全球各个厂商,包括阿里,AWS、 Azure和Google大家在某些领域都有各自领先的地方,但在其他领域可能另外一个厂商又有领先的地方。客观来说,阿里云的数据库在国内无论是从市场、技术还是产品方面,都绝对处于领先地位,在国际上也完全是跟AWS拉齐的水平。希望后续竞争到下半场,我们能够在某些领域真正的做到领先者地位。

问:我们知道,像MongoDB等好几家开源数据库厂商都修改了许可协议,主要针对的就是云计算厂商,您觉得,未来两者之间会是一个怎样的关系?这是否是云厂商纷纷发布自研云原生数据库背后的推力之一?

答:这是个非常好的问题,我把这个问题延伸一下,不仅是开源数据库厂商会有动力和压力去做云原生方向的转变,传统的巨头如Oracle也绝对是不遗余力的要去往云原生云数据库这个方向去发展。

云原生数据库有很多技术点,最重要的是弹性、存储计算分离、隔离、多租户还有很重要的一点,要有自己的云托管平台。像Oracle或MongoDB要在云上提供服务,就必须要依赖于云厂商的管控平台,这也是为什么去年MongoDB修改协议的原因。

合意の事実、MongoDBの非常に巧妙な修正。これは、ホスティングサービスのMongoDBのオープンソース版を許可しますが、サービスを提供していきますが、将来のバージョンに基づく場合は、次のプラットフォームをホスティングしているオープンソースでなければなりません。AWSクラウドやアリは、オープンソースのMongoDBの未来を開き、管理と制御プラットフォームの下で、MongoDBのの最新バージョンをホスティング継続する場合は、他の言葉で、自分のクラウドホスティングサービスを行うために取得することができます。実際、MongoDBは、それが独自のアトラスを開発しました、そうすることです。MongoDBの最新の決算報告から見ることができ、そのアトラスの伸びは昨年末に、昨年の初めからわずか十パーセントの40%以上の市場シェアに達した、アトラスクラウドホスティングサービスは、全体の売上高30のmongodに成長しましたパーセント。

MongoDBのアイデアは、それが全体のケーキを削減するために、自分自身のホスティングサービスに加え、独自のカーネルを行うことを好む、市場シェアを獲得するために、オープンソースのMongoDBバージョンに基づいたホスティングサービスを提供するために、クラウド・ベンダーに比べて、非常に簡単で、クラウドに配置ベンダーただのIaaS(サービスとしてのインフラストラクチャ)の層をされません。MongoDBはSAPはまた、彼らはまったく同じです後ろに考え、ロジック、自分のSAPクラウドを行い、商用データベースのOracle、SAPなどの他のオープンソースのデータベース・ベンダーは、OracleはOracleのクラウドを作っ戦略です。

戦略を対処クラウドベンダーが製品をホスティング継続する、シンプルですが、唯一の製品の以前のバージョンを開催し、そのプラットフォームをホスティングしているオープンソース版であるそのホストされている管理および制御プラットフォームのオープンソースの最新版を作るために絶対に不可能必要はありません。戦争の前半の各クラウドベンダーのクラウドデータベース競争力の核心はどこですか?実際には、ホスティングプラットフォームの下で。前半に、私たちは主にこれらのSQL ServerデータベースのMySQLの、PGおよびビジネスに依存している、ので、オン前提データベースは、コア競争力あるクラウドへの移行の市場下の線を引きます。

そこPGまたはホストされているMySQLとSQL Serverのいずれかを持つクラウドユーザーの2つのオプションが、ある、または自己構築された仮想マシン内です。

顧客の観点から、これらの2つのオプションは、ホストされたプラットフォームでのクラウド・ベンダーの値が具現化されます。自己とのカーネルは全く違いので。コアプラットフォームをホスティングSLA保証され、サービスレベル契約、RTOは、RPOは自己構築され、自己SLAよりもはるかに良いか違うんが、そのコストよりも低くすることができます。

ユーザーの場合、DBAは、ホスティングプラットフォームのSLA保証と同じことを行うために強力なチームが必要な場合があります。これはかなり前半のトレンドである投資運用・保守を、減らすことができます。

後半のMongoDBや他のメーカーは、独自のクラウドホスティングサービスを行った場合、顧客が戻って自分の内側、仮想マシンを元のクラウドホスティングサービスを強制され、クラウドベンダーは完全にIaaSのを配置します。このようアトラスMongoDBを持つ顧客として今の顧客、ので、それはかもしれない、SLAやホスティングプラットフォームが提供するアリAWSクラウドを取得する機能と同等ですが、コストの利点があるクラウド・ベンダーに直接お支払いする必要はありません私は自作の選択に行きます。

そのクラウド・ベンダーに対処するにはどうすれば?2点があります:最初は常にホスティングプラットフォームの競争力を向上させることです。例えば、当社のクラウドアリプラットフォームをホスティングコールSDDPの自動操縦の雲があり、それはホスティングプラットフォームことを保証するために、その上のクラウドホスティングプラットフォーム上の自動運転や保守のための人工知能、機械学習技術、データベース・インスタンスの自動最適化を使用することで、競争力。カーネルの視点からの第二、なぜアマゾン、アリとGoogleは、独自のネイティブクラウドデータベースをしているの?我々は唯一のLビットのギャップを引き出しません競争力のホスティングプラットフォームによって、彼らは自分の自己制御コアを持たなければならないことを認識し、伝統的なオン前提DBには、このコアなので、性能に違いがあります。クラウドネイティブの特性のいくつかについては、MySQL、PG、オーロラとのMongoDBのネイティブクラウドデータベースのアップの他の独立した開発から移行する顧客を引き付けるために。

AWS是最典型的,率先推出了Aurora。在NoSQL领域又推出了DynamoDB,在分析领域推出了Redshift。MongoDB修改协议以后,它又推出了自己的DocumentDB。这一系列动作背后的逻辑,和前面讲的是一样的。我个人认为,这场比赛已经进入了下半场。总结来讲,作为云厂商,我们需要在两方面发力,一个是管控平台,通过智能化的手段,提高它的运维能力和效率,另外一个要提升它的安全可靠、可验证。AWS去年推出了QLDB、Quantum Ledger Database,利用区块链里面的Merkle tree技术,对数据库的运维日志进行验证。这样客户上云以后可以来验证运维日志,来确保做到了SLA的保障,这些是从管控平台要做的一些差异化。另外是从内核的角度,不断地去投入内核的研发,以能够和传统的数据库或者新生的像MongoDB数据库内核,进行差异化的竞争。以上是我认为的云数据库战场下半场的一些比较精彩的看点。

问:您提到了云原生数据库,我最近也总是听到几个词,云原生分布式数据库,分布式中间件等。如何去鉴别真正的云原生和伪云原生?

答:这个问题很好,传统的数据库架构是什么?是一种share-everything的架构,比如说一个本地磁盘上面可能有比较大的内存,可以插多个内存条,有比较大的内存池。再上面是计算,有共享的计算状态,有多个 Core。但是很关键的一点是transaction,或者有很多个 query进来,这些transaction和query在整个数据库从存储到内存,再到 Core都是共享状态的,这个就叫share-everything架构,也是传统的数据库架构,像Oracle、SQL Sever都是这种架构。

这种架构有它的优势,是共享状态所以Coordination比较容易做。但缺点是Scalebility(扩展性)会受很大的限制,所以就衍生出了分布式这个概念,分布式最核心的挑战就是要提供Scale Out以及Scale Up的能力。

これを行うにはどのようにスケールアウト?Googleのスパナのアプローチのような、より古典的には、株式に何もしないし、次にサブライブラリーサブテーブルの操作を行い、パーティションの操作を行い、シャーディングを行うことです。クエリとトランザクションのシャードシャード間のクロスがあれば、我々は分散クエリと分散トランザクション処理を行う必要があります。このサブライブラリサブテーブルであり、スパナアーキテクチャはアーキテクチャPolarDB-Xです。これは、分散アーキテクチャがネイティブである、二つのブランチ上記株式ナッシングの一つです。これは、実際には、シャーディングとパーティションの下で行われますが、顧客が知覚する必要はありません。分散トランザクション処理があれば、顧客の面では、ビジネスロジックは、変更する必要はありません、分散クエリは、自動的に取得します。お客様は、ビジネスロジックを、分割する、ライブラリのサブテーブルを分割する方法を心配する必要はありません。

もう一つの問題は、あなただけ挙げるということで、サブライブラリーサブテーブルを作成するミドルウェアソリューションのフォームを使用し、ビジネス・ロジックが破られます。これは、サービスプロバイダ、または彼らは、ビジネスロジックの非常に明確な理解を持っている必要があり、顧客のデータベースが必要です。例えば、在庫、注文は、両方のライブラリを分離し、通常は交差点はありません。だから、ビジネスロジックに、それは異なるノードで2つのライブラリ、2株に分割、これはミドルウェア・ソリューションで、業界では、多くのそのようなソリューションがあります。

このアプローチの利点は欠点は、顧客のビジネスロジックの侵襲的な転換があるとして、それは、ネイティブの分散データベースを好きではないということである、比較的単純です。他には、分散クエリの業務のサポートですので、良いネイティブデータベースとして配布することはできません。上記は、共有注目分散データベースです。

今、私たちは、クラウドと呼ばれる、いわゆるネイティブ分散データベースについて話しています。私は、これは偽の命題、偽の概念だと思います。実際には、今クラウドデータベース内のすべてのメーカーは、それらのほとんどは、追記の多くを読んで上記の操作を行い、分散共有メモリストレージを使用して、やるされ、真の分散アーキテクチャされていません。例えばPolarDB、オーロラは、アーキテクチャのようなものです。これは、分散型RDMAは迅速に行うためにインターネットを使用し、書き込みの上記の計算は、かつて多くのストレージの分離を読んでください、私は、これは今、いわゆるクラウドネイティブクラウドデータベースまたはネイティブ分散データベースの最も典型的なアーキテクチャであると考え、実際には分散共有メモリであります分散共有メモリ。これは、実際には、分散ディスクですが、カーネルの上位層の観点では、ローカルディスクのように見え、皿のように見えます。その利点は、この課題は、メインのライブラリとライブラリ装置との間の物理的なデータをバックアップするために行われる必要があり、それは、MySQL、PGのように、この伝統的な待機を回避し、唯一の物理的なデータです。メイン図書館、図書館設備の書き込みとノードのノードが物理的なデータで読むので、多くの利点をもたらします。しかし、厳密に言えば、それは店がそれ分散データベースを呼び出すことができない分散型データベースです。これは、我々はまだいくつかの違いがありますが、今、私たちは、このネイティブのクラウドデータベースまたはネイティブクラウド分散データベースを呼び出す分散データベースの古典的な定義です。

後半では、その現象がどうなるかの開発を転送しますか?私は個人的に後半のポイントを破るための場所を持っている可能性が高いだろうと思い、それが分散データベース・アーキテクチャから共有ストレージ(クラウドネイティブスピーカーの本来の分散共有メモリアーキテクチャをshardinことにより、真の分散アーキテクチャとクラウドアーキテクチャの言っていることです一緒に)共有メモリ共有ストレージアーキテクチャと呼ばれます。この構造の利点は何であることはありますか?共有ストレージは、RDMAを使用するので、RDMAは、RDMA共有ストレージノードのみダース以上のことを行うことができるかもしれない、それは無限拡張できない場合、そのようなクロスAZ又はより深刻なケースとして、渡されるべき、限られています、ノードの数十。一度ネットワークswich渡っ後に、RDMAのパフォーマンス損失が速いので、共有ストレージ・アーキテクチャのような非常に大きな、リモートアクセスとローカルアクセスが不可能であるため制限があります。

最经典的Oracle RAC做到 10个节点、20个节点就没办法再往上了,但如果并发高到一定程度或者数量大到一定程度,只能再往上扩,Scale Out要一直往下该怎么办?这时候一定要做分布式partition、sharding这种架构,但是partition、sharding如果不用共享存储的话,带来什么影响呢?每个shard不能做太大,因为单节点就只能存这么多数据。也就是说可能要分很多个shard,分布式的transaction非常多,一旦有distributed commit,性能损耗是非常大的。所以这两个如果能结合起来,有一个好处就是还是可以Scale Out,因为我上面有share-nothing这一层,底下是共享存储的节点,每个shard就可以做得非常大。也就是说对同样的数据来讲,我只需要很少的shard就可以来支持。很少的shard也就意味着分布式跨shard的这种处理会大大减小,分布式的能力会大大提升。所以这两个结合起来,我觉得会是一个比较新、比较有意思的挑战。

问:接下来的一些问题,其实也一直比较困扰我。刚刚您说了分布式,其实过去还有一种分类,比如说SQL、NoSQL、NewSQL,那NewSQL和分布式数据库之间到底是一个什么关系?过去我会把它理解成SQL、NoSQL之外的就是NewSQL,分布式数据库和NewSQL之间是一个包含关系还是其他的关系?

:これは、いくつかの混乱があるでしょう非常に良い質問、同僚や友人のローカルデータベース何倍です。まず、NoSQLのNoSQLのと呼ばれるが、それは実際にはないだけでなく、SQLの略称であるSQLに意味されていないものの、NoSQLのは、巧妙なコールを取ったが、それは実際にはSQLの意味以上を指します。NoSQLの最も初期の開発が来る方法ですか?実際には、従来のリレーショナルデータベースから来て、内部強いためのリレーショナルデータベースは、同じように保護することで、ACID、そのスケールアウト機能が限られているので、時間の原子性、一貫性、Avilability、耐久性にこれらの保証の単離を行い、紛争に根本的に分配され、その後、ハードウェア技術、ソフトウェア技術は、無制限の拡大レベルが可能な従来のリレーショナルデータベースではありません。

しかし、Googleは多くのインターネット企業の代表として、一度実際にデータの量が多すぎるので、これは無限の成長の過程で、データは毎日実行、保存、データやトランザクション処理、クエリ処理無制限の拡大レベルの能力を必要とします。そして、これらのデータの特徴があり、それは必ずしも、構造化されていない半構造化されたか、NoSQLのコンセプト導出されるようにしても、それは、非構造化データであってもよいです。要約用語、NoSQLのコア思想は、従来のリレーショナル・データベース一貫性の強い需要、そのような分離レベルを弱めることで、従来のリレーショナル・スナップショット・アイソレーションがあってもよいし、今限りReadCommittedには、ライン上に、限りないダーティ読みない限りことができます。他のアプリケーション、アプリケーションが引き換えに、いくつかのデータの整合性を犠牲にし、ダーティ読み取りないことを確実にするためにちょうどデータベース・レベルで、解決するために、アプリケーション・レイヤ・ロジック、外部の一貫性の方法でそれを書き込むために、分離機構のより高いレベルを必要とする場合ほぼ無制限の拡張レベル。このようなシステムは最も古典的なのNoSQLの源であるHBaseの、GoogleのBigTableの、カサンドラ、など、です。

概要が懸念している、それは容量を拡張するスケールアウトの無制限のレベルと引き換えに、一貫性と独立性に関するいくつかの犠牲を行うには、主に、容量を拡張し、いくつかの一貫性の保証を犠牲にするスケールアウトの無制限のレベルを提供することです。

NewSQLどのように来ますか?NoSQLのは、おそらく、2008年には、おそらくこの概念から、十年かそこらで、その後2009年に開発し、今ではほぼ10年。これは、アプリケーションの一貫性は、まだ多くの困難を書くために、論理層にプッシュことがわかったが、私たちはゆっくりと非構造化、半構造化データの一貫性も強い需要で発見しました。唯一の構造化データの従来のトランザクションのトランザクション処理は、非構造化、半構造化、そのような需要のために需要があると言うことではありません。だから我々は、NoSQLのシステムもACID保証、いわゆる最終的な一貫性は、弱い一貫性の保証は、多くのアプリケーションには適用されないことを保証する必要が見つかったので、スナップショットアイソレーションを行う必要があり、NoSQLのNOSQLの友人に従事していることが発見されたシーン、中この要求は、リレーショナル・データベースに友人が何を発見しましたか?例えば、開始からのMySQL 5.7は、PG11.0,11.2のバージョンは、JSONのサポートが追加されました。伝統的な重要なデータベースが唯一の構造化データをサポートすることを意味し、典型的な半構造化データの構造は、それはまた、両側が真ん中に始めていることを意味し、非構造化、半構造化データのサポートを提供しなければならない死ぬことがありますによります。強い一貫性の保証は、それだけで構造化データ、限られたスケールアウト機能をサポートしています。別の半構造化データと非構造化データのサポート、優れたスケールアウト機能が、保証の一貫性がありません。双方は、何をしたいと引き換えに何かを犠牲にしなければならないが、後に、より多くのお客さまにも予約彼自身に限られ、その両側が埋め不足している機能を始めているだけではなく、何かを犠牲にする必要がありました。

どちらも、それはNewSQLで両方の組み合わせを、となり、それは「両方......もう一度......」状態になり、持っている必要があります。だから、最終的に私は個人的にNewSQLが本当に最後に、より一般的な状況になるために開発された場合は、NoSQLのリレーショナル・データベースの伝統的な境界がますます曖昧になっていることだろうと思います。

言い換えれば、それはNewSQL分散データベースを意味するものではありません、分散データベースはNewSQLデータベースすることができます。非常に重要であるNewSQLはもちろん、分散型ストレージアーキテクチャであるスケールアウトの機能です。それは必ずしも共有メモリを分散されていないが、それは間違いなくシャードであることを、パーティションがあります。HBaseのと同じように、MongDBはデフォルトの状況の中で最も一般的な破片です。しかし、分散されたデータは必ずしも真のクエリと分散トランザクションを分散されていないに応じて、データベースを分散されていません。それはシャード、分散データを行うことは可能ですが、クエリと取引があるため、完璧なshardableワークロードと呼ばれる、いわゆる。最初のシャードを見て、このトランザクションとクエリが完了し、別のクエリは、ちょうど第二シャードを見てください。それは多くのシャードを持っているものの、各クエリおよびトランザクションへの照会およびトランザクションの数が、特定があるので、それはケリを、単一のシャードです。厳密に言えば、私はそれは、分散データベース、比較的巧妙なパーティションのビジネスロジックはないと思うので、それは完全に並列処理を上に行くことができます。

真の分散データベースは、二つの特性を有する:第一に、データは番号断片に分割されなければならない;第二に、そのクエリとトランザクションがクロスシャードようなクエリとクロスシャードトランザクションを生成する可能性があり、これは、分散と呼ばれます。伝統的なNoSQLのは、唯一の第一の特徴やサポートの唯一の第二の特徴をサポートしています。第二の特徴は、分散トランザクションをサポートする能力、分散クエリの能力と引き換えに、データの整合性(分離度)を犠牲にして支持されています。

NewSQLについては、私は個人的に本当に良いNewSQLデータベースこと、最初のポイントである、構造化、半構造化および非構造化データによって支持されなければならないと思います。

第二の点は、良好なNewSQLデータベースは能力の非常に良好なレベルを持っており、非常に優れた柔軟性と単一ノード上でスケールアウトする能力があるが、、、分散トランザクションを分散クエリをサポートして容量を拡張するスケールアウトされています。今のところ、データベースが存在しないすべての問題を解決する完璧なことができ、HTAP(トランザクションおよび分析処理のミックス)のようないくつかの他の技術的なポイントは、よく読んで対処する効率的な共存書き込む方法がありますか?そこマルチモード、マルチモード、ライブラリ内の複数のデータ形式を、どのように統一されたインターフェイスを照会するには?我々は完全にすべてのこれらの問題を解決できる場合、私はそれが比較的良好なNewSQLデータベースだと思います。

今のNewSQL事は単に技術的な概念から浮上しています。厳密に言えば、多くの企業があり、彼らはNewSQLデータベースであると言う、彼はちょうど1〜2ポイントを達成するために、いくつかの次元でかもしれないが、我々だけ言及しているので、私が思うに、現在のところ完璧なソリューションNewSQLすべての技術的課題はありません我々はまだ探検に行くには長い道のりがあります。

オリジナルリリースタイム:2019年6月21日
著者:フィッシャー・ノート
「に掲載された古い魚のノート情報については、」見ることができ、古い魚のノートを。」

おすすめ

転載: yq.aliyun.com/articles/706089