REVIEW：分離は、近年のコンピューティングとストレージ技術で、大型風力フィールドのデータアーキテクチャの突風。11ダブルテクニカルまとめたもの、過去2019 Lynxの時に、アリババCTO行てんかんアリはまた、別のコンピューティング、ストレージ上の進展の特別な言及をしました。当初はビッグデータの上昇は、主流のネットワーク帯域幅は100Mbのある、ネットワークを介したデータへのリモートアクセスが遅すぎます。問題の高速データアクセスを解決するために、Googleは創造、Hadoopのアーキテクチャの継続ながら、前方の景色足りない要素を計算するカップリングとストレージインフラストラクチャを置きます。しかし、過去の十年後、今日のネットワーク帯域幅が時間に比べて百倍に増加している、10G、IOボトルネックはもはやビッグデータである以上に達していない、計算されます。
最近では、アリババの上級技術専門家Huyue 6月（ニックネーム波）のコンピューティングプラットフォームはInfoQとのインタビューで、技術の進化は、近年のアリコンテキスト検索と広告エンジン、アリインタラクティブなデータ解析エンジンの新世代と大きなフィールドをおしゃべり技術動向や変化。インタビューでは、Huyue 6月は言った：「ストレージ、コンピューティング、ストレージ、およびコンピューティングリソースの分離は、自分のニーズに応じて、より良いコスト削減を拡大縮小することができますが、それはまたに、効率的なエンジンの多くの課題の設計と実装をもたらします。」
InfoQは：アリババは、ビジネスや広告、検索エンジンの異なる行数に責任がある今まであなたを持って、あなたはソート近年の技術の進化のどのような全体的な文脈からアリ異なる検索エンジンと広告を私たちに与えてくださいだろうか？例えば、どの段階に分けることができますか？技術的な焦点の異なる段階の違いは何ですか？
Huyue 6月は：近年では、諜報活動と低離職率のショッピング体験の上昇を高め、ビジネスの背景の連続最適化を促進し、検索し、推奨エンジン技術は、3を経ているために、リアルタイムの勧告に基づいて、商品の大規模なビジネスプラットフォームの豊富な量を伴います段階。エンジンの検索性能を向上させる上で第一段階の主な関心事は、我々はQPSインデックスの構築、クエリの最適化のプロセスについて多くを行うとエンジンを強化するためにコンポーネントをグレーディング数えるとき、ますます急務とリアルタイムのビジネス、二オンラインとオフラインオフラインFLINKブリンクに基づいて、メモリのインデックスと関連する補助テーブルを達成するための作業、オンラインエンジンの多くを行っているの両方で私たちのエンジンのステージが大幅に端から端までの処理遅延を低減、ポルシェオンラインプラットフォームを学習フロー計算エンジンと機械を孵化しことは、劇的リアルタイム検索とショッピング体験の勧告を改善し、サポートへの効率的な反復アルゴリズムから主に進歩の三段目エンジンとは、抽象的な分離し、我々はエンジンをリコールしてポイントをカウントします検索や推薦の精度を改善し続けますRankingServiceは、サービスの計算の深さにオンライン学習をサポートしながら、より良いショッピング経験及び取引指導を強化するために、統一されたシーンを得点検索し、推奨リコールの様々なサポートします。
InfoQでは：誕生のアリ雲インタラクティブ分析の新世代製品の背景は何ですか？なぜあなたは、新しいインタラクティブな分析エンジンを作成するために、再びプラットフォームMaxComputeアリのビッグデータをコンピューティングプラットフォーム、EMRオープンソースビッグデータ、リアルタイムコンピューティングプラットフォームの外側を計算していますか？それは、問題を解決するためには何ですか？
Huyue 6月：アリクラウドコンピューティングと16年間でインタラクティブな分析エンジンのための効率的なストレージ・プラットフォームは、研究開発を始めました。インタラクティブな分析エンジンは、ベースの3〜10倍、元のHBase後にオンラインパフォーマンス、我々は、高パフォーマンスのストレージエンジンを達成計算分離純粋な非同期実行をHBaseの安定性とパフォーマンスの問題を解決するための目標の開発に着手し、保存します。その後、ビジネスニーズに基づいて、PG生態進化と互換性は、リアルタイムのデータウェアハウスシステムの大規模な数となっています。
これと他のビッグデータプラットフォームアリは異なる配置が設定されている：MaxCompute自己開発プラットフォームは、効率的なオフラインシステムのアリ・ビン数、高スループットのバッチで主な焦点であり、EMRプラットフォームはすぐに自分自身を構築するパブリッククラウド上の顧客の便宜のために主にありますオープンソースのビッグデータ・ソリューション、リアルタイムコンピューティングプラットフォームは、この業務フロー処理に焦点を当てた、インタラクティブな分析のためとして、我々は、効率的なリアルタイムのアドホッククエリとOLAP分析、データストレージの問題を解決するために、主に、MaxComputeオフラインする位置の数を達成しながら、直接のお問い合わせは加速します。
これらの異なるプラットフォームは、通常、完全なビッグデータ・ソリューションを顧客に提供するために一緒に結合されています。典型的なシナリオは：データ・ストレージ・システムは、ユーザが対話分析エンジン内の様々なアドホッククエリを実行するために、FLINK /点滅を処理ETLを介してリアルタイムのインタラクティブ分析を書き込み、ユーザーがバッチ・タスクを実行する必要がある場合、次いで処理するためMaxComputeにデータをインポートするために、加えて、データ既にMaxComputeは、インタラクティブな分析は、直接クエリをスピードアップするために使用することができます。
InfoQでは：製品は商用製品やオープンソース製品を持っているかどうかをテーマとしたインタラクティブな分析のアリの雲？どちらかといえば、それは技術的なハイライト異なっている標準品のものと比較されますか？
Huyue 6月：アリ業界では、クラウドや製品赤方偏移、スノーフレーク、GaussDBとエルメスのいくつかの主題のインタラクティブ分析。アリ雲インタラクティブな分析の技術的なハイライトは以下のとおりです。計算ベースのストレージとのハイブリッドストレージのランクの効率的な分離、オルカと連携クエリオプティマイザ、純粋な非同期高性能なクエリエンジン、およびPG11生態互換性と他の機能のサポートに基づいて。
InfoQでは：過去3年間、あなたは、主記憶装置に従事しているし、ビッグデータ蓄積層と2つのコンピューティングエンジンの観点から、エンジンの設計および開発作業を計算し、あなたが最近3年間思います言及する価値がある新技術がありますかプロジェクト？技術動向の変化は何ですか？
Huyue 6月：私は個人的に過去3年間信じて、大規模なデータストレージおよび新技術の意味のある比較を計算するには、このようなように雪の結晶やなどのストレージとコンピューティングの分離の上昇、である、それはストレージとコンピューティングリソースが自分のニーズに応じて拡大縮小することが可能になり、より優れたコスト削減もちろん、これはまた、効率的にエンジンの多くの課題の設計と実装をもたらします。例えば、どのように達成するために特定のモデルと効率的なストレージI / Oを設計するには？ネットワーク接続を最適化するには？計算は、I / Oの遅延が増加するノードどのようにケースの取り扱い、低レイテンシクエリ？
技術動向では、私たちが見る傾向がストレージ層への個人的な関心であるDatabricksデルタ湖を開くなど、インタラクティブな分析エンジンのためのアリの雲は、基礎となるストレージエンジンで非常に重要な大会で、唯一やるという事実より効率的で均一な上面を計算するためにも、一元管理およびデータ・ストレージ・エンジン。
InfoQでは：「計算エンジン暑い年で、今これは、すでに紅海で17-18年、」あなたはこの見解に同意するかどうかという考え？あなたは、開発のどの段階で現在のビッグデータ計算エンジンをと思いますか？市場はすでに飽和しているかどうか？次は、技術的な方向注目に値するものを、このエンジンを計算しますか？
Huyue 6月：今年のオープンソースコンピューティングエンジンの様々な音と6.0のGreenplumはMPPエンジンのストリーミング構造化されたスパークを公開し、このようFLINK SQLバッチ統一ストリーム処理として、急速に発展ありません。紅海は、Hadoopの/ハイブに基づいて、当社の調査によると、多くの企業はまだビッグデータ・ソリューションは可能ではありません。しかし、新しいエンジンの市場浸透の度合いはまだ初期段階にあります。
計算エンジン自体のために、私は、ダイアグラム計算及び画像は、支持効率的なビデオ処理技術的な方向注目に値するかもしれないと思います。現在の勧告、信用およびセキュリティ要件の上昇に伴って、より多くの重要なストレージと処理の関係については、現在、様々なエンジンのサポートの計算上の懸念の開発の後ろに、ステージの再集計にまだある、とグラフィックスアプリケーションを計算する映像処理ベクトルをもたらすことも、ますます広範囲になって連続していくつかは、そのオープンソース技術にすでに存在しています。
InfoQは：計算エンジン、大規模なデータストレージ層を越えて、今年、このような湖データ、リアルタイムの倉庫の数など、ホットな話題、多くのがありました。あなたはどのように暑い今年のリアルタイムのデータウェアハウスの数と湖参照してください？
Huyue 6月：リアルタイムデータウェアハウスのか、ドライブ事業から燃えるような性質。現代、インテリジェントな勧告と正確な操作と迅速なリアルタイムのデータマイニングに依存して他の企業。戻ることはできません多くの人々のための時間、日数やビジネスのレベルのレベルのデータ分析。
湖のデータのほかに、現在のデータウェアハウスETL一般的なストアがデータによって洗浄され、元のデータは、特定の情報の欠如を持っていますので、また柔軟な分析の様々な生データの多様性を保存提唱人々がいます。湖のデータは、1つのそのような統一された同期、保存および管理メカニズムを提供するソリューションと同様に、コンピューティングタスクを提出し、スケジューリングされ、それはより包括的かつ体系的なデータ管理とアプリケーションを強調しています。私の個人的な理解によると、湖は、データが同じ倉庫のように、概念的なデータであるが、その支持者は、元のデータとデータ管理を制御の強化をよりセーブ。根底または関連技術が革命的な変化の多くはありません、現在のストレージとコンピューティング技術に基づくべきです。
InfoQでは：2019 2009年6月、グーグルでのデータ分析会社ルッカーの$ 2.6億ドルで買収のために。同月には、Salesforceは、エンタープライズBIタブローの$ 15.7億ドルで買収したと発表しました。2019年9月には、Clouderaのは、ビジネス・インテリジェンス・ベンダーアルカディアデータのリアルタイム分析の買収を発表しました。以下のためのいくつかの大規模なデータ・フィールドの取得のために、この平均値を何？ユニファイドデータ分析プラットフォームはまだポイントを壊す技術の次の大きなデータ・フィールドになりますか？
Huyue 6月：これらの買収の個人的な理解は、そのような統合は、こうしたクラウドデータ分析サービスとして、ユーザーに優れたユーザーエクスペリエンス解析システムを与えるべき制御にトップビッグデータのビジネスシステムとデータ分析の会社の浸透を反映し、したがって、これは、企業がより良いのPaaSとSaaS市場をキャプチャすることができます。
ユニファイド・ストレージおよび管理データ分析のためのデータ統合プラットフォームのと同様に、スケジューリングや分析のさまざまなタスクを実行し、統一されたユーザーエクスペリエンスを提供するために、オーバーヘッドデータの再配置を回避しながら、個人的にこれは、もちろん結果の問題になると思います。
これらのインタビュー出典：カイFangfang：著者：「アリ、上級技術専門家Huyue 6月ビッグデータの十年は、私は技術の変化やトレンドを参照してください」
最後に、私が知っている知識のいくつかは、ビューのいくつかを議論します。
UF前とリーダーシップの会話を覚えておいてください（ああ、あなたは私がインタビューにあった、間違っていると思った）、彼は近年のビッグデータ技術を述べた成熟になってきた、彼は個人的にJavaの歩くために私を励まし、そしてより全体的なビジネスアーキテクチャを学びます。彼はまた、彼は終わったと述べました。
もちろん、古い世代は彼の理由を持っているの間違ったが、私がやると言うことはできませんか？それは、人々との競合の比較です。Pianbu新。
それはバックグラウンドで開発しているが、個人的に、私が行ってみたい、より多くのデータのポストです。（。その後、この問題について散歩）
トピックに戻ることが、この文に来るとき、私たちは、上記のインタビューから兄の波を見ることができます：私たちの調査によると、Hadoopの/ハイブに基づいて、まだ多くの企業ビッグデータ・ソリューションは、新しいエンジンの市場浸透の度合いはまだ初期段階にあります。
ニュースを破ったかどうかを知りませんああ、内部のJingdongの一部を使用して、リアルタイムのビジネスはsparkstreamingと新しい最愛のFLINKに比べて、嵐である、それは長い間、古い古いポイントを思えません。
会社ではもちろん、技術の選択は新しいが最善であることを意味するものではありませんので、最も適しているのは、ただ愛のような、最高です。
だから、ビッグデータの見通しはそれほど悲観的ではありません。私はそれが非常に友好的だと思います。
そして、述べたリアルタイムデータウェアハウスやデータ湖を、理解しやすいものの表現は、ターンで自分自身を見ていませんでした！！！
もちろん、だけでなく、さらにいくつかのコンテンツのインタビューで述べたもの、Caishuxueqianが分からないので。
しかし、全体的な話は、それは慎重に一見の価値あり！
私たちは、あなたがマスクを考えることができ、今年は豚肉、それを破っただけのように、未来を予測する方法がありませんか？
だから、私たちがしなければならないことは、今把握先にその袖をロールアップして行うことです！
最後に、大きなは非常に多く、カイFangfangのインタビュー記事を感謝します。
その後、武漢来（今日は私を怖がっされるように、15,000増）、中国の給油、散髪を取得し、仕事に行くことができないがそれを行います！！！
