戦闘大規模データ

ジェシー・アンダーソンは、研究、人工知能と合理的な組織構造、エンジニア4/5のデータ処理ニーズのチームが行っています。残念ながら、多くのチームは、これを実現していません。なぜデータ処理と恋に落ちます

MRのトップフレームから設計データ処理を使用する方法を学びます

なぜApacheのスパークとApacheビームデザイン

GoogleのT6レベルの設計

別個の前部および後部は、図における資源配分を最適化するための後端があり、デカップリングプロセス、有向グラフ+コンパイラ前にバッチを終了する。+オート+自動監視/トラッキングエラー

探しクラスタTOK（K）の販売タスク

首先我们忘掉所有的框架，我们想做的业务设计其实是就是一个count() 一个topK()

Googleの処理フレームワーク - Googleのレベルのプラットフォーム

衡量指标很简单是sla  
工程一致性模型，强一致性，弱一致性，最终一致性
Cloud Spanner 就是强一致性，业务级的数据引擎

ワークフローのデザインパターン

「」「
複製を組み合わせ濾過により単離し
「」」

非リアルタイムデータ処理に応答して、

可以使用发布订阅，进行解耦 削峰

キャップ

分散システムのc線形の一貫として、スタンドアローンとして動作し
ている限り、すべてのノードは、データが応答を返さなければなりませんリンクされていない空
のpパーティションのフォールトトレランスを、データが一つのノードのみが存在することはできません
GoogleのBigTableの、HBaseのを使用しCP・ストレージ・システム・アーキテクチャ、 MongoDBの
Apをアマゾンダイナモシステムデータシステムの
CAに属するカフカシステム

lamdbaアーキテクチャビッグデータアーキテクチャ

批处理层 速度处理层 服务层 
![](https://img2018.cnblogs.com/blog/1337375/201909/1337375-20190921094559411-1082918256.png)

カッパアーキテクチャビッグデータ

スパーク

spark 不只能依赖于hadoop 才能使用，还可以运行在apache mesos ,kubernetes ，standalone 
![](https://img2018.cnblogs.com/blog/1337375/201909/1337375-20190921100517698-944731212.png)

平行等级设备  spark storm presto impala

たくさん

flink 数据结构是 stream  ，基于条数据进行使用的数据

これらの痛みのポイントを破る技術

最新の知識、分離の終了前後のフレームレベル、バッチ・フローは、彼らの考え方を統一します