コース概要
フェーズIは：ビッグデータのスパークはじめ入門します
レッスン1：ビッグデータの概要入門
知識ポイント1：ビッグデータ技術の歴史
知識ポイント2：ビッグデータアプリケーションだけでなく、将来の
知識ポイント3：Hadoopのエコシステムのご紹介
知識ポイント4：Hadoopの進化と開発フレームワーク
知識ポイント5：大規模なデータストレージシステムは、分析の原則をHDFS
知識ポイント6：マップ-減らすパース原則
知識ポイント7：糸を解決するための分散リソース管理の原則
実際のプロジェクト：仕事ベースのMR糸戦闘の開発
レッスン：テクノロジー・スタックの開発の概要をスパーク
知識ポイント1：スパーク過去と現在
知識ポイント2：spark1.X技術スタックの概要
知識ポイント3：spark2.4技術スタックの概要
spark3.0と今後の展望：4知識
知識ポイント5：大企業におけるスパークアプリケーション
実際のプロジェクト：スパークプログラムを実行しています
レッスン：スパークAPIアプリケーションの開発と導入
知識ポイント1：スパークコア概念を説明
知識ポイント2：パーティションとRDDの依存性
知識ポイント3：変換を説明するためのAPI RDD
知識ポイント4：アクションでRDD APIを説明
実際のプロジェクト：ログデータ解析のために使用したスパークRDD
第二段階：原則として分析し、アプリケーションのチューニングをスパーク
レッスン4：スパーク原理と動作モード
知識ポイント1：スパーク動作モード
知識ポイント2：火花が実装プロセスを説明します
知識ポイント3：スパーク内部原則のRDDコメント
知識ポイント4：スパーク放送変数アキュムレータは説明
実際のプロジェクト：推奨システムを達成するための放送用可変符号化、ユーザ情報の利用
レッスン：スパーククラスタアプリケーションと最適化分析
知識ポイント1：スパークのWeb UIを説明
知識ポイント2：スパークアプリケーションの監視および分析
知識ポイント3：スパーク履歴サーバ原理解析
知識ポイント4：スパークメトリックの監視
実アイテム：スパーク履歴サーバのビルドの展開
実際のプロジェクト：ログのトラブルシューティングと最適化を開始するための監視から
レッスン6：スパークコアCoreは説明
知識ポイント1：スパークは、詳細な3つのモードがシャッフル
知識ポイント2：スパークメモリ管理分析
知識ポイント3：リソース管理アプリケーションの火付け役
知識ポイント4：スパークRDDのストレージ管理
実際のプロジェクト：既存のアプリケーションのスパークの再構築と最適化
レッスン7：スパークパフォーマンスチューニング
知識ポイント1：スパーク開発チューニング
知識ポイント2：スパークリソースのチューニング
知識ポイント3：スパーク傾いチューニングデータ
知識ポイント4：スパークチューニング・メモリー管理
実アイテム：スパークシャッフル曲コードケース
第三段階：アドホッククエリを刺激し、フロー計算を説明
レッスン八：スパーク説明SQL
知識ポイント1：歴史スパークSQL開発
知識ポイント2：スパークSQL 1.xおよび2.X
知識ポイント3：スパーク動作原理SQL解析
知識ポイント4：計画の原理を説明するために、SQLロジックをスパーク
知識ポイント5：計画を説明するために、SQL物理的原理をスパーク
知識ポイント6：データセットとデータフレームを説明
知識ポイント7：カスタム登録機能のSQL UDF開発を刺激
知識ポイント8：スパーク倹約サーバが説明
実際のプロジェクト：栄光の英雄2.4.0分析のベースのスパークSQL王
レッスン9：コンピューティングの流れと火花ストリーミングの概要
知識ポイント1：スパークストリーミング|嵐| FLINK |構造ストリーミング包括的な比較
知識ポイント2：メッセージキューカフカ、ロケットMQ実用的な解決
知識ポイント3：スパークストリーミング動作原理
知識ポイント4：スパークストリーミング高レベルの抽象化DSTREAM
知識ポイント5：構造化されたストリーミング動作原理はじめに
実際のプロジェクト：コードは、リアルタイムログデータと統計を読みます
レッスンテン：リアルタイム・コンピューティング・プラットフォーム（設計と実際）
知識ポイント1：リアルタイムビッグデータアーキテクチャ（クーズー、ドルイド、Couchbaseの）入門
知識ポイント2：リアルタイムコンピューティング・プラットフォーム・アーキテクチャ設計と選択方法
知識ポイント3：実践と難しい分析、パフォーマンスのボトルネックの解析と高QPSのリアルタイム計算
本物のアイテム：リアルタイムログプラットフォーム統計
第四段階：機械学習のコンピューティングおよびハイエンドアプリケーションのスパークビュー
レッスンイレブン：計算を説明するためのスパーク図及びMLIB
知識ポイント1：はじめにプロパティマップ
知識ポイント2：エッジ、頂点、トリプレット導入および作成
操作属性の図：知識ポイント3
知識ポイント4：グラフアルゴリズムの紹介
知識ポイント5：スパークMLIB紹介
実アイテム：図のチューニング。
レッスン十二の推薦戦闘システム
知識ポイント1：シーン推薦システム、推奨システムについて、なぜ必要
プロセスの説明推薦システム：知識ポイント2
知識ポイント3：協調フィルタリング推薦アルゴリズム
知識ポイント4：ユーチューブの推薦紹介
実際のプロジェクト：スパークmllibに基づく協調フィルタリングの推薦
取得（備考ビッグデータをスパーク）
ます。https：//www.jianshu.com/p/a54d32cf2d90で再現