コース名：ビッグデータクラスターの構築と活用
学習目的：毎年小さな技術を学ぶこと
学習目標:学んだ知識を使用して、電子タバコ業界の人気カテゴリのトップ 10、各地域の人気製品トップ 3、および Web サイトの変換を分析します。
学習内容:
| 最初の部分: ビッグデータの背景知識学習 |
ビッグデータの概要 Hadoopの概要 |
| 2 番目の部分: ビッグデータクラスター環境の構築 |
Linux オペレーティング システムについて学ぶ 仮想マシンの作成と起動をマスターする Linux オペレーティング システムのインストールに精通している 仮想マシンのクローン作成をマスターする Linux オペレーティング システムのネットワークとホスト名の構成に精通している Linux オペレーティング システムの SSH の設定と時刻同期に精通している マスター ZooKeeper クラスターのデプロイメント マスター Hadoop クラスターのデプロイメント マスター Spark クラスターのデプロイメント マスター HBase クラスターのデプロイメント マスター Kafka クラスターのデプロイメント |
| 3 番目の部分: 人気カテゴリーのトップ10分析 |
人気カテゴリーのトップ 10 の分析と実装アイデアをマスターする Spark 接続の作成方法とデータセットの読み取り方法をマスターする Spark の使い方をマスターしてビジネス データを取得する Spark を使用して統計カテゴリの動作タイプをマスターする Spark を使用してカテゴリのフィルタリングの動作タイプをマスターする Spark の使用法をマスターして、同じカテゴリの動作タイプをマージする カテゴリの動作タイプに応じて並べ替える Spark の使い方をマスターする HBase データベースへのデータの永続化をマスターする YARN 上の Spark を介したプログラムの実行に精通している |
| 4 番目の部分: 各地域の人気商品トップ3分析 |
各地域の人気商品トップ3分析の実装アイデアをマスターする Spark 接続の作成方法とデータセットの読み取り方法をマスターする Spark の使い方をマスターしてビジネス データを取得する Spark を使用してフィルタリング製品の動作タイプをマスターする Spark を使用してデータ形式を変換する方法をマスターする Spark の使用法をマスターして、各地域のさまざまな商品を数えます Spark を使用して地域ごとにグループ化する方法をマスターする Spark の使い方をマスターして、エリア内の商品の閲覧数に応じて並べ替える HBase データベースへのデータの永続化をマスターする Spark On YARN を通じてプログラムの実行をマスターする |
| 5番目の部分: ウェブサイトのコンバージョン率統計 |
ウェブサイトのコンバージョン率統計の実現アイデアをマスターする ユーザーの閲覧データを生成する方法を学ぶ Spark 接続の作成方法とデータセットの読み取り方法をマスターする Spark SQL の使用法をマスターして、各ページへの訪問数をカウントする Spark SQL の使用法をマスターして、各ユーザーが Web ページを閲覧する順序を取得する Spark SQL の使用法をマスターして、同じユーザーが閲覧した Web ページをマージする Spark SQL の使用法をマスターして、各シングル ホップの数をカウントする Spark SQL の使用法をマスターして、ページのシングルホップ コンバージョン率を計算する HBase データベースへのデータの永続化をマスターする 熟悉通过Spark On YARN运行程序 |