自分が書いた記事を見ると、すぐに必要な記事が見つかりませんでした。何度か苦労した後、体系的な記事のブログ投稿ディレクトリを手動で作成して、簡単に参照できるように記事をすばやく見つけることにしました。
目次
広告クリックトラフィックのリアルタイム統計
126.Spark大規模eコマースプロジェクト-SparkStreaming + Kafkaデバッグ戦争エラー
124.Spark大規模eコマースプロジェクト-SparkStreaming + Kafkaデバッグjava.lang.NumberFormatException：複数のポイント
123.Spark大規模なeコマースプロジェクトと互換性のないタイプ必須のjavaPairRDD
122.Spark大規模eコマースプロジェクト-広告クリックトラフィックのリアルタイム統計-本番環境テスト
121.Spark大規模eコマースプロジェクト-広告クリックトラフィックのリアルタイム統計-リアルタイムコンピューティングプログラムのパフォーマンスチューニング
120.Sparkの主要な電力供給業者プロジェクト-リアルタイム統計の広告クリックトラフィック-HA高可用性リアルタイム計算プログラム
119.Sparkの主要な電力供給業者プロジェクト-リアルタイムの広告クリックトラフィック統計-は、広告のクリックごとに計算されました。毎日1時間以内の最近の傾向スライドウィンドウ
118.Sparkの大規模なeコマースプロジェクト-広告クリックトラフィックのリアルタイム統計-各州で毎日人気のある上位3つの広告の計算
117.Spark大規模eコマースプロジェクト-広告クリックトラフィックのリアルタイム統計-各州および都市の各広告の1日あたりのクリック数を計算します
116.大規模なeコマースプロジェクトのスパーク-動的ブラックリストに基づく広告クリックトラフィック-クリック動作フィルタリングのリアルタイム統計
115.大規模なeコマースプロジェクトのスパーク-広告クリックトラフィックのリアルタイム統計-各バッチでブラックリストに登録されたユーザーを除外して、動的ブラックリストを生成します
114.Spark大規模eコマースプロジェクト-広告クリックトラフィックのリアルタイム統計-高性能メソッドを使用して、リアルタイムの計算結果をMySQLに書き込みます
113.Spark大規模eコマースプロジェクト-広告クリックトラフィックのリアルタイム統計-動的ブラックリストの各ユーザーによる1日あたりの各広告のクリック数のリアルタイム計算
112.Spark大規模eコマースプロジェクト-広告クリックトラフィックのリアルタイム統計-需要分析、技術ソリューション設計およびデータ設計
111.Spark大規模eコマースプロジェクト-さまざまな地域で人気のある製品の統計-ローカル（生産）環境テスト
110.Spark大規模eコマースプロジェクト-さまざまな地域で人気のある製品の統計-SparkSQLデータ傾斜ソリューション
109.Spark大規模eコマースプロジェクト-さまざまな地域で人気のある製品の統計-結果データをMySQLに書き込む
108.Sparkの大規模なeコマースプロジェクト-各エリアで人気のある製品の統計-組み込みのcasewhen関数を使用して、各エリアにレベルをマークします
107.Spark大規模eコマースプロジェクト-さまざまな地域で人気のある製品の統計-ウィンドウ機能を使用して、さまざまな地域で人気のある上位3つの製品をカウントします
106.Spark大規模eコマースプロジェクト-さまざまな地域で人気のある製品の統計-製品情報を関連付け、カスタムget_json_object（）を使用する
105.大規模なeコマースプロジェクトをスパークさせる-各地域で人気のある製品の統計-各地域の各製品のクリック数を照会し、都市リストをつなぎ合わせる
104.大規模なeコマースプロジェクトのスパーク-さまざまな地域で人気のある製品の統計-group_concat_distinct（）を使用して、カスタムUDAF集計関数を開発します
103.大規模なeコマースプロジェクトのスパーク-さまざまな地域で人気のある製品の統計-関連する都市情報とRDDのDataFrameへの変換と一時テーブルの登録
102.Spark大規模eコマースプロジェクト-さまざまな地域で人気のある製品の統計-異種データソースからのMySQLからの都市データのクエリ
101.Spark大規模eコマースプロジェクト-さまざまな地域で人気のある製品の統計-指定された日付範囲内のユーザークリック行動データを照会する
100.Spark大規模eコマースプロジェクト-さまざまな地域で人気のある商品の統計-需要分析、技術ソリューション設計、データ設計
99.Spark大規模eコマースプロジェクト-さまざまな地域で人気のある製品の統計-モジュールの紹介
単一ページのジャンプ率
97.Spark大規模eコマースプロジェクト-ページシングルジャンプレート-本番環境テスト
96.Spark大規模eコマースプロジェクト-ページシングルジャンプレート-ローカルテスト
95.大規模なeコマースプロジェクトのスパーク-ページの単一ジャンプ率-ページスライスの変換率をMySQLに書き込む
94.大規模なeコマースプロジェクトのスパーク-ページの単一ジャンプ率-ページスライスのコンバージョン率を計算します
93.大規模なeコマースプロジェクトのスパーク-ページの単一ジャンプ率-ページフローの開始ページのpvを計算します
92.Sparkの大規模なeコマースプロジェクト-ページシングルジャンプレート-ページスライスの生成とページフローマッチングアルゴリズムの実装
91.Spark大規模eコマースプロジェクト-ページシングルジャンプレート-基本コードの記述
90.Sparkの大規模なeコマースプロジェクトページの単一ジャンプ率-需要分析、技術計画の設計、データテーブルの設計
89.Spark大規模eコマースプロジェクト-ページシングルジャンプレート-モジュールの紹介
ユーザーアクセスセッション分析
88（1）.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-モジュールの概要
88.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-joiのランダム数と拡張テーブルを使用したデータ傾斜ソリューション
87.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-個別に参加するためのデータ傾斜ソリューションサンプルサンプリング傾斜キー
86.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-削減結合をマップ結合に変換するデータ傾斜ソリューション
85.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-ランダムキーを使用して二重集計を実現するデータ傾斜ソリューション
84.大規模なeコマースプロジェクトのスパーク-ユーザーアクセスセッション分析-シャッフル操作の並列処理を改善するためのデータスキューソリューション
83.大規模なeコマースプロジェクトのスパーク-ユーザーアクセスセッション分析-ソースデータを集約し、スキューの原因となるキーをフィルタリングするためのデータスキューソリューション
82.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-データ傾斜ソリューションの原理と現象の分析
81.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-間違った永続化方法とチェックポイントの使用のトラブルシューティング
80.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-ヤーンクラスターモードでのJVMスタックメモリオーバーフロー問題を解決するためのトラブルシューティング
78.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-NULLを返す演算子関数によって引き起こされる問題を解決するためのトラブルシューティング
77.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-さまざまなシリアル化エラーを解決するためのトラブルシューティング
76.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-不十分なYARNキューリソースによって引き起こされるアプリケーション障害を解決するためのトラブルシューティング
75.Sparkの大規模なeコマースプロジェクト-ユーザーアクセスセッション分析-JVMGCによって引き起こされるシャッフルファイルプルの失敗を解決するためのトラブルシューティング
74.大規模なeコマースプロジェクトのスパーク-ユーザーアクセスセッション分析-トラブルシューティング制御シャッフルは、OOMを回避するためにエンドバッファサイズを削減します
73.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-reduceByKeyローカルアグリゲーションのオペレーターチューニングの導入
72.Spark SQLの低並列処理のパフォーマンスの問題を解決するために、再パーティションを使用したSparkの大規模なeコマースプロジェクトオペレーターの調整
70.大規模なeコマースプロジェクトのスパーク-ユーザーアクセスセッション分析-合体を使用してパーティションの数を減らした後のオペレーター調整フィルター
69.大規模なeコマースプロジェクトのスパーク-ユーザーアクセスセッション分析-マップ操作のパフォーマンスを向上させるためのMapPartitionsのオペレーター調整
68.大規模なeコマースプロジェクトのスパーク-ユーザーアクセスセッション分析-HashShuffleManagerとSortShuffleManagerのシャッフルチューニング
67.大規模なeコマースプロジェクトのスパーク-ユーザーアクセスセッション分析-マップ側のメモリバッファの調整をシャッフルし、側のメモリ比を減らします
66.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-シャッフルチューニング結合マップ出力ファイル
65.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-シャッフルチューニングの原理の概要
64.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析JVMチューニング調整エグゼキュータオフヒープメモリと接続待機時間
63.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-JVMチューニングの原理の概要とキャッシュ操作のメモリ比率の削減
62.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-パフォーマンスチューニング-実際のプロジェクトでのデータローカリゼーション待機時間の調整
61.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-パフォーマンスチューニング-fastutilを使用して実際のプロジェクトのデータ形式を最適化する
60.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-パフォーマンスチューニング-実際のプロジェクトでKryoシリアル化を使用する
59.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-パフォーマンスチューニング-実際のプロジェクトで大きな変数をブロードキャストする
58.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-パフォーマンスチューニング-実際のプロジェクトでのRDDアーキテクチャとRDD永続性のリファクタリング
57.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-パフォーマンスチューニング-実際のプロジェクトでの並列処理の調整
56.大規模なeコマースプロジェクトのスパーク-ユーザーアクセスセッション分析-実際のプロジェクトにより多くのリソースを割り当てるためのパフォーマンスチューニング
55.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-トップ10アクティブセッションローカルテストとステージの概要。
54.大規模なeコマースプロジェクトのスパーク-ユーザーアクセスセッション分析-top10アクティブセッションのグループ化とTop10アクティブセッションを取得するためのTopNアルゴリズム
53.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-各セソインによるトップ10アクティブセッション計算トップ10カテゴリヒット
52.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-トップ10アクティブセッション開発準備およびトップ10カテゴリRDD生成
51.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-Scalaを使用して二次ソートを実現する人気のある上位10のカテゴリ
50.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-トップ10の人気カテゴリのローカルテスト
49.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-トップ10の人気のあるカテゴリ-トップ10のカテゴリを取得してMySQLに書き込む
48.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-人気のある上位10のカテゴリの2次ランキング
47.大規模なeコマースプロジェクトのスパーク-ユーザーアクセスセッション分析-人気のある上位10のカテゴリのカスタムセカンダリソートキー
46.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-参加カテゴリとクリックして注文する支払い時間の上位10の人気カテゴリ
45.大規模なeコマースプロジェクトのスパーク-ユーザーアクセスセッション分析-各カテゴリのクリック数、注文数、支払い数を計算するための人気のある上位10のカテゴリ
44-1。大規模なeコマースプロジェクトのスパーク-ユーザーアクセスセッション分析-セッションで訪問したすべてのカテゴリを取得するための上位10の人気カテゴリ
43.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-トップ10のホットカテゴリ需要レビューと実現アイデア分析
42.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-セッションランダムサンプリングローカルテスト
41.大規模なeコマースプロジェクトのスパーク-ユーザーアクセスセッション分析-抽出されたセッションの詳細データを取得するためのセッションランダム抽出
40.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-ランダムインデックス抽出に基づくセッションランダム抽出
39.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-時間比率ランダム抽出アルゴリズムの実装に基づくセッションランダム抽出
38.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-1日1時間あたりのセッション数のセッションランダム抽出計算
37.Spark大規模eコマースプロジェクト-ユーザーアクセスセッションの分析-セッションのランダム抽出の実現アイデアの分析
36.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-セッション集計統計-Scalaを使用してカスタムアキュムレータを実装する
35.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-セッション集約統計のローカルテスト
34-2。スパーク大規模eコマースプロジェクト-ユーザーアクセスセッション分析-セッション集計統計計算と統計結果の視覚化
34-1。スパーク大規模eコマースプロジェクト-ユーザーアクセスセッション分析-セッション集計統計計算および統計結果視覚化環境テスト
34.大規模なeコマースプロジェクトをスパークさせる-ユーザーアクセスセッション分析-セッション集計統計の計算と統計結果を作成し、MySQLに書き込む
33.大規模なeコマースプロジェクトの火花-033。ユーザーアクセスセッション分析-統計用のセッション集約統計再構築フィルター
32.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-セッション集約統計再構築実現のアイデアと再構築セッション集約
31.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-セッション集約統計用のカスタムアキュムレータ
30.大規模なeコマースプロジェクトのスパーク-ユーザーアクセスセッション分析-パラメータのフィルタリングによるセッションの詳細な集計データのフィルタリング
29.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-セッションの粒度に基づくデータ集約
28.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-Sparkコンテキストの構築とシミュレーションデータの生成
27.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-JSONデータ形式の説明とfastjsonの紹介
26.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-ファクトリーモードの説明とDAOFactory開発
25.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-DAOモードの説明とTaskDAO開発
24.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-JavaBeanの概念の説明
22-23.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-JDBC補助コンポーネントの開発
21.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-内部クラスと匿名内部クラス
20.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-シングルトン設計パターン
19.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-データベース接続プールの原則
18.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-JDBC原則の紹介と追加、削除、変更のデモンストレーション
17.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-構成管理コンポーネントの開発
16.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-アイデアプロジェクトの構築とツールの説明
15.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-データテーブルの設計
14.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-テクニカルソリューションデザイン
13.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-需要分析
12.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-基本的なデータ構造とビッグデータプラットフォームアーキテクチャの紹介
11.Spark大規模eコマースプロジェクト-ユーザーアクセスセッション分析-モジュールの紹介
ビッグデータ環境の構築
10.Spark大規模eコマースプロジェクト-大規模なリアルタイムデータ収集プロセスの概要
9.Spark大規模eコマースプロジェクト-オフラインログ収集プロセスの概要
8.Spark大規模eコマースプロジェクト-ビッグデータ環境によって構築されたSparkクラスターのインストール
7.Spark大規模eコマースプロジェクト-ビッグデータ環境構築のための水路設置
6.Spark大規模eコマースプロジェクト-ビッグデータ環境に組み込まれたKafkaクラスター
5.Spark大規模eコマースプロジェクト-ビッグデータ環境によって構築された動物園管理者クラスター
4.大規模なeコマースプロジェクトのスパーク-ビッグデータ環境によって構築されたデータウェアハウスハイブのインストール
3.Spark大規模eコマースプロジェクト-ビッグデータ環境の構築-Hadoop（CDH）クラスターの構築