[データ分析]餃子を食べながら考えながら、データは分析を流し！

転載元：https://mp.weixin.qq.com/s/6KdKczONYngcFg8qZuV-Kg

前戯

フェスティバル餃子さて、突然、我々は餃子の聖歌を購入することになっている、餃子を食べたいです！今、あなたは、データアナリストの食事療法のネットワークと仮定シーンチェンジの場合は、今いくつかの餃子は、あなたの上司（広告）を削除するにはお金を取りたい大物。

上司：「宝石はここに来ます。」

宝石：「はいボス」

上司：「私たちをヒットする暴君餃子のコミュニティがあります。」

宝石：「人々が私を待ってとあなたの上司を打つためにあえて？」

上司：「私が求めていますが、我々は充電方法です！」

宝石：「囲碁先の上司は、次の質問箱のオファーを与える、レポート」

（背景ブローイング比を終了）

あなたはCPCを考えるかもしれないデータアナリストとして、キーワードのこのタイプをCPSが、最終的に充電されるか、そうでない場合は、チャネルラインのプロモーションのこれにCPC、どのように課金を、でしょうか？ユーザー餃子王に適した何であってもよいですか？これらの問題は、分析の深い理解から収集した総合的なトラフィックデータのためのあなたの会社のウェブサイトを必要としています。

内容の概要

この行は、次の開始されたユーザーの分析にコンテンツ（パフォーマンス指標KPI）から、収集するデータを理解するために学ぶの個人およびビジネス分析段階。次のようにディレクトリの主な内容は以下のとおりです。

トラフィックデータ分析

データ収集

何を「埋葬」されますか？

収集データにはっきりそれをされて置くために、あなたはおそらく爬虫類をクロールすることができると思いますが、あなたが把握する必要があり最初のことは、同社の製品ラインに今ある、あなたは爬虫類を通じて登るませんので、「宝石の要素はボックスを開くためにポイント検索××」行動のイベントでは？これは明らかに非現実的です。

どのようにこのユーザーの行動データと同様に、そのイベントは、それを収集しましたか？答えは、「埋没」と呼ばれる埋設であるキャプチャユーザーの行動、関連技術および実装プロセスおよび送信のためのイベントを指します。

栗の場合： Jingdongは内部運用スタッフは「下の図を参照したい場合は餃子ドラゴンボートフェスティバルの愛するこの活動効果」を、研究者は、次の図の赤い矢印で「埋没」の意味の範囲内に配置することができたときに、このフィールドをユーザーがクリックする、それを背景にはなり引き金と報告し、そのようなユーザーのクリック行動データを。

埋点作用？

トラフィック監視のための（オンライン状況、PV、UVインデックス分析、など）
ユーザーの行動を容易にするために建設パス（取得したユーザの行動データリンクを埋設）
セールスポイントやその他のデータの分析により、製品やキャンペーンの効果と今後の方向を決定します
簡単に検索し、問題を追跡するために、アプリケーションの実行を監視します
マーケティングの意思決定をサポートするためのデータを提供
AB Testtingの実装

基本となるテーブル内のデータ収集と流れ場

すべてではなく、データの、収集データを順に埋めた場合、最大収集します。まず第一に、このようなBOSSなどのビジネスニーズは、今、あなたはポイントはとの「フィールド」を埋め得ることができる方法について議論するために別の後にDAUトレンド、我々はDAUのアナリストを計算する方法を考えなければならない。この時、および製品の過去7日間を見てみたいものを知っている必要がありDAUを計算する（ユーザログがAPPの開始を識別するときにレポートポイントを埋め込むことができます）。

実際の動作では、データの次の側面を取得してもよいです。

ユーザ属性システムの特徴
1. オペレーティングシステム
2. ブラウザ
3. ドメイン名
4. アクセス速度
5. ネットワークステータス（2G、3G、4G、等）
6. 他の
ユーザーのアクセス権の特徴
1. スタートのアクセス時間
2. アクセス時間の終わり、
3. 最初の訪問、最後の訪問
4. URLをクリックしてください
ソース・ユーザー機能
1. コンテンツ情報ネットワークの種類
2. コンテンツカテゴリ
3. ログインURL
製品の特徴
1. 商品コード
2. 製品カテゴリ
3. カラー
4. 価格
5. 数量など

要約すると、それは（ここで例示する、単純な、もっと自分自身の今のリフレクション）下の表の基礎となるトラフィックデータを収集することがあります。

データ処理（ETL）

目的：統計的なニーズに応じてフォローアップインジケータが（さまざまなトピックパスに）濾過さまざまなトピックの基本データ（表異なる中間表現を作成）することによって分離しました。

この方法は：直接抽出ディメンションと指標データによって一般HQL（原稿から抽出が困難な基礎となるコレクションテーブルであってもよいし、元の表のデータはまた、ETLの抽出を介してビジネス・システムを通過する必要があり、洗浄は、変換後のデータ・ウェアハウスにロードされます）。基盤は、ビジネスニーズの指標スクリプト硬化に基づくものであってもよいした後、内部の表示を報告するためのBIプラットフォームにプッシュ。

栗の場合は、ほぼ7 UV、ユーザのログインおよびIPアクセスと他の指標を計算します。

SELECT  dt,  COUNT(DISTINCT deviceid) AS uv ,  COUNT(DISTINCT CASE WHEN length(trim(user_id)) > 0 THEN user_id else NULL end) AS login_users ,COUNT(DISTINCT ip) AS ip_num ,COUNT(session_id)  AS session_num FROM  dwd_caiji_table WHERE  dt between sysdate(-7) and sysdate()GROUP BY  dt

問題点：

私の友人の多くは、前述のデータHQLの代わりに、SQLによって抽出されたい、実際にはHIVE-SQLの設計の目的は、SQLおよびMapReduceのは、人々のプログラミングではないだろうが、また、すべての後に（データ処理のために、同社の実際のHadoopのに使用することができるようにすることですデータの量は、TB、PBも大きい）です。

計算フレームワークは、大量のデータを処理して計算することができる関連する人気のあるビッグデータは、基本的に（例えば、MapReduceのような）分散コンピューティングフレームワークに依存し、コンピューティング、分散コンピューティングタスクを共有し、クラスタであり、理想的な状態は、それぞれについて計算されますデータスキューにつながるノードは、タスクを計算するデータの類似量を想定しなければならないが、実際には、ため、データの分布に重大な不均衡であってもよいです。

必要性はあまり自分のレビューをETLデータスキューの問題、関連するコンテンツを行うことを検討するときに。

指標統計と分析ユーザ

説明：スペースの制約のため、ディレクトリは3,4つなぎ合わせ。

製品データは、非常に良いのですの利点：

可視化：ユーザーの行動の可視化、ユーザーの行動を明確に理解することができ
トレーサビリティ：製品のポジショニングの問題
確認します。検証データのサポートと
予測可能な：データの変更は、後半にストライキを予測しました

前提としているデータは、ここでは、メジャーにいくつかの指標を必要とするほとんどのその部分を意味し、トラフィックメトリックとユーザーの行動計量サイトに指標を御座いユニバーサル分析指標の一部に基づいて、さまざまなビジネス要件シーンのセットを。

各指標の具体的な意味については、あなた自身を見て必要性を理解していない場合。私たちは、それぞれの指標があることを理解する必要が役割を定義しました。

栗の場合、DAU：

定義：デイリーアクティブユーザー（毎日のアクティブユーザー）

役割：ユーザアクティビティの（例えばJingdongのアプリなど）の生成を測定することができ、加入者の増加傾向を把握し、低減するために使用することができます。

これで、ユーザー宝石分析（パフォーマンス指標KPI）の景色の一部、個別に分析する最初のユーザーの話の焦点は、2つのカテゴリに分類されるべきであり、1は、1つの戦略的な分析のモデルであり、分析の基礎です。彼は、単純なポイントは、インデックスへの希望分析の基礎、調整営業戦略で、さまざまなビジネスニーズ、ビルドユーザモデルシステムに応じて語りました。

1、基本的な分析

基本分析指標が一つが新規ユーザのためのものである、二つに分け、古いものは、ユーザーのためであり、新たなユーザが対応する新しい引っ張ると変換。そして、古いユーザーに分けることができるため、アクティブ、買戻しのうち、保有。栗の場合：

新しいプル（チャンネル）：

Jingdongのは、電力供給の日、通常の状況下では、大画面の携帯電話やモバイル機器と一緒にAPP、携帯端末、マイクロチャネル終わり、重点はさまざまなビジネスに応じて異なり、PC側のチャンネル、トラフィックは、より多くのインテリジェント持っている傾向があります618個のデータは、最終消費者の非PCユーザーが最もを示しました。今、企業がPC以外のエンド（マイクロチャネル、APP、携帯端末）のマーケティングにもっと注意を払う、ユーザが使用するデバイスやチャンネル操作を行い、利益を最大化できることが理解されます。

変容：

これは、訪問の総数に対する操作の対応する目的にアクセスするユーザの数の比率を指します。適切なアクションは、ユーザーのログイン、ユーザ登録することができ、ユーザーは、ユーザーがユーザーの行動のシリーズを購入、ダウンロード、に加入し、ウェブサイトのコンバージョン率は、広い概念です。サイトへの訪問者は、訪問者が常駐ユーザサイトに変換するとき要するに、訪問者はまた、ユーザーへの変換として理解することができます。