I.はじめに
前回の記事では、「データ」が巨大なシステムであることを学びました（下図を参照）。この記事では、データについて詳しく説明します（1）：データのソース。みんなにデータを説明する野菜市場出典の意味、そして今日、シャオ・チェンは主に、指定された「野菜市場」に到着した後の「野菜の購入」方法、つまりデータ収集のプロセスを示しました。
2.データ収集（食料の購入）
まず、データ収集方法の簡単な分類の概要を示し、次に各データ収集方法が注意を払う必要がある要点を紹介します。
1.データ収集方法による
オフライン（アンケート、現地調査）-注意点：5つの主要な要素に従ってください！
5つの要素：
1）研究のテーマと目的に焦点を当てる
アンケートの長所と短所を評価するための最も重要な基準の1つは、アンケートの内容が研究トピックに適合しているかどうかです。アンケートが適切に設計されていても、トピックとは関係がない場合は価値がありません。アンケート調査を実施します。本質的な目的は、関連する要素と研究グループの間の密接な関係を調査することです。
たとえば、ユーザーの満足度の調査には、通常、製品自体の2つの側面（価格、パッケージなど）とオーディエンスの特性（年齢、地理的領域、心理的満足度など）が含まれます。
2）タイトルは読みやすく、理解しやすく、一般的です
アンケートを配布した後、聴衆はそれを記入する必要があるので、アンケートの理解のしやすさの程度が最終的にアンケートの質を決定します。
アンケートは学術論文ではなく、プロ意識を示すために専門的で曖昧な語彙を多く含む必要はありません。重要なのは、調査員がそれを本当に理解できることです。
一般性とは、この質問の設定がすべての聴衆にとって普遍的な意味を持つかどうかを指します。たとえば、住民の移動手段を調査するアンケートでは、最も安全な交通手段はA電車B飛行機C BMWセダンD電気自動車だと思います。オプションCは普遍的ではなく、A、B、と同じではないことがわかります。およびD.一次元オプション。
3）転勤者の特性を十分に考慮する
アンケート調査法を利用する場合は、調査対象者の特性を十分に統合してアンケートを作成する必要があります。たとえば、就学前の子供や高齢者の場合、書面によるアンケート調査の形式をとるのは適切ではありません。言語の好みを十分に考慮し（一部の高齢者はマンダリンでは標準的ではないかもしれませんが、方言に堪能です）、内容を理解してから、インタビューと調査チームを送って調査を行います。
4）問題の順序を十分に検討します（段階的に）
各質問の標準化と合理性を考慮することに加えて、質問票の質問の設定では、質問間の論理と連続性を考慮し、時間、空間、人などの次元の頻繁なジャンプを回避する必要があります。
5）統計的利便性の十分な考慮
アンケート調査の対象者を考慮することに加えて、アンケート設定では、アンケート後の収集後の統計分析も十分に考慮する必要があります。可能な限り、作業後のプレッシャーを軽減するために、変数を設定しすぎないようにしてください。 、およびラベル情報は、後の研究を定性的に支援するために、できるだけ少ない変数で効率的に取得する必要があります。
オンライン（データ収集ポートに応じてAPPエンドとWebエンドに細分されます）
APP側（メイン）-関連データを取得するためのデータ埋め込みポイント：
まず、科学についてお話ししましょう。データが埋もれているポイントは正確には何ですか？また、APP側がデータの埋め込みに特別な注意を払う必要がある理由。
実際、いわゆる埋め込みポイントは、APPを使用して製品と操作を最適化する過程で、ユーザーの一連の行動データを収集することです。ほとんどのAPPには、独自のサービスと収益性があります（Taobao、Getなど）。 、コンバージョンを達成して購入をガイドするには、特定のインタラクティブコンポーネントに「ポイント」を埋めて（たとえば、ジャンプリンク、購入ボタンなどをクリック）、PV、UV、滞留時間、直帰率を定量化する必要があります。 、購入率およびその他の指標。
埋設ポイントの形態に関しては、主に次の3つのタイプに分けられます。
コード埋め込みポイント：制御操作が発生すると、事前に記述されたコードを介してデータが送信されます。現在、BaiduStatisticsとYoumengがこのサービスを提供しています。
例を見てみましょう。たとえば、ボタンのクリック数をカウントしてTaobao APPにショッピングカートを追加する場合、ボタンがクリックされると、SDKが提供するデータ送信インターフェイスをOnClick関数で呼び出すことができます。このボタンに対応してデータを送信します。
長所：データの送信時間、イベントのカスタム属性の詳細な記録を制御します。短所：時間と人件費が大きく、データ送信の適時性があります。
視覚化された埋め込みポイント：視覚的なインタラクティブ手段を使用して、視覚的なインターフェイスを介して制御操作とイベント操作の関係を構成し、背景のスクリーンショットを介してデータを収集します。たとえば、ユーザーがビッグデータアルゴリズムと組み合わせて複数の更新アクションを生成する場合、ユーザーは計算され、好みに応じてコンテンツと製品をプッシュするように切り替えてから、視覚的な埋め込みを通じて、対応するパーソナライズされた推奨コンテンツページに自動的に切り替えます。
利点：低コスト、高速、製品、市場、およびその他の部門が参加できます。欠点：行動記録に関する情報が少なく、サポートされる分析方法が少なく、開発の負担が少なくなります。
埋め込みポイントなし：ユーザーがUIインターフェイス要素を表示すると、プラットフォームはコントロールバインディングを介してイベントをトリガーします。イベントがトリガーされると、システムには、開発者がこれらの動作を処理するための対応するインターフェイスがあります。UIインターフェイスをアップロードした後、システムは、生成されたコントロールの一意のIDを自動的に識別できます。IDはプログラム内で生成されます。これらのIDが異なる携帯電話で同じであることを確認するだけで、埋もれたポイントなしでユーザーエンドのデータ取得を実現できます。
長所：ポイントを埋める必要がなく、便利で高速です。短所：行動記録に関する情報が少なく、送信圧力が高い。
Webページ-Webクローラー（python、C ...）：
特定の文法に関しては、使用するツールが異なるため、特定の文法に関するガイダンスを提供することはできません（使用する言語に応じてCSDNで検索できます）が、全体的な方法は同じです。
方法論：クロールされた情報の次元を手動で決定する→ターゲットWebサイトのURL構成を分析する→クロールツールを確認する→プログラミング言語を書く→データを取得する→ローカルに保存する→フォローアップデータマイニング。