データ収集の重要性1
データ収集は、データマイニングの基礎である、データマイニングは意味をなさないしません。多くの場合、我々は、データソースの数、どのくらいのデータ、データ品質を持っているとどのように、我々は鉱業出力を何が起こるかの結果を決定します
収集方法の2種類4
3オープンソースのデータを使用する方法
4匹の爬虫類の道
（1）は、要求コンテンツクロールを使用します。
（2）XPathを使用してコンテンツ要素の位置によってインデックス付けすることができる構文解析属性
データ記憶されているパンダ（3）を使用。最後にパンダのXLSまたは書き込みデータのmysql
（3）scapy
5つの一般的なクローラ
（1）列車のコレクターhttp://www.locoy.com/
それだけクローラを行うことができない、あなたは、データクレンジング、データ解析、データマイニングと可視化の作業を行うことができます。データソースは、ほとんどのページに適用され、ページが取得ルールを介してコンテンツ缶クロールを見ることができます
タコ（2）
、無料のコレクション電力ビジネスクラスなどの生活サービス
、5000の合計を、クラウド、コレクションの構成取得タスクをなど、自動的にIPを複数切り替え、雲のノードを収集することにより、サーバ、
（3）がオフに設定されていませんて検索
すべて自分のコンピュータの爬虫類で、雲収集機能を
6ログ収集ツールの使用方法
（1）最大の役割は、ユーザの訪問を分析することによって、システム性能を改善します。
（2）の内容は、私は、このようなユーザIPなどの運動を、何の実装、どのチャネルを介してアクセスを含む典型的記載しました
ポイントが埋設されている何（3）
あなたは、統計データ、統計のコードを必要とするところ、その時点で埋めです。連合Googleの分析talkingdataの友人は、一般的にポイントツールを埋めました。
7概要
数据的采集渠道很多，可以自己通过爬虫，也可以使用开源的数据源，线程的工具。
可以直接从Kaggle上下载，不需要自己爬取。
另一方面根据我们的需求，需要采集的数据也不同，比如交通行业，数据采集会和摄像头或者测速仪有关。对于运维人员，日志采集和分析则是关