データのpythonクロール

A、Pythonのデータをクロール

1、理解データ解析のアイデア

図4のアイデア1.1

1.1需要層

1.1.1説明

需要は、データ分析の始まりですが、また、あなたは目標方向を分析する必要があります。

理論的には、行われたデータの分析作業は、対応するデータ・サービスの結果ではなく、解決策を与えています。

1.1.2需要元

シーンワン：データの原因を分析する必要があり、既存の指標の異常を監視します

シーン2：会社の既存のビジネスモデルへのまたは調整や最適化する必要があるかどうかを決定するために評価

シーン3：同社は分析して実現する方法を見てする必要があり、短期的な戦略目標や目標を発表しました

スキルと1.1.3デマンド

1、事業、製品、背景の比較的深い理解を必要とする、などのニーズを決定するためにあなたを導くのに十分な

2、需要側を理解する光が十分ではありません、あなたは需要がアイデアの予備的な分析を取得してい習得したスキルを組み合わせるためのツールの迅速なセットが必要

3、総合的に判断した後、次にあなたが分析する必要があるかどうかを判断し、どのように分析し、需要フォンダは同意する必要があるかどうか

1.2データ・レイヤー

1.1.1説明

データを並べ替え、データ収集、データクリーニング：データ層は、大まかに分けています

データベースを使用するために、ビッグデータ分析の実コア。

1.1.2ビッグデータ

意味は：既存のソフトウェアツール、ストレージ、検索、共有、分析、複雑なデータセットの膨大な量の処理で抽出することができないことをいいます。

鉱業値：1.顧客セグメンテーションと集団の各特定の量のためにカスタマイズされたサービス; 2シミュレートし、実世界の環境、投資の収益率を向上させながら、新たな需要を識別し、3つの強化部門の連携、および全体の管理チェーンを改善します。産業チェーンの効率; 4.サービスコストを削減するには、隠された手がかり革新的な製品やサービスを発見します。

1.3分析層

1.3.1説明

SQL、エクセル、Python用などのツールを習得するために、分析の必要性を通じて。

分析手順：記述分析 - ロック方向 - モデリング分析 - モデルのテスト - 反復最適化 - 負荷モデル - インサイトの結論

1.3.2データ説明

基本的な情報のための特性データ、前記データの総数、時間粒度の期間、空間的範囲、空間粒度、および他のデータソースを。

1.3.3統計指標

レポートを作成するには、実際の状況指標のデータ分析は、大まかに4つのカテゴリに分けることができます变化、分布、对比、预测。

1.4出力層

1.4.1説明

こうした基本的な情報、チャートの改ページとページ内容の結論は、各パートの概要と、最終的な概要は、次のステップ戦略やトレンドの数などの目的で、データソースを、報告、背景レポート：完全なデータ報告書は、少なくとも以下の6つの要素を含まなければなりません予測。

2、簡単なページのクロール

2.1準備はライブラリやユーザエージェントを要求します

リクエストをインストールPIPインストール

Urlibベースのリクエスト・ライブラリは、共通ライブラリhttpリクエストです

通常のユーザーのふりのlet爬虫類agent--ユーザーは、標的部位にブラウザを使用してサーバーに要求を行います

正常にインストール

図2.1 Viewは、ライブラリを要求します

2.2コードの実装

インポート要求
BS4インポートBeautifulSoupから

GET_INFO DEF（URL）：
"" " "Webコンテンツを取得する""
、R = requests.get（URL）
戻りr.content

DEF parse_str（コンテンツ）：
"" "解析结果为需要的内容" ""
スープ= BeautifulSoup（コンテンツ、 'lxmlの'）
に関する情報= [v.find（ ''）soup.find_allにおけるVため（ '李'） ]
R = []
に関する情報でV用：
トライ：
r.append（ '\ t'.join（[v.text、V ['のhref ']]））
を除く：
パス
リターン' \ n'.join（R）