みなさん、こんにちは、私は新人プログラミング、コミュニティだったので、R言語の爬虫類にシェアを作るために皆のため、光栄とやや恥じている、私より金持ちを経験する優秀な学生がたくさんある、このシェアは、非常に早いですうまく学習経験として、私はプログラミング以来学んだような方法、データ処理とストレージをクロール、背景：主に以下の分野では、爬虫類といくつかの基本的なプログラミングの学生と全く接触がないように適用されます。
背景の一つ：爬虫類とは何ですか
ブラウザは、標的部位、上記の情報を一括ダウンロードにアクセスし続けるように、それは、プログラムを書く変装するだけです。
この図は、後に大きな値で分析を介して処理クローラー情報、買収された人民大学ジャーナリズム学部からの公務員数-RUCスクエアニュースです。しかし、爬虫類が容易な困難にある、オープンなAPIインタフェース専用のいくつかのページが直接、このような絵は明らか幅広いデータとして、必要な情報を提供し、いくつかのページには、そのような家庭のチェーンの絵として、ではありません、あなたは本当にに多くの労力を要する必要がありますそれはあなたがウェブページを検索するために必要な情報が含まれています。それから私は両方のケースに対処する方法を説明します。
私たちは、最初のAPIインターフェイスを提供しなかった困難な状況に対処します。私は例えば、私たちの目標は、セルの緯度と経度を降りることですリンクを、持っています。これは、チェーンの自宅地区への基本的なステップへのアクセスであります
正式な爬虫類はまた、ウェブページに関する基本のいくつかを理解する前に、幸いなことに、簡単な爬虫類は知識の複雑なウェブを習得する必要はありません。Webページには、限り、我々は我々が情報を配置したい場所を見つける必要が知っている、そしてその情報はフォーマットがあることができるものであるとして、情報で構成されています。
私たちが望む情報は、例えば、ホームサイトの私のチェーンでは、次のとおりです。最初の質問で
私は近いと記さ5つの重要な位置をズーム：
爬虫類のための1マークネットワークタグが他の要素、コンソールのように、私たちが見ている必要はありませんので、最も重要であるトップの開発ツールは、ラベルの一部です。図2は、タグページ、ここでラベルされたデータ形式です。私は、この写真は、すべてのファイル形式を含め、すべて、ある選択しました。私はより多くのサイトXHR、JS、DOC形式のファイルを登りました。ここでは3タイムラインで、あなたがクリックするたびは、ズーム機能を持っている、ズームは毎回新しいセル情報を表示します、このような家族のマップのチェーンとして、タイムライン上に表示されます。あなたは、表示されスケーリングいくつかの時間を必要とするだけの情報が便利なタイムラインに出たとき、あなたは対応がズームすること、タイムゾーンを選択することができ、この期間の中間のほんの一部には、私の姿を示し、同じように情報は4つのマーク情報バーの内側に表示されます。それは4を紹介する方法は、だから、あなたはエリア4ファイルがたくさんある見ることができ、名前はQTを始め、非常に長いですが、また、コールバックの初め、私たちはコールバック内部の初めに必要なファイルのセル情報。5表示エリア情報は、ファイルに含まれています。画像は意味のプレビューでプレビューラベルを、選択された、我々は、ファイルの情報をプレビューするためにここにいます。
情報：これまでのところ、我々は最初の質問に答えています
第二の問題は、情報のフォーマットです。
なぜ、フォーマット情報が重要なの？フォーマットは、我々はそれらに対処する方法を決定しているので。2つの非常に重要な形式があります。以下のXMLとJSONは、右のはJSON形式で、XML形式であるXMLプレゼント角括弧に包まれ、ステップ状、JSONがマークに基づいてブレース二つのグラフを残しました。
背景仕上げは、最大クロールを開始しました。R、Rの爬虫類は、パッケージをロードする必要があり、一般的にRcurlを使用し、HTTR、rvest、rjsonなどといくつかのpython、私はbeautifulsoupもっと有名に知っているのpythonと何人かの人々。そこ機能における言語の構文の違いをプログラミングの2種類がありますが、アイデアは、Rおよび例えばIちょうどホームリンクのウェブサイトで、同じ爬虫類のフレームワークです。私たちの目標は、緯度と経度の武漢地区をクロールすることです。武昌 - - 最初のステップは爬虫類ブラウザを装っている、我々はホームリンクのウェブサイトにアクセスするURLを入力する最初の必要性、そして部屋を見つけるために地図をクリックし、すべての細胞では、このセクションを参照して武昌区、その後Shuiguohuプレートには、プログラムの場合は、セルに直接インターフェースすることができますが、前提は、界面領域URLを見つけることです、そしてそれは、ブラウザのアドレスバーに大きなURLですもはや同じではありません。フロントでは、セル情報ファイルを見つけ、その鍵は、ファイルのURLを見つけることです。その後、我々はPPTのネットワークタグのこの写真は、ヘッダーのラベルに切り替えられた、タグのURLヘッダは、このコールバックファイルを持っている参照してください。
以下は、ブラウザのコードの一部を装っています。
getURL関数は、URLと、我々はセル情報におけるコールバックの文書を入手し、ウェブページに、この変数を渡すために上記のリクエストヘッダを使用して、ウェブサイト上の要求情報にあります。
それにあったこの情報は非常に混乱しているウェブページであり、我々は細胞の緯度と経度を見たいと思って、我々は、この2次元のテーブルのように、明確な形にそれを整理したいです。方法は？
ここではプログラムのデビューを処理するテキスト！
私たちは、テキスト正規表現といくつかの基本的なテキスト処理機能を処理するかを理解する必要があります。R言語のテキスト処理を学ぶことは強く、それは非常に明確にし、記事にこのウェブサイトを推奨します。あなたはより多くのあなたがその記事を見ることができます知って興味たくなった場合、私は、いくつかの正規表現と関数をリストアップしました。私が列挙されているウェブページの情報を仕上げ工程...
これまでのところ、私たちは時間のために家の連鎖の例は、ここで説明している、セル情報武昌区Shuiguohu部門の一部を下にクロールしました。現在、我々は唯一のGET JSON形式の情報を使用した場合に対処しますが、方法があると話すことなく、XML形式で情報を投稿し、私はここに、ここでのコードの一部だけだ、興味のある学生は見つけることができます。
このよう山東省の政府として、APIの以下の例を見て、多くの個人、政府機関などの新しい冠用肺炎開発APIデータ・インタフェース上で、貴州省では、アカウントを登録する必要があり、オープンデータプラットフォームだけでなく、決済アプリケーションにアクセスする前に、データの幅を持っています多くのトラブルの中に、私はインターフェイスに個人的な例を開発するためにここにいます。このサイトを訪問し、あなたはそれが特別に、私達はちょうどホームリンクは、データ要求を取得するクロールGETリクエストをマークされていることがわかります。
ポスト要求とXML形式は、私は詳細には触れません。
