wgetのクロールウェブサイトのページ

名前の、対応するインストール

yumをwgetのインストール-y

yumの設定をインストール-y

yumのPerlをインストール-y

wgetの-r -p -np -k -E http://www.xxx.com全体把持駅

wgetの-l 1 -p -np -k http://www.xxx.com第一段階を把持

-r再帰的クロール
ローカルブラウジングのためのクロール-k改正リンク後

http://blog.sina.com.cn/s/blog_669fb0c3010137bq.html

wgetの-m -eロボット=オフ-k -E 「http://www.abc.net/は」
アクセス、完全な画像を生成し、ステーションのローカル現在の作業ディレクトリにダウンロードすることができます。

説明:

-m //ミラー、全体のポイントはつかむためにある
ロボットプロトコルをオフ// = -eロボットを無視する、必須の、不正クロール
-k //ローカル相対URLを絶対URLリンクを変換
-E //すべてのテキスト/保存.html拡張子を持つHTMLドキュメント

おすすめ

転載: www.cnblogs.com/aibabel/p/11700762.html