Linux コマンド wget

Linux システムの wget は、コマンド ラインで使用されるファイルをダウンロードするためのツールです。これは Linux ユーザーにとって不可欠なツールであり、多くの場合、ソフトウェアをダウンロードしたり、リモート サーバーからローカル サーバーにバックアップを復元したりする必要があります。wget は HTTP、HTTPS、および FTP プロトコルをサポートし、HTTP プロキシを使用できます。いわゆる自動ダウンロードとは、ユーザーがシステムを終了した後に wget をバックグラウンドで実行できることを意味します。これは、システムにログインし、wget ダウンロード タスクを開始し、その後システムからログアウトすると、タスクが完了するまで wget がバックグラウンドで実行されることを意味します。

wget は、HTML ページ上のリンクをたどり、それらを順番にダウンロードしてリモート サーバーのローカル バージョンを作成し、元のサイトのディレクトリ構造を完全に再構築します。これは、「再帰的ダウンロード」と呼ばれることがよくあります。再帰的にダウンロードする場合、wget はロボット除外標準 (/robots.txt) に従います。ダウンロード中に、wget はオフラインでの閲覧を容易にするためにリンクをローカル ファイルを指すように変換できます。

wget は非常に安定しており、帯域幅が狭い場合やネットワークが不安定な場合でも高い適応性を備えており、ネットワーク上の理由でダウンロードが失敗した場合でも、wget はファイル全体がダウンロードされるまで試行を続けます。サーバーがダウンロード プロセスを中断した場合、サーバーは再度サーバーに接続し、中断したところからダウンロードを続行します。これは、接続時間が限られているサーバーから大きなファイルをダウンロードする場合に便利です。

1. コマンド形式:

wget [パラメータ] [URLアドレス]

2. コマンド機能:

ネットワークからリソースをダウンロードするために使用されます。ディレクトリが指定されていない場合、ダウンロードされたリソースはデフォルトで現在のディレクトリに設定されます。wget は強力ですが、使い方は比較的簡単です。

1) 当時の Internet Ant や FlashGet の最大のセールスポイントでもあったブレークポイントダウンロード機能をサポートし、Wget でもこの機能を利用できるようになり、ネットワークがあまり良くないユーザーでも安心です。

2) FTP と HTTP の両方のダウンロード方法がサポートされています。ほとんどのソフトウェアは HTTP を使用してダウンロードできるようになりましたが、場合によってはソフトウェアをダウンロードするために依然として FTP を使用する必要があります。

3) プロキシ サーバーがサポートされています。セキュリティ強度の高いシステムでは、通常、システムがインターネットに直接公開されないため、プロキシのサポートはソフトウェアをダウンロードするために必須の機能です。

4) 設定は便利で簡単です。おそらく、グラフィカル インターフェイスに慣れているユーザーはコマンド ラインにあまり慣れていないかもしれませんが、実際にはコマンド ラインの方が設定に利点があり、少なくともマウスをクリックする回数が何倍も減ります。間違っているかどうかは気にしないでください。

5) 小さなプログラム、完全に無料; 小さなプログラムは無視できます、現在はハードディスクが大きすぎるためです; インターネット上にはいわゆるフリー ソフトウェアがたくさんありますが、完全に無料であることを考慮する必要がありますが、これらのソフトウェアの広告は私たちのようなものではありません。

3. コマンドパラメータ:

開始パラメータ:

-V、--version wget バージョンを表示して終了します

-h、--help 構文のヘルプを表示します。

-b, --background 起動後にバックグラウンド実行に切り替えます

-e, --execute=COMMAND コマンドを「.wgetrc」形式で実行します。wgetrc 形式については、/etc/wgetrc または ~/.wgetrc を参照してください。

記録および入力ファイルのパラメータ:

-o, --output-file=FILE レコードを FILE ファイルに書き込みます

-a, --append-output=FILE レコードを FILE ファイルに追加します

-d、--debug デバッグ出力を出力します。

-q、--quiet 静音モード (出力なし)

-v、--verbose 冗長モード (これがデフォルト)

-nv、--non-verbose 冗長モードをオフにしますが、静かモードはオフにしません

-i, --input-file=FILE ファイルに含まれる FILE ダウンロード URL

-F、--force-html 入力ファイルを HTML 形式のファイルとして扱います。

-B, --base=URL -F -i パラメータで指定されたファイルに表示される相対リンクに URL を接頭辞として付けます。

--sslcertfile=オプションのクライアント証明書をファイルします

--sslcertkey=KEYFILE オプションのクライアント証明書 KEYFILE

--egd-file=FILE は EGD ソケットのファイル名を指定します

ダウンロードパラメータ:

--bind-address=ADDRESS は、ローカル使用アドレス (複数のローカル IP または名前がある場合に使用されるホスト名または IP) を指定します。

-t, --tries=NUMBER 接続試行の最大数を設定します (0 は無制限を意味します)。

-O -​​-output-document=FILE ドキュメントを FILE ファイルに書き込みます

-nc、--no-clobber は、既存のファイルを上書きしたり、.# プレフィックスを使用したりしません

-c, -- continue 未完了のファイルのダウンロードを続行します。

--progress=TYPE 進行状況バーのラベルを設定します

-N、--timestamping は、ローカル ファイルより新しい場合を除き、ファイルを再ダウンロードしません。

-S, --server-response プリント サーバーの応答

--spider は何もダウンロードしません

-T, --timeout=SECONDS 応答タイムアウトを秒単位で設定します

-w, --wait=SECONDS 秒間待機します。

--waitretry=SECONDS 再接続の間に 1...SECONDS 秒待機します

--random-wait ダウンロード間の待機時間は 0...2*WAIT 秒です

-Y, --proxy=on/off プロキシをオンまたはオフにする

-Q, --quota=NUMBER ダウンロード容量制限を設定します

--limit-rate=RATE ダウンロード速度の制限

ディレクトリパラメータ:

-nd --no-directories ディレクトリを作成しません

-x、--force-directorys ディレクトリを強制的に作成します

-nH、--no-host-directories はホスト ディレクトリを作成しません

-P, --directory-prefix=PREFIX ファイルをディレクトリ PREFIX/… に保存します。

--cut-dirs=NUMBER 層のリモート ディレクトリを無視します

HTTP オプションのパラメータ:

--http-user=USER HTTP ユーザー名を USER に設定します。

--http-passwd=PASS http パスワードを PASS に設定します

-C, --cache=on/off サーバー側のデータ キャッシュを有効/無効にします (通常は許可されます)

-E、--html-extension すべての text/html ドキュメントを .html 拡張子で保存します

--ignore-length `Content-Length' ヘッダーフィールドを無視します

--header=STRING ヘッダーに文字列 STRING を挿入します

--proxy-user=USER プロキシ ユーザー名を USER として設定します

--proxy-passwd=PASS プロキシのパスワードを PASS に設定します

--referer=URL HTTP リクエストに「Referer: URL」ヘッダーを含めます

-s、--save-headers HTTP ヘッダーをファイルに保存します

-U、--user-agent=AGENT エージェント名を Wget/VERSION ではなく AGENT に設定します

--no-http-keep-alive HTTP ライブ接続 (アライブ接続) をオフにします。

--cookies=off Cookie を使用しません

--load-cookies=FILE セッションを開始する前にファイル FILE から Cookie をロードします

--save-cookies=FILE セッション終了後に Cookie をファイル FILE に保存します

FTP オプションのパラメータ:

-nr、--dont-remove-listing `.listing' ファイルを削除しません

-g, --glob=on/off ファイル名のグロビングをオンまたはオフにします

--passive-ftp はパッシブ転送モードを使用します (デフォルト)。

--active-ftp はアクティブ転送モードを使用します

--retr-symlinks 再帰する場合、(ディレクトリではなく) ファイルへのリンクを指定します。

再帰ダウンロードパラメータ:

-r, --recursive 再帰的にダウンロード -- 使用には注意が必要です。

-l, --level=NUMBER 最大再帰深さ (inf または無限の場合は 0)

--delete-after 今からローカルでファイルを削除します

-k、--convert-links 非相対リンクを相対リンクに変換します

-K, --backup 変​​換する前に、バックアップ ファイル X を X.orig として変換しました

-m、--mirror は、-r -N -l inf -nr と同等です。

-p、--page-requisites HTML ファイルを示すすべての画像をダウンロードします

再帰的ダウンロードにおける包含と除外 (承認/拒否):

-A, --accept=LIST 受け入れられる拡張子のセミコロン区切りのリスト

-R, --reject=LIST 拒否された拡張子のセミコロン区切りのリスト

-D, --domains=LIST セミコロンで区切られた、承認されたドメインのリスト

--exclude-domains=LIST セミコロンで区切られた除外ドメインのリスト

--follow-ftp HTML ドキュメント内の FTP リンクをたどります

--follow-tags=LIST フォローする HTML タグのセミコロン区切りのリスト

-G, --ignore-tags=LIST 無視される HTML タグのセミコロン区切りのリスト

-H、--span-hosts は再帰時に外部ホストに移動します

-L、--relative は相対リンクのみをたどります

-I, --include-directories=LIST 許可されたディレクトリのリスト

-X, --exclude-directories=LIST 除外されたディレクトリのリスト

-np、--no-parent は親ディレクトリまでトレースバックしません

wget -S –spider URL はダウンロードせず、プロセスを表示するだけです

4. 使用例:

例 1: wget を使用して単一のファイルをダウンロードする

注文:

wget http://www.minjieren.com/wordpress-3.1-zh_CN.zip

例証します:

次の例では、ネットワークからファイルをダウンロードし、現在のディレクトリに保存します。ダウンロード プロセス中に、(ダウンロード完了率、ダウンロードされたバイト数、現在のダウンロード速度、ダウンロードの残り時間) を含む進行状況バーが表示されます。

例 2: wget -O でダウンロードし、別のファイル名で保存する

注文:

: wget -O wordpress.zip http://www.minjieren.com/download.aspx?id=1080

例証します:

デフォルトでは、wget は「/」に一致する最後の文字をコマンドに使用するため、通常、ダイナミック リンクのダウンロードではファイル名が正しくありません。

エラー: 次の例では、ファイルをダウンロードし、download.aspx?id=1080 という名前で保存します。

wget http://www.minjieren.com/download?id=1

ダウンロードしたファイルはzip形式ですが、download.php?id=1080コマンドで終了します。

正解: この問題を解決するには、パラメータ -O を使用してファイル名を指定します。

wget -O wordpress.zip http://www.minjieren.com/download.aspx?id=1080

例 3: wget –limit -rate を使用してダウンロード速度を制限する

注文:

wget --limit-rate=300k http://www.minjieren.com/wordpress-3.1-zh_CN.zip

例証します:

wget を実行すると、デフォルトで可能なすべてのブロードバンド ダウンロードが使用されます。ただし、大きなファイルをダウンロードするときに他のファイルもダウンロードする必要がある場合は、速度を制限する必要があります。

例 4: wget -c を使用してアップロードを続行する

注文:

wget -c http://www.minjieren.com/wordpress-3.1-zh_CN.zip

例証します:

wget -c を使用して、中断されたファイルのダウンロードを再開します。ネットワークやその他の理由で大きなファイルを突然ダウンロードする場合に非常に役立ちます。ファイルを再ダウンロードする代わりにダウンロードを続行できます。-c パラメータは、中断されたダウンロードを続行する必要がある場合に使用できます。

例 5: wget -b を使用してバックグラウンドでダウンロードする

注文:

wget -b http://www.minjieren.com/wordpress-3.1-zh_CN.zip

例証します:

非常に大きなファイルをダウンロードする場合は、パラメーター -b を使用してバックグラウンドでダウンロードできます。

wget -b http://www.minjieren.com/wordpress-3.1-zh_CN.zip

バックグラウンドで続行、pid 1840。

出力は「wget-log」に書き込まれます。

次のコマンドを使用して、ダウンロードの進行状況を確認できます。

tail -f wget-log

例6: プロキシ名を騙ってダウンロードする

注文:

wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML、Gecko など) Chrome/10.0.648.204 Safari/534.16" http://www.minjieren. com/wordpress-3.1-zh_CN.zip

例証します:

サイトによっては、プロキシ名がブラウザではないと判断して、ダウンロード リクエストを拒否する場合があります。ただし、 --user-agent パラメータを使用してマスカレードすることはできます。

例 7: wget –spider を使用してダウンロード リンクをテストする

注文:

wget --spider URL

例証します:

スケジュールされたダウンロードを実行する予定がある場合は、ダウンロード リンクがスケジュールされた時間に機能するかどうかをテストする必要があります。--spider パラメータを増やして確認できます。

wget --spider URL

ダウンロードリンクが正しければ、表示されます

wget --spider URL

スパイダーモードが有効になりました。リモートファイルが存在するかどうかを確認してください。

HTTP リクエストが送信され、応答を待っています... 200 OK

長さ: 指定なし [text/html]

リモート ファイルが存在し、さらにリンクが含まれている可能性があります。

ただし、再帰は無効になっており、取得はできません。

これにより、スケジュールされた時間にダウンロードを確実に実行できますが、間違ったリンクを指定すると、次のエラーが表示されます。

wget --スパイダー URL

スパイダーモードが有効になりました。リモートファイルが存在するかどうかを確認してください。

HTTP リクエストが送信され、応答を待っています... 404 見つかりません

リモート ファイルが存在しません -- リンクが切れています!!!

スパイダー パラメータは次の状況で使用できます。

スケジュールされたダウンロードの前に確認してください

ウェブサイトが利用可能かどうかを定期的に確認する

Web サイトのページにリンク切れがないか確認する

例 8: wget –tries を使用して再試行回数を増やす

注文:

wget --tries=40 URL

例証します:

ネットワークに問題がある場合や、ダウンロードするファイルが大きい場合にも失敗することがあります。デフォルトでは、wget は接続とファイルのダウンロードを 20 回再試行します。必要に応じて --tries を使用して再試行の回数を増やすことができます。

例 9: wget -i を使用して複数のファイルをダウンロードする

注文:

wget -i ファイルリスト.txt

例証します:

まず、ダウンロードリンクファイルを保存します

猫 > ファイルリスト.txt

URL1

URL2

URL3

URL4

次に、このファイルとパラメータ -i を使用してダウンロードします

例 10: wget –mirror を使用して Web サイトをミラーリングする

注文:

wget --mirror -p --convert-links -P ./ローカル URL

例証します:

Web サイト全体をローカルにダウンロードします。

–miror: アカウント開設ミラーのダウンロード

-p: HTML ページを通常表示するためのすべてのファイルをダウンロードします。

–convert-links: ダウンロード後、ローカルリンクに変換します。

-P ./LOCAL: すべてのファイルとディレクトリをローカルの指定されたディレクトリに保存します

例 11: wget –reject を使用して、指定された形式のダウンロードをフィルタリングする

命令:
wget --reject=gif ur

例証します:

Web サイトをダウンロードするが、画像はダウンロードしたくない場合は、次のコマンドを使用できます。

例 12: wget -o を使用してダウンロード情報をログ ファイルに保存する

注文:

wget -o download.log URL

例証します:

ダウンロード情報を端末に直接表示せず、ログファイルに表示したい場合は、次のようにします。

例 13: wget -Q を使用してダウンロード ファイルの合計サイズを制限する

注文:

wget -Q5m -i ファイルリスト.txt

例証します:

ダウンロードしたいファイルが5Mを超えてダウンロードを中止した場合でもご利用いただけます。注: このパラメータは単一ファイルのダウンロードでは機能せず、再帰的ダウンロードでのみ有効です。

例 14: wget -r -A を使用して、指定した形式のファイルをダウンロードする

注文:

wget -r -A.pdf URL

例証します:

この機能は次の状況で使用できます。

Web サイトのすべての画像をダウンロードする

Web サイトのすべてのビデオをダウンロードする

Web サイトのすべての PDF ファイルをダウンロードする

例 15: wget を使用した FTP ダウンロード

注文:

wget ftp-url

wget --ftp-user=USERNAME --ftp-password=PASSWORD URL

例証します:

FTP リンクからのダウンロードは、wget を使用して実行できます。

wget を使用した匿名 FTP ダウンロード:

wget ftp-url

wget ユーザー名とパスワード認証を使用した FTP ダウンロード

wget --ftp-user=USERNAME --ftp-password=PASSWORD URL

備考: コンパイルとインストール

次のコマンドを使用してコンパイルしてインストールします。 

# tar zxvf wget-1.9.1.tar.gz 

# cd wget-1.9.1 

# 。/構成、設定 

# 作る 

# インストールを行う 

おすすめ

転載: blog.csdn.net/m0_64560763/article/details/130675511
おすすめ