wget使用

wget是一个从网络上自动下载文件的自由工具,支持通过HTTP、HTTPS、FTP三个最常见的 TCP/IP协议下载,并可以使用HTTP代理。
wget命令的参数非常多,想要记住基本不可能,要用的时候直接RTFM吧

wget 镜像网站

wget  --mirror -w 2 --html-extension  --convert-links -P /xxx/xxx/xxx http://...


利用上面的命令就可以在本地创建一个网站的镜像了。

--mirror : 给网站建立本地镜像,wget会递归跟踪网站上 的链接,下载所有需要的文件。默认情况下,只会下载上次镜像操作后有更新的文件,以免做无用功。

--html-extension:很多网站使用非html的文件扩展名。这个选项将这些文件扩展名改为HTML

--convert-links:把页面上所有的链接转为本地链接,以免因为页面上有指向绝对URI的链接而导致页面无法使用。

-P /xxx/xxx/xxx:指定本地保存目录。

http://...:你要镜像的网址

下面是一些常用技巧

  • $ wget -r -np -nd http://example.com/packages/

这条命令可以下载 http://example.com 网站上 packages 目录中的所有文件。其中,-np 的作用是不遍历父目录,-nd 表示不在本机重新创建目录结构。

  • $ wget -r -np -nd --accept=iso http://example.com/centos-5/i386/

与上一条命令相似,但多加了一个 --accept=iso 选项,这指示 wget 仅下载 i386 目录中所有扩展名为 iso 的文件。你也可以指定多个扩展名,只需用逗号分隔即可。

  • $ wget -i filename.txt

此命令常用于批量下载的情形,把所有需要下载文件的地址放到 filename.txt 中,然后 wget 就会自动为你下载所有文件了。

  • $ wget -c http://example.com/really-big-file.iso

这里所指定的 -c 选项的作用为断点续传。

  • $ wget -m -k (-H) http://www.example.com/

该命令可用来镜像一个网站,wget 将对链接进行转换。如果网站中的图像是放在另外的站点,那么可以使用 -H 选项。


 



发布了58 篇原创文章 · 获赞 3 · 访问量 8万+

猜你喜欢

转载自blog.csdn.net/lldustc/article/details/8452770