脚本语言使用记录(wget和curl下载文件对比)

Table of Contents

wget

curl


wget

经常会使用到下载一些文件,比较常用的命令是wget

格式为:wget+下载链接,例如下载VOC2007到当前目录:

wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar

比较值得记录的wget可以带的参数:

断点续传:

当文件特别大或者网络特别慢的时候,往往一个文件还没有下载完,连接就已经被切断,此时就需要断点续传。wget的断点续传是自动的,只需要使用-c参数,例如:

wget -c http://the.url.of/incomplete/file

使用断点续传要求服务器支持断点续传。-t参数表示重试次数,例如需要重试100次,那么就写-t 100,如果设成-t 0,那么表示无穷次重试,直到连接成功。-T参数表示超时等待时间,例如-T 120,表示等待120秒连接不上就算超时。

批量下载:
如果有多个文件需要下载,那么可以生成一个文件,把每个文件的URL写一行,例如生成文件download.txt,然后用命令:wget -i download.txt
这样就会把download.txt里面列出的每个URL都下载下来。(如果列的是文件就下载文件,如果列的是网站,那么下载首页)
密码和认证:
wget只能处理利用用户名/密码方式限制访问的网站,可以利用两个参数:
–http-user=USER设置HTTP用户
–http-passwd=PASS设置HTTP密码
对于需要证书做认证的网站,就只能利用其他下载工具了,例如curl。(这就是为什么很多使用curl命令)

curl

curl使用格式:

curl -LO http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar

可以通过curl -h查看参数详情,注意系统默认没有安装curl ,因此在使用前需要安装:

sudo apt install curl

猜你喜欢

转载自blog.csdn.net/qq_33547191/article/details/88220199