【CentOS7】使用命令行访问网站的工具cURL

【CentOS7】使用命令行访问网站的工具cURL


简介 

curl 是瑞典 curl 组织开发的,您可以访问: http://curl.haxx.se/
获取它的源代码和相关说明。

支持很多协议:

FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP。

curl 同样支持 HTTPS 认证,HTTP POST 方法, HTTP PUT 方法, FTP 上传, kerberos 认证, HTTP 上传, 代理服务器, cookies, 用户名/密码认证, 下载文件断点续传, 上载文件断点续传, http 代理服务器管道( proxy tunneling), 甚至它还支持 IPv6, socks5 代理服务器, 通过 http 代理服务器上传文件到 FTP 服务器等等,功能十分强大。

访问网页

使用命令:

curl http://curl.haxx.se

这是最简单的使用方法。
用这个命令获得了 http://curl.haxx.se 指向的页面,同样,如果这里的 URL 指向的是一个文件或者一幅图都可以直接下载到本地。
如果下载的是 HTML 文档,那么缺省的将不显示文件头部,即 HTML 文档的 header。
要全部显示,请加参数 -i,要只显示头部,用参数 -I。
任何时候,可以使用 -v 命令看 curl 是怎样工作的,它向服务器发送的所有命令都会显示出来。
为了断点续传,可以使用 -r 参数来指定传输范围。

表单(Form)的获取 

在 WEB 页面设计中,form 是很重要的元素。

Form 通常用来收集并向网站提交信息。提交信息的方法有两种,GET 方法和 POST 方法。

###

先讨论 GET 方法,例如在页面中有这样一段:
<form  method="GET" action="junk.cgi">
<input type=text  name="birthyear">
<input type=submit name=press  value="OK">
</form>
那么浏览器上会出现一个文本框和一个标为“OK”的按钮。
按下这个按钮,表单就用 GET 方法向服务器提交文本框的数据。
例如原始页面是在 www.hotmail.com/when/birth.html 看到的,然后您在文本框中输入 1905,然后按 OK 按钮,
这时浏览器的 URL 现在应该是:“www.hotmail.com/when/junk.cgi?birthyear=1905&press=OK”
对于这种网页,curl 可以直接处理,例如想获取上面的网页,只要输入:

curl "www.hotmail.com/when/junk.cgi?birthyear=1905&press=OK"

就可以了。

###

表单用来提交信息的第二种方法叫做 POST 方法,
POST 方法和 GET 方法的区别在于 GET 方法使用的时候,浏览器中会产生目标 URL,而 POST 不会。
类似 GET,这里有一个网页:
<form  method="POST" action="junk.cgi">
<input type=text  name="birthyear">
<input type=submit name=press  value="OK">
</form>
浏览器上也会出现一个文本框和一个标为“OK”的按钮。
按下这个按钮,表单用 POST 方法向服务器提交数据。

这时的 URL 是看不到的,因此需要使用特殊的方法来抓取这个页面:

curl -d "birthyear=1905&press=OK" www.hotmail.com/when/junk.cgi

这个命令就可以做到。

1995年年末,RFC  1867 定义了一种新的 POST 方法,用来上传文件。
主要用于把本地文件上传到服务器。
此时页面是这样写的:
<form method="POST"  enctype='multipart/form-data' action="upload.cgi">
<input type=file  name=upload>
<input type=submit name=press  value="OK">
</form>

对于这种页面,curl 的用法不同:
curl -F upload=@localfilename -F press=OK  URL

这个命令的实质是将本地的文件用 POST 上传到服务器。
有关 POST 还有不少用法,用户可以自己摸索。

使用 PUT 方法 

使用 PUT 方法

HTTP 协议文件上传的标准方法是使用 PUT,此时 curl 命令使用 -T 参数:
curl -T uploadfile www.uploadhttp.com/receive.cgi

其他方法,省略……

发布了35 篇原创文章 · 获赞 4 · 访问量 5421

猜你喜欢

转载自blog.csdn.net/qu6zhi/article/details/105173304