隧道HTTP在数据抓取中的运用

数据抓取通常使用HTTP协议进行数据传输。HTTP是一种应用层协议，用于在Web浏览器和Web服务器之间传输数据。它是一个客户端-服务器协议，客户端向服务器发送请求，服务器向客户端返回响应。HTTP使用TCP作为传输协议，它是一种无状态协议，每个请求和响应之间是独立的。

数据抓取可以使用HTTP协议中的GET和POST方法来获取数据。GET方法用于从服务器获取数据，而POST方法用于向服务器提交数据。在使用GET方法时，数据是通过URL传递的，而在使用POST方法时，数据是通过HTTP请求正文传递的。

数据抓取还可以使用HTTP头来传递信息，例如User-Agent头可以用于模拟不同的浏览器或设备，Referer头可以用于指示请求的来源，Cookie头可以用于传递会话信息等。

总之，HTTP是数据抓取中最常用的协议之一，它提供了一种简单而有效的方式来获取和传输数据。

#! -*- encoding:utf-8 -*-

    import requests

    # 要访问的目标页面
    targetUrl = "http://ip.hahado.cn/ip"

    # 代理服务器
    proxyHost = "ip.hahado.cn"
    proxyPort = "39010"

    # 代理隧道验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }

    resp = requests.get(targetUrl, proxies=proxies)

    print resp.status_code
    print resp.text