数据抓取为何要使用HTTP隧道

HTTP隧道是一种在HTTP协议下建立起来的TCP连接，可以将其他协议的数据通过HTTP协议进行传输。在数据抓取中，使用HTTP隧道可以绕过一些网络限制和防火墙，使得数据抓取更加稳定和高效。具体来说，使用HTTP隧道可以实现以下几个方面的优势：

1. 绕过网络限制：有些网络环境下，某些端口被禁止访问，使用HTTP隧道可以将数据通过HTTP协议的80端口进行传输，从而绕过这些限制。

2. 绕过防火墙：有些防火墙会对一些协议进行屏蔽，使用HTTP隧道可以将数据伪装成HTTP协议的数据，从而绕过防火墙的检测。

3. 加密传输：使用HTTP隧道可以将数据进行加密传输，提高数据传输的安全性。

4. 提高稳定性：使用HTTP隧道可以避免一些网络环境下的连接中断和数据丢失问题，提高数据抓取的稳定性。

总之，使用HTTP隧道可以使得数据抓取更加稳定、高效和安全，是数据抓取中常用的技术手段之一。

#! -*- encoding:utf-8 -*-

    import requests

    # 要访问的目标页面
    targetUrl = "http://ip.hahado.cn/ip"

    # 代理服务器
    proxyHost = "ip.hahado.cn"
    proxyPort = "39010"

    # 代理隧道验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }

    resp = requests.get(targetUrl, proxies=proxies)

    print resp.status_code
    print resp.text