プロキシIPを初めて使用する多くの友人は、そのような疑問を抱くでしょう。クローラーまたは収集ソフトウェアでプロキシを構成した後、プロキシIPが正常に使用されたかどうかを判断する方法は？黙示録IPが教えてくれます！
実際、プロキシIPを使用してブラウザでBaidu IPを検索するか、IPアドレスを照会するWebサイトを利用してhttps://www.ip138.comにアクセスできます。このタイプのWebサイトは、HTTP要求のソースIPを取得し、HTTPコンテンツを介して返します。プロキシIPが正常に転送された場合、ターゲットWebサイトから返されるコンテンツはプロキシIPアドレスである必要があります。一般的に次の状況があります。
1.プロキシによる直接転送
返されたIPアドレスをBaiduIPまたはhttps://www.ip138.comにコピーして、クローラーサーバーのIPアドレスであるかどうかを確認します。これは、プロキシIP転送が失敗したことを意味し、そうでない場合は、プロキシIP転送が成功したことを意味します。
2.プロキシは複数回転送します
クエリIPアドレスのWebサイトから返されるコンテンツは、クローラーサーバーのIPアドレスでも、クローラーまたは収集ソフトウェアで直接使用されるプロキシIPアドレスでもありませんが、プロキシIPによって転送された後、最終的にWebサイトのプロキシIPアドレスが要求されます。複数回。
3.プロキシ自動転送
一部のプロキシIP製品は、クローラーまたは収集ソフトウェアの各HTTP要求に応じて、転送用に異なるプロキシIPを自動的に割り当てます。また、各クエリによって取得されるIPアドレスは異なるため、データ収集の過程でブレークスルーを行うことができます。ターゲットWebサイトのIP制限動作。より複雑な状況になることに注意してください。一部のIPクエリWebサイトは、Cookieやその他の情報に従って返されたコンテンツを直接キャッシュします。プロキシIPがリクエストごとに異なるIPを転送する場合でも、このタイプのIPクエリWebサイトはまた、重複するIPアドレスを返します。プロキシIPの自動転送が失敗したように見えるため、次のデモ例を以下に示します。
パッケージメイン
import (
"net/url"
"net/http"
"bytes"
"fmt"
"io/ioutil"
)
// 代理服务器(产品官网 www.16yun.cn)
const ProxyServer = "t.16yun.cn:31111"
type ProxyAuth struct {
Username string
Password string
}
func (p ProxyAuth) ProxyClient() http.Client {
var proxyURL *url.URL
if p.Username != ""&& p.Password!="" {
proxyURL, _ = url.Parse("http://" + p.Username + ":" + p.Password + "@" + ProxyServer)
}else{
proxyURL, _ = url.Parse("http://" + ProxyServer)
}
return http.Client{Transport: &http.Transport{Proxy:http.ProxyURL(proxyURL)}}
}
func main() {
targetURI := "https://httpbin.org/ip"
// 初始化 proxy http client
client := ProxyAuth{"username", "password"}.ProxyClient()
request, _ := http.NewRequest("GET", targetURI, bytes.NewBuffer([] byte(``)))
// 设置Proxy-Tunnel
// rand.Seed(time.Now().UnixNano())
// tunnel := rand.Intn(10000)
// request.Header.Set("Proxy-Tunnel", strconv.Itoa(tunnel) )
response, err := client.Do(request)
if err != nil {
panic("failed to connect: " + err.Error())
} else {
bodyByte, err := ioutil.ReadAll(response.Body)
if err != nil {
fmt.Println("读取 Body 时出错", err)
return
}
response.Body.Close()
body := string(bodyByte)
fmt.Println("Response Status:", response.Status)
fmt.Println("Response Header:", response.Header)
fmt.Println("Response Body:\n", body)
}
}