序文

こんにちは！みなさん、こんにちは、魔王です〜

開発環境：

Python 3.8
Pycharm

モジュールの使用：

リクエスト>>>pipインストールリクエスト
パーセル>>>pipインストールパーセル

Pythonサードパーティモジュールをインストールする場合：

win + R cmdと入力します[OK]をクリックし、インストールコマンドを入力しますpip install module name（pip install requests）Enter
pycharmのターミナルをクリックしてインストールコマンドを入力します

pycharmでPythonインタープリターを設定するにはどうすればよいですか？

ファイルの選択>>>設定>>>プロジェクト>>>pythonインタープリター（pythonインタープリター）
歯車をクリックし、追加を選択します
Pythonインストールパスを追加します

pycharmはどのようにプラグインをインストールしますか？

ファイルの選択>>>設定>>>プラグイン
マーケットプレイスをクリックして、インストールするプラグインの名前を入力します。例：翻訳プラグイン入力翻訳/中国語プラグイン入力中国語
対応するプラグインを選択し、[インストール]をクリックします。
インストールが成功すると、pycharmを再起動するオプションがポップアップ表示され、[OK]をクリックして、再起動して有効にします。

プロキシIP構造

proxies_dict = {
    
    
    "http": "http://" + ip:端口,
    "https": "http://" + ip:端口,
}

アイデア：

1.データソース分析

必要なデータの内容を見つけます。それはどこから来たのですか。

2.コードの実装手順：

リクエストの送信、宛先URLのリクエストの送信
データを取得し、サーバーに応答データ（Webページのソースコード）を返すように取得します
データを解析し、必要なデータコンテンツを抽出します
データの保存、ミュージックビデオのローカルcsvデータベースのクロール…IP検出、IPプロキシが使用可能かどうかの検出、IPプロキシでの保存

from import from
import
import what method from what module
from xxx import *＃すべてのメソッドをインポートします

コード

# 导入数据请求模块
import requests  # 数据请求模块 第三方模块 pip install requests
# 导入 正则表达式模块
import re  # 内置模块
# 导入数据解析模块
import parsel  # 数据解析模块 第三方模块 pip install parsel  >>> 这个是scrapy框架核心组件


lis = []
lis_1 = []

# 1. 发送请求, 对于目标网址发送请求 https://www.kuaidaili.com/free/
for page in range(11, 21):
    url = f'https://www.kuaidaili.com/free/inha/{
    
    page}/'  # 确定请求url地址
    """
    headers 请求头 作用伪装python代码
    """
    # 用requests模块里面get 方法 对于url地址发送请求, 最后用response变量接收返回数据
    response = requests.get(url)
    # <Response [200]>  请求之后返回response响应对象, 200状态码表示请求成功
    # 2. 获取数据, 获取服务器返回响应数据(网页源代码)  response.text 获取响应体文本数据
    # print(response.text)
    # 3. 解析数据, 提取我们想要的数据内容
    """
    解析数据方式方法:
        正则: 可以直接提取字符串数据内容
    需要把获取下来html字符串数据 进行转换
        xpath: 根据标签节点 提取数据内容
        css选择器: 根据标签属性提取数据内容 
        
        哪一种方面用那种, 那是喜欢用那种
    """
    # 正则表达式提取数据内容
    """
    # 正则提取数据 re.findall() 调用模块里面的方法
    # 正则 遇事不决 .*? 可以匹配任意字符(除了换行符\n以外) re.S
    
    ip_list = re.findall('<td data-title="IP">(.*?)</td>', response.text, re.S)
    port_list = re.findall('<td data-title="PORT">(.*?)</td>', response.text, re.S)
    print(ip_list)
    print(port_list)
    """
    # css选择器:
    """
    # css选择器提取数据 需要把获取下来html字符串数据(response.text) 进行转换
    # 我不会css 或者 xpath 怎么办
    # #list > table > tbody > tr > td:nth-child(1)
    # //*[@id="list"]/table/tbody/tr/td[1]
    selector = parsel.Selector(response.text) # 把html 字符串数据转成 selector 对象
    ip_list = selector.css('#list tbody tr td:nth-child(1)::text').getall()
    port_list = selector.css('#list tbody tr td:nth-child(2)::text').getall()
    print(ip_list)
    print(port_list)
    """
    # xpath 提取数据
    selector = parsel.Selector(response.text) # 把html 字符串数据转成 selector 对象
    ip_list = selector.xpath('//*[@id="list"]/table/tbody/tr/td[1]/text()').getall()
    port_list = selector.xpath('//*[@id="list"]/table/tbody/tr/td[2]/text()').getall()
    # print(ip_list)
    # print(port_list)
    for ip, port in zip(ip_list, port_list):
        # print(ip, port)
        proxy = ip + ':' + port
        proxies_dict = {
    
    
            "http": "http://" + proxy,
            "https": "http://" + proxy,
        }
        # print(proxies_dict)
        lis.append(proxies_dict)
        # 4.检测IP质量
        try:
            response = requests.get(url=url, proxies=proxies_dict, timeout=1)
            if response.status_code == 200:
                print('当前代理IP: ', proxies_dict,  '可以使用')
                lis_1.append(proxies_dict)
        except:
            print('当前代理IP: ', proxies_dict,  '请求超时, 检测不合格')



print('获取的代理IP数量: ', len(lis))
print('获取可用的IP代理数量: ', len(lis_1))
print('获取可用的IP代理: ', lis_1)

dit = {
    
    
    'http': 'http://110.189.152.86:40698',
    'https': 'http://110.189.152.86:40698'
}

ここに画像の説明を挿入

ビデオチュートリアル

IPがブロックされています！！続行するエージェントをお探しですか？無料のIPを収集し、それが利用可能かどうかをテストするように教えてください〜

エピローグ

さて、私のこの記事はここで終わります！

他にご提案やご質問がございましたら、お気軽にコメントまたはプライベートメッセージをお送りください。一緒に頑張りましょう（ง•_•）ง

気に入ったらブロガーをフォローするか、私の記事を気に入ってコメントしてください！！！

Pythonはどのようにして独自のIPプールを作成しますか？この記事はあなたに教えます〜

序文