利用python爬虫(案例5)--X刺代理的小IP们

学习笔记

---

爬取X刺代理的小IP们

学完代理，我们发现网上找的很多免费代理IP都用不了，所以这里写一个简单的测试小案例，爬取一下某代理IP网站的免费代理IP，再遍历测试到底这些代理IP能不能用，哪些能用。

爬取步骤

获取要爬取的代理IP网站地址(http://www.xicidaili.com/nn/)

爬取页面内所有的代理IP及其端口号

测试代理IP

将可以用的代理IP存在一个csv文件里。

因为这个案例不是很复杂，所以我们就不写怎么查看网页源代码，怎么写Xpath，怎么研究URL特征这些步骤了，直接上代码

python代码

为了节省时间，我只测试了19个代理IP：

# -*- coding: utf-8 -*-

import requests
from lxml import etree
from fake_useragent import UserAgent
import time
import csv

        


class IpSpider:
    def __init__(self):
        self.url = 'http://www.xicidaili.com/nn/'
    
    def get_ua(self):
        return UserAgent().random
    
    def get_page(self):
        headers = {'User-Agent':self.get_ua()}
        res = requests.get(self.url, headers = headers)
        html = res.content.decode('utf-8')
        
        print('url:', res.url)
        print('code:', res.status_code)
        #print(html)
        self.get_ip_list(html)
        
        
    def get_ip_list(self, html):
        html_parse = etree.HTML(html)
        xpath = '//table[@id="ip_list"]//tr'
        r_list = html_parse.xpath(xpath)
        #print(r_list)
        
        proxy_list = []
        
        for p in r_list[1:20]:
            my_ip = p.xpath('./td[2]/text()')[0]
            my_port = p.xpath('./td[3]/text()')[0]
            #print('代理IP:', my_ip)
            proxy_list.append(
                {'http':'http://{}:{}'.format(my_ip, my_port), 
                'https':'https://{}:{}'.format(my_ip, my_port)})
        
        self.test_ip(proxy_list)
    
    def test_ip(self, proxy_list):
        
        useful_proxy = []
        
        for proxy in proxy_list:
            print(proxy)
            headers = {'User-Agent':self.get_ua()}
            
            try:
                
                res = requests.get(self.url, 
                                   headers = headers,
                                   proxies = proxy,
                                   timeout = 4)
                #如果请求超过3秒没有相应则默认该代理不能用
                
            except Exception as e:
                print('此代理IP无法使用......')
                
            else:
                useful_proxy.append(proxy)
                print(proxy)
        
        self.write_ip(useful_proxy)
            
    def write_ip(self, proxy_list):
        
        with open('./test/my_test_proxy.csv', 'w', newline = '') as f:
            writer = csv.writer(f)
            writer.writerow(['http', 'https'])
            for item in proxy_list:
                 writer.writerow([item['http'], item['https']])
        
        
    def main(self):
        self.get_page()

        

if __name__ == '__main__':
    start = time.time()
    spider = IpSpider()
    spider.main()
    end = time.time()
    print('执行时间:%.2f' % (end-start))
    

部分结果：

此代理IP无法使用......
{'http': 'http://111.231.239.143:1081', 'https': 'https://111.231.239.143:1081'}
此代理IP无法使用......
{'http': 'http://115.223.64.38:8010', 'https': 'https://115.223.64.38:8010'}
此代理IP无法使用......
执行时间:70.16

可用的代理IP

我们打开存放可用代理IP的csv文件，看一下有哪些IP:

http,https
http://125.126.117.30:60004,https://125.126.117.30:60004
http://125.126.113.184:60004,https://125.126.113.184:60004
http://112.16.217.191:808,https://112.16.217.191:808

---

好了，这个小案例完结…