小爬虫demo——爬取“妹子”等网站链接____使用requests库

# 文章分为三个部分：1. po代码；2. 提示运行过程中的一些细节和需要改进的地方； 3. 常规送福利

# 文章将持续完善和补充

# 欢迎拍砖、交流、指正

第一部分：Po 代码：

import re
import requests

key = input("请输入爬虫key：")
page = int(input("请输入爬取页数："))


def baidu_spider(key, page):
    url = "https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&rsv_pq=97c316e30000cd79&rsv_t=939fKvQC%2FyNI%2FfqG%2FHRyaxtV2ZNUqwqZR%2BbBbqi2U%2BdCyjUZZ2o6mib%2FFLc&rqlang=cn&rsv_enter=1&rsv_sug3=15&rsv_sug1=4&rsv_sug7=100&rsv_sug2=0&inputT=2096&rsv_sug4=3218"
    headers = {
        "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Mobile Safari/537.36"
    }
    fb = open("%s.txt" % key, "w")
    for i in range(page):

        data = {
            'wd': key,
            'pn': i * 10
        }
        response = requests.get(url, headers=headers, params=data, timeout=10)
        html = response.text
        urls = re.findall(r'<div class="result c-container ".*?"(http://www.baidu.com/link\?url=.*?)".*?</div>', html,
                          re.S)
        for b_url in urls:
            res = requests.get(b_url, headers=headers)
            print(res.url)
            fb.write(res.url)
            fb.write("\n")
    fb.close()


# 调用函数

baidu_spider(key, page)

第二部分：细节和改进

1.打开和关闭文件的操作，不要写入循环内部，否则会造成反复打开文件，造成CPU和内存浪费；

2.写爬虫的过程是一个从简单到逐步复杂的过程，需要不断地调试，除了使用Pycharm地断点调试外，还经常在程序运行过程中，添加 print（“*”* 20）类似这样地方法。

3.最里层的for循环问题，就在我上一篇文章中有提到，这里之前写的过程中误写成：

for url in urls:

造成第一页有用网址全部爬完之后，后面作为response的参数，再次反复传入，导致后面网址没法再度爬取。

4.第一次爬去的链接不是最终指向的url，所以demo中用了两次requests.get()方法。

5.整体代码不多，而且requests库非常“傻瓜式"操作，但是实际写的过程中还是会遇到各种小细节，远不止写出来的这么多。总之，爬虫是需要不断地优化，不断地调试地。

6.示例：

爬取的部分网页：

第三部分：常规送个福利

1.其实不是你们想要的那种福利，我是纯洁好少年。真正的福利是如何学习正则表达式：

----不要急于求成，记住一些常规的就够用，不常用的需要的时候搜索一下即可。

----过完几遍基础后，不断地练习，再练习中不断地理解记忆。

----网上搜一些经典的正则表达式案例，没事的时候练一练。

注：本文是根据网络直播课（from：潭州教育心蓝老师），自己回忆版，非广告。侵删！

小爬虫demo——爬取“妹子”等网站链接____使用requests库

猜你喜欢