从零开始写Python爬虫 --- 1.4 爬取生活大爆炸百度贴吧内容

经过前面几章的学习，我们开始真正意义上的爬虫了。

爬取目标

本次我们要爬取的网站是：百度贴吧，具体贴吧是生活大爆炸吧。

贴吧地址 :

https://tieba.baidu.com/f?kw=%E7%94%9F%E6%B4%BB%E5%A4%A7%E7%88%86%E7%82%B8&ie=utf-8

Python版本 : 3.6.2（建议用python3最好）
浏览器版本： Chrome

目标分析

从网上爬下特定页码的网页
对于爬下的页面内容进行简单的筛选分析
找到每一篇帖子的标题、发帖人、日期、楼层、以及跳转链接
将结果保存到文本。

前期准备

看到贴吧的url地址是不是觉得很乱？有那一大串认不得的字符？其实这些都是中文字符，

%E7%94%9F%E6%B4%BB%E5%A4%A7%E7%88%86%E7%82%B8

在编码之后就是：生活大爆炸。

链接的末尾处：&ie=utf-8 表示该连接采用的是utf-8编码。

由于Python3默认全局采用的就是utf-8编码，所以这里不需要再对编码进行转换。

接着我们翻到贴吧的第二页：

https://tieba.baidu.com/f?kw=%E7%94%9F%E6%B4%BB%E5%A4%A7%E7%88%86%E7%82%B8&ie=utf-8&pn=50

注意到没有，连接的末尾处多了一个参数

&pn=50

这里我们很容易就能猜到，这个参数的与页码的联系：

&pn=0 ：首页
&pn=50：第二页
&pn=100：第三页
&pn=50*n 第n页

50 表示每一页都有50篇帖子。
这下我们就能通过简单的url修改，达到翻页的效果了。

chrome开发工具

要写爬虫，我们一定要会使用开发工具，说起来这个工具是给前端开发人员用的，但是我们可以通过它快速定位我们要爬取的信息，并找到相对应的规律。

右键，检查，打开chrome工具。
在这里插入图片描述
使用模拟点击工具快速定位到一个单独帖子的位置。(左上角的鼠标箭头图标)

我们仔细的观察一下，发现每个帖子的内容都包裹在一个li标签内：

<li class=" j_thread_list clearfix">

这样我们只要快速找出所有的符合规则的标签，在进一步分析里面的内容，最后筛选出数据就可以了。

开始写代码

我们先写出抓取页面内人的函数：
这是前面介绍过的爬取框架，以后我们会经常用到。

import requests 
from bs4 import BeautifulSoup

# 首先我们写好抓取网页的函数
def get_html(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        #这里我们知道百度贴吧的编码是utf-8，所以手动设置的。爬去其他的页面时建议使用：
        # r.endcodding = r.apparent_endconding 
        r.encoding='utf-8'
        return r.text
    except:
        return " ERROR "

接着我们摘取其中的详细信息：

我们来分一下每一个li标签内部的结构：

一个大的li标签内包裹着很多个 div标签
而我们要的信息就在这一个个div标签之内：

# 标题&帖子链接：
<a href="/p/4830198616" title="又重温一遍 第九季  这个侧脸给多少分" target="_blank" class="j_th_tit ">又重温一遍 第九季  这个侧脸给多少分</a>

#发帖人：
<span class="tb_icon_author " title="主题作者: Li欣远" data-field='{&quot;user_id&quot;:836897637}'><i class="icon_author"></i><span class="frs-author-name-wrap"><a data-field='{&quot;un&quot;:&quot;Li\u6b23\u8fdc&quot;}' class="frs-author-name j_user_card " href="/home/main/?un=Li%E6%AC%A3%E8%BF%9C&ie=utf-8&fr=frs" target="_blank">Li欣远</a></span>

#回复数量：
<div class="col2_left j_threadlist_li_left">
<span class="threadlist_rep_num center_text" title="回复">24</span>
</div>

#发帖日期：
 <span class="pull-right is_show_create_time" title="创建时间">2016-10</span>

分析完之后，我们就能很容易的通过soup.find()方法得到我们想要的结果

具体代码的实现：

'''
抓取百度贴吧---生活大爆炸吧的基本内容
爬虫线路： requests - bs4
Python版本： 3.6
OS： mac os 12.12.4
'''

import requests
import time
from bs4 import BeautifulSoup

# 首先我们写好抓取网页的函数


def get_html(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        # 这里我们知道百度贴吧的编码是utf-8，所以手动设置的。爬去其他的页面时建议使用：
        # r.endcodding = r.apparent_endconding
        r.encoding = 'utf-8'
        return r.text
    except:
        return " ERROR "


def get_content(url):
    '''
    分析贴吧的网页文件，整理信息，保存在列表变量中
    '''

    # 初始化一个列表来保存所有的帖子信息：
    comments = []
    # 首先，我们把需要爬取信息的网页下载到本地
    html = get_html(url)

    # 我们来做一锅汤
    soup = BeautifulSoup(html, 'lxml')

    # 按照之前的分析，我们找到所有具有‘ j_thread_list clearfix’属性的li标签。返回一个列表类型。
    liTags = soup.find_all('li', attrs={
    
    'class': ' j_thread_list clearfix'})

    # 通过循环找到每个帖子里的我们需要的信息：
    for li in liTags:
        # 初始化一个字典来存储文章信息
        comment = {
    
    }
        # 这里使用一个try except 防止爬虫找不到信息从而停止运行
        try:
            # 开始筛选信息，并保存到字典中
            comment['title'] = li.find(
                'a', attrs={
    
    'class': 'j_th_tit '}).text.strip()
            comment['link'] = "http://tieba.baidu.com/" + \
                li.find('a', attrs={
    
    'class': 'j_th_tit '})['href']
            comment['name'] = li.find(
                'span', attrs={
    
    'class': 'tb_icon_author '}).text.strip()
            comment['time'] = li.find(
                'span', attrs={
    
    'class': 'pull-right is_show_create_time'}).text.strip()
            comment['replyNum'] = li.find(
                'span', attrs={
    
    'class': 'threadlist_rep_num center_text'}).text.strip()
            comments.append(comment)
        except:
            print('出了点小问题')

    return comments


def Out2File(dict):
    '''
    将爬取到的文件写入到本地
    保存到当前目录的 TTBT.txt文件中。

    '''
    with open('TTBT.txt', 'a+') as f:
        for comment in dict:
            f.write('标题： {} \t 链接：{} \t 发帖人：{} \t 发帖时间：{} \t 回复数量： {} \n'.format(
                comment['title'], comment['link'], comment['name'], comment['time'], comment['replyNum']))

        print('当前页面爬取完成')


def main(base_url, deep):
    url_list = []
    # 将所有需要爬去的url存入列表
    for i in range(0, deep):
        url_list.append(base_url + '&pn=' + str(50 * i))
    print('所有的网页已经下载到本地！ 开始筛选信息。。。。')

    #循环写入所有的数据
    for url in url_list:
        content = get_content(url)
        Out2File(content)
    print('所有的信息都已经保存完毕！')


base_url = 'http://tieba.baidu.com/f?kw=%E7%94%9F%E6%B4%BB%E5%A4%A7%E7%88%86%E7%82%B8&ie=utf-8'
# 设置需要爬取的页码数量
deep = 3

if __name__ == '__main__':
    main(base_url, deep)

代码里有详细的注释和思路，看不懂的话多看几遍
好了今天的文章到这里就结束了。