Python——爬取豆瓣电影信息并存储数据库

由于要存储数据库的关系，所以需在本地先建立一个名为“pachong”的数据库：
建立以后，终端执行命令：pip install pymysql

导入Pymysql

豆瓣网网址： https://movie.douban.com/top250?start=0&filter=
分析网址'?'符号后的参数，第一个参数'start=0'，这个代表页数，‘=0’时代表第一页，‘=25’代表第二页。。。
直接上代码:

# python爬取豆瓣top250电影信息

import pymysql
import requests
import re


# 获取资源并下载
def resp(listURL):
    # 连接数据库
    conn = pymysql.connect(
        host='127.0.0.1',
        port=3306,
        user='root',
        password='root',  # 数据库密码请根据自身实际密码输入
        database='pachong',
        charset='utf8'
    )

    # 创建数据库游标
    cursor = conn.cursor()

    # 创建列表t_movieTOP250（执行sql语句）
    cursor.execute(
        'create table t_movieTOP250(id INT PRIMARY KEY                                              auto_increment NOT NULL ,movieName VARCHAR(20) NOT NULL                                     ,pictrue_address VARCHAR(100))')

    try:
        # 爬取数据
        for urlPath in listURL:
            # 获取网页源代码
            response = requests.get(urlPath)
            html = response.text

            # 正则表达式
            namePat = r'alt="(.*?)" src='
            imgPat = r'src="(.*?)" class='

            # 匹配正则（排名【用数据库中id代替，自动生成及排序】、电影名、电影海报（图片地址））
            res2 = re.compile(namePat)
            res3 = re.compile(imgPat)
            textList2 = res2.findall(html)
            textList3 = res3.findall(html)

            # 遍历列表中元素,并将数据存入数据库
            for i in range(len(textList3)):
                cursor.execute(
                    'insert into t_movieTOP250(movieName,pictrue_address)                                   VALUES("%s","%s")' % (
                    textList2[i], textList3[i]))

        # 从游标中获取结果
        cursor.fetchall()

        # 提交结果
        conn.commit()
        print("结果已提交")

    except Exception as e:
        # 数据回滚
        conn.rollback()
        print("数据已回滚")

    # 关闭数据库
    conn.close()


# top250所有网页网址
def page(url):
    urlList = []
    for i in range(10):
        num = str(25 * i)
        pagePat = r'?start=' + num + '&filter='
        urL = url + pagePat
        urlList.append(urL)
    return urlList


if __name__ == '__main__':
    url = r"https://movie.douban.com/top250"
    listURL = page(url)
    resp(listURL)

执行一看：

抓取结果

成功！