python爬虫错误之json.dumps()方法产生中文乱码问题解决方法

json.dumps()方法是将字典型数据转化成字符串型数据,而json.dumps ()方法对中文默认使用的ascii编码.如果要输出中文需要指定ensure_ascii=False:具体猫眼电影程序如下:
可能各位在爬取猫眼程序时会出现错误:这里写图片描述
这可能是猫眼电影的反爬虫,不过等一段时间再去爬就可以了。

import requests
import re
import json
from requests.exceptions import RequestException


def get_one_page(url, headers):
    try:
        response = requests.get(url, headers)
        if response.status_code == 200:
            return response.text
    except RequestException:
        return None


def parse_one_page(html):
    pattern = re.compile('<dd>.*?<p class="name"><a.*?>(.*?)</a>.*?</p>.*?<p.*?class="star">(.*?)</p>.*?<p.*?class="releasetime">(.*?)</p>.*?</dd>',re.S)
    items = re.findall(pattern,html)
    #print(items)
    for item in items:
            yield {
                'name':item[0],
                'actor':item[1].strip()[3:],
                'time':item[2].strip()[5:]
            }
        # 构造成一个字典
# Python strip() 方法用于移除字符串头尾指定的字符(默认为空格或换行符)或字符序列。
# 注意:该方法只能删除开头或是结尾的字符,不能删除中间部分的字符。
def write_file(content):
    with open('maoyan.txt','a',encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False)+'\n')   # 将字典类型转化成字符串类型
# json.dumps()函数的使用将字典类型的数据转化成字符串类型的数据
#
def main():
    url = 'http://maoyan.com/board/1/?'
    headers = {
        'User - Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'}
    html = get_one_page(url=url, headers=headers)
    for item in parse_one_page(html):
        print(item)
        write_file(item)

if __name__ == '__main__':
     main()


# import requests
# headers = {
# 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'
#  }
# response = requests.get('http://maoyan.com/board/4',headers=headers)
# print(response.text)

猜你喜欢

转载自blog.csdn.net/qq_40605167/article/details/81333455