python selenium webdriver 返回中文,显示,存储文件

win10, python3.6.5, selenium3.141.0, chrome 83.0.4103.61

说明:

参考了很多帖子寻找线索,谢谢各位。

现象:

访问wenku页面,看返回内容时,中文显示有问题(字符串格式显示,gbk各种编码错误;字节格式显示时,\x8e类代替汉字),储存到文件时有问题(中文显示不正常)。

(学习用。后续再多次访问时,会按照人工访问的时间间隔访问)

办法:

概括: 显示时,用 io 更改输出设定;

写入文件时,用bytes 格式写入文件(再电脑文本类软件打开时中文显示正常)。以字符串格式写入文件,暂没办法搞定中文。

参考:

from selenium import webdriver
import time
import sys
import io

#更改系统显示设置
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')

#测试网页
url='https://wk.baidu.com/view/0caacb1e964bcf84b9d57be8?pcf=2'

#尝试增加表头(未完成)
options=webdriver.ChromeOptions()
options.add_argument('User-Agent="Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Mobile Safari/537.36" ')
driver1=webdriver.Chrome(options=options)

#访问网页
driver1.get(url)

#返回内容
pagesource=driver1.page_source

#显示内容
print('pagesource:', pagesource, flush=True)

#存入文件
with open('pagesource.txt', 'wb') as f:
    f.write(pagesource.encode('utf8'))

猜你喜欢

转载自blog.csdn.net/seeker3/article/details/106479696
今日推荐