嗨喽,大家好呀~
又到了学Python时刻~
知识点介绍:
-
爬虫基本思路流程
-
requests模块的使用
-
pandas保存表格数据
-
pyecharts做词云图可视化
环境介绍:
-
python 3.8
-
pycharm
-
requests >>> pip install requests
-
pyecharts >>> pip install pyecharts
代码实现:
- 发送请求
- 获取数据
- 解析数据
- 保存数据
import requests # 发送请求 第三方模块 import csv
with open('弹幕.csv', encoding='utf-8-sig', mode='a', newline='') as f: csv_writer = csv.writer(f) csv_writer.writerow(['commentid', 'opername', 'content'])
# 伪装 headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36' }
1. 发送请求
response = requests.get(url=url, headers=headers)
<Response [200]>: 请求成功
2. 获取数据
从一个字符串 变成了一个 字典 (容器)
json_data = response.json()
3. 解析数据
新华字典 = {‘键1’: {‘键5’: ‘值5’},‘键2’: ‘值2’,‘键3’: ‘值3’}
新华字典[‘键1’][‘键5’]
a = [1,3,5,7,9]: 列表 数据容器
a[2]
for comment in json_data['comments']: commentid = comment['commentid'] opername = comment['opername'] content = comment['content'] with open('弹幕.csv', encoding='utf-8-sig', mode='a', newline='') as f: csv_writer = csv.writer(f) csv_writer.writerow([commentid, opername, content])
感谢你观看我的文章呐~本次航班到这里就结束啦
希望本篇文章有对你带来帮助 ,有学习到一点知识~
躲起来的星星也在努力发光,你也要努力加油(让我们一起努力叭)。
最后,博主要一下你们的三连呀(点赞、评论、收藏),不要钱的还是可以搞一搞的嘛~
不知道评论啥的,即使扣个6666也是对博主的鼓舞吖 感谢