1、request库
import requests
response=request.get(url)
response.content//得到了字节,而不是text
2、beautifulsoup 解析html
3、如果从request得到了文本,如下解析成dataframe
df_list = []
for ebert_review in glob.glob('ebert_reviews/*.txt'):
with open(ebert_review, encoding='utf-8') as file:
title = file.readline()[:-1]
# 这里是你的代码
# 添加到字典列表中
df_list.append({'title': title,
'review_url': review_url,
'review_text': review_text})
df = pd.DataFrame(df_list, columns = ['title', 'review_url', 'review_text'])
4、MediaWiki API
5、处理图片等非文本数据
import requests
from PIL import Image
from io import BytesIO
r = requests.get(url)
i = Image.open(BytesIO(r.content))
6、保存到csv
//第一个参数是路径,第二个参数是不把df的索引显示为csv的列
df.to_csv('dataset.csv', index=False)
4、word_cloud可视化库