版权声明:欢迎转载请注明转自方辰昱的博客https://blog.csdn.net/viafcccy https://blog.csdn.net/viafcccy/article/details/85221752
在一个新闻站点或者绚丽的网页会有许多id和class 我们可以通过观察来看到我们需要的信息在那些id和class下
但是这里介绍两种快速便捷的方法
第一种使用谷歌浏览器自带的开发者工具
或者安装infolite插件安装方法看这篇https://blog.csdn.net/viafcccy/article/details/85221588
点击打开infolite工具
直接点击需要的位置就可出现相应的语句
可以看到红色的和我们需要的不一样是广告
我们通过观察可以发现
我们使用这两个工具 就可以快速爬取指定的标签
impot requests
from bs4 import BeautifulSoup
res = requests.get('url')
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')
for news in soup.select('.类的名称'):
if len(news.select('标签名称')) > 0:
变量名 = news.select('.类名称/标签名')[0].text
print(变量名)