python 爬虫 搜狗词库

完整版代码github地址:https://github.com/Monster2848/sougou_dic_spider

目标网站
在这里插入图片描述

下面有分类
在这里插入图片描述
点进 社会科学–金融保险分类
在这里插入图片描述
我们需要获取的数据是 词库标题 和 词库文件地址
在这里插入图片描述
通过查看请求发现这个网页并没有被加密
在这里插入图片描述
直接get请求就可以获得完整网页
在这里插入图片描述
然后要做的就是找到 标题元素 和 立即下载元素 提取 内容 和 url
在这里插入图片描述
写一下xpath 匹配规则
在这里插入图片描述
将爬到的内容保存到文件
在这里插入图片描述

以上是从官网爬取的方法
但是如果想要获取完整词库的话推荐去这个网站:http://wubi.sogou.com/dict/list.php?
这个网站更新的蛮快,并且没有设置分类限制,更容易获取数据

发布了66 篇原创文章 · 获赞 26 · 访问量 4万+

猜你喜欢

转载自blog.csdn.net/weixin_43751840/article/details/90258088
今日推荐