在这全民买房的时代，有一项技能我觉得是程序员应该要配备的，无论近期要买或是不买，还是要适当的关注房价走向的。我也喜欢浏览房价，但是在网页里看得眼花缭乱的，程序员就该用程序员的方式看嘛！
学习Python中有不明白推荐加入交流群
号：864573496
群里有志同道合的小伙伴，互帮互助，
群里有不错的视频学习教程和PDF！
于是我用python+selenium来抓取链家房数据，selenium自动化优点是完全可以模拟人工操作网页，而且相对其他爬虫不用写请求头，例如直接request的。
image
前期准备
1、安裝selenium
命令行：pip install selenium 敲回车
2、下载chromedriver对应的版本：
http://chromedriver.storage.googleapis.com/index.html
image
直接放在Python的Scripts目录下就可以不用配置变量了，而且也不用声明路径
（后面会说）
3、安裝pyquery：
image
命令行：pip install pyquery
4、安裝pymysql
命令行：pip install pymysql
image
image
网页分析
我们不用声明请求头的参数了，只要我们拿到URL，指哪爬哪！
此次抓取的数据如下：
image
打开开发者工具，谷歌浏览器按F12
image
发现每个小区的售房信息都在ul下的li标签里，代码如下：
image
第一步拿到html结构，然后用pyquery解析遍历li标签，我使用了items()方法
接着提取小区名称，找到a标签的class：
image
提取房类的文本，span标签下面：
image
其他的Text文本都是这样的方法提取
提醒的一点就是，需要判断一下ul的class，防止有时候网络加载的问题，导致发生错误。
image
模拟滚动
每跳转一页就滚动一下滚动条，这样做的有好处是有些时候是异步加载的，例如查看评论：
image
这里可以根据个人不同来定义，我这里以800来滚动。
然后是点击下一页的动作，网页有下一页的选项。一些其他的小动作，可以自己添加哦！
image
数据存储
我这里用mysql存放数据
image
数据展示：
image
源码地址：
https://blog.csdn.net/weixin_42946604/article/details/86618237