动态网页爬虫
一、相关概念
1.动态网页
- 在网页不重新加载的情况下，通过Ajax技术动态更新网站真难过的局部数据
- 如王者荣耀的高清壁纸，在换页的过程当中，URL没有发生改变，但是壁纸动态的更改了
2.Ajax（Asynchronouse JavaScript And XML）
- 异步JavaScript和XML
- 前端与服务器进行少量数据交换，Ajax可以使用网页实现异步更新
- 这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新
- 传统的网页，如果需要更新内容，必须重新加载整个网页页面。因为传统网页在传输数据格式方向时，使用的是XML语法
- 而现在数据交互时通常使用的是JSON
- 使用Ajax加载的数据，即使用了JS，将数据渲染到了浏览器中
- 在右键–>查看网页源代码还是不能看到Ajax加载的数据，只能看到使用这个URL加载的HTML代码
打卡数据链接得到的数据是JSON数据格式
二、动态网页爬虫的解决方案
-
1.直接分析Ajax调用的接口（数据所在URL），然后通过代码请求这个接口
-
2.使用selenium+Chromediver模拟浏览器行为获取数据
| 方式 | 优点 | 缺点 |
|---|---|---|
| 分析接口 | 直接请求数据，无需解析；代码量少，性能高 | 分析接口较复杂，特别是一些通过JS混淆的接口，需要一定的JS知识；容易被监测到是爬虫 |
| selenium | 直接模拟浏览器的行为，浏览器能请求到的，使用selenium也能请求到；爬虫更稳定 | 代码量多，性能低 |
分析URL时，去掉其中的“jsoncallback=XX”参数即可得到符合要求的JSON数据格式
