以"慕课网"为例使用nodeJS爬取动态网页中的动态数据

以前nodeJS教程出来的时候,慕课网站上的“学习人数”是静态数据,教程中是可以直接爬取。

然而现在却改成了动态js加载,请看大屏幕:

照着教程写下来的代码,爬下来的数据居然为空,任性!

解决方法

  1. 自行分析网页异步加载【优点:通常能够获取到十分简洁清晰的数据】

    • 步骤一:使用谷歌浏览器自带的F12网页分析工具
      步骤一
    • 步骤二:在network中找到对应数据的异步加载
      步骤二
    • 步骤三:访问找到的异步加载的url
      返回来的数据居然是JSON
  2. 通过网络上的框架来模拟浏览器,等网页js渲染结束后再进行爬取【优点:不用自行分析网站】

    • 这个可以在开源社区搜索即可

后面就看大家的了,哈哈哈哈,慕课网要被玩坏了····

猜你喜欢

转载自blog.csdn.net/pengshaob/article/details/53511377