Web Scraper 抓取大V历史微博_2.7

  1. 规则:微博加载先不翻页,只有往下拉,加载到一定程度,才会翻页
    在这里插入图片描述
    翻页
    在这里插入图片描述
    规律
    https://weibo.com/abaoshixiong?pids=Pl_Official_MyProfileFeed__22&is_search=0&visible=0&is_all=1&is_tag=0&profile_ftype=1&page=1#feedtop
    https://weibo.com/abaoshixiong?pids=Pl_Official_MyProfileFeed__22&is_search=0&visible=0&is_all=1&is_tag=0&profile_ftype=1&page=2#feedtop
    1-5页抓取
    https://weibo.com/abaoshixiong?pids=Pl_Official_MyProfileFeed__22&is_search=0&visible=0&is_all=1&is_tag=0&profile_ftype=1&page=[1-5]#feedtop
  2. 创建sitemap
    在这里插入图片描述
  3. 大模块
    Element scroll down鼠标滑动
    在这里插入图片描述
  4. 进入大模块,到小模块
    在这里插入图片描述
    创建2个子模块
    在这里插入图片描述
  5. 执行抓取scrape,弹出窗口,会自动刷新页面1-8页进行抓取,刷新refresh,查看
  6. 导出cvs文件。缺点:乱序,不全,需要加大延迟时间!加载有可能不成功!
    在这里插入图片描述
发布了52 篇原创文章 · 获赞 3 · 访问量 2208

猜你喜欢

转载自blog.csdn.net/qq_42907800/article/details/105268612
今日推荐