准备写个数据爬取的技巧系列Blog，不定时更新
互联网上爬虫和反爬大战已愈演愈烈，不同段位的选手在相互交锋，有时候爬数据采用比较温和的方式就能获取到，但是碰到难啃的骨头，就必须要采用一些奇技淫巧，于是就有了该系列。
该系列主要提供思路，很少涉及细节
系列第一篇，主要对付隐藏在CDN，防爬代理服务器后面的网站，怎么做呢，分如下几步：
- 想方设法找到网站的真实IP（比如找子域名，多节点Ping，查找历史解析等等）；
- 劫持目标域到该真实IP；
- 这样就能绕过中间层的防护，直接对垒原始站点。
完
数据爬取-奇技淫巧系列1——抓取隐藏在CDN，防爬代理等服务后面的数据
猜你喜欢
转载自blog.csdn.net/chijiaodaxie/article/details/80355740
今日推荐
周排行