为什么使用user-agent?很多网站默认禁止爬虫,需要用户代理 为什么使用代理IP?如果一个IP访问的频率太高,会被封掉
转:https://www.cnblogs.com/paisenpython/p/10270910.html