学习 Python 爬虫的时候，经常会遇见爬取目标网站被限制的状况。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大的压力，因此同一个 IP 反复爬取同一个网页，就很可能被封。这种时候就需要借助代理IP完成爬取工作，那么python爬虫代理该如何选择呢？
市面上的代理IP鱼龙混杂，有免费的、付费的、自己扫的、自建IP池等等，选择爬虫代理时经常会遇到以下几个问题：
1.IP可用率低，部分产品是从网上扫的IP，IP时长和质量均无法保证。
2.IP池夸大，吹嘘自己有几百万的量，实际上只有十几万到二三十万，因为重复使用的原因，造成IP可用率不高。可能有些人会有疑问，这些商家遇到大客户怎么办呢？只能找更大的IP代理供应商寻求合作，赚取差价。而作为终端客户，就被薅羊毛了。
3.性价比低，虽然有些价格很低，但是可用率同样很低，经常出现不稳定，掉线等问题，实际上我们付出的时间成本远远高于金钱成本。
4.本身没有资源，如果说第一种还算有自己的IP储备量，遇到问题可能也有工程师解决。那么这一种纯代理商就更加没有保障了，赚取差价不需要付出任何成本，也会有拿钱跑路的风险，遇到问题也只能找上级代理IP商寻求解决。像天启这类供应商，拥有真实百万IP，有专业运维团队维护，技术人员售后，服务才有保障。
那么怎样才能避开这些坑，选择靠谱的供应商呢？
寻找能够模拟使用状况免费测试的，譬如我一天用100W，你能给我100W的量进行测试，测试还很稳定。尽量与天启这样的源头厂商合作，这样谈下来的价格是最有优势的，可以签合同走对公账户，交易也有保障。