我用python爬虫技术实现了对全国667个城市的企业库+政策库+商标库的建立
因为一直研究深度爬虫前沿技术，最近有几个创业的朋友找我帮忙建立企业库和政策库大数据，因为我前段时间刚刚帮朋友完成了“天谋查和企谋查”企业库数据的分布式爬虫系统的研发，解决了封IP技术和字体库加密技术问题，同时解决了亿万级的大数据分库分区存储的问题，企业信息的数据维度从17个增加到了30个维度。
利用爬虫技术，实现企业数据库的建立，是需要消耗很大的技术精力，首先我对企业进行了按城市维度进行分库，全国约667个城市，每个城市都建立一个自己的数据库，然后采用我们分布式爬虫系统，在建立企业库的时候，面临以下几个问题
（欢迎对爬虫技术和大数据挖掘感兴趣朋友加我qq：2779571288）
采集速度太频繁了，会被封IP问题 怎么解决
当我们发出去的http请求到天谋查网站的时候，正常情况下返回200状态，说明请求合法被接受，而且会看到返回的数据，但是天谋查有自己的一套反爬机制算法，如果检查到同一个IP来不断的采集他网站的数据，那么他会被这个IP列入异常黑名单，您再去采集它网站数据的时候，那么就永远被拦截了。怎么解决这个问题呢，其实很简单，没有错用代理IP去访问，每一次请求的时候都采用代理IP方式去请求，而且这个代理IP是随机变动的，每次请求都不同，所以用这个代理IP技术解决了被封的问题。
自己搭建代理池ip
做爬虫技术都知道，代理IP的质量决定了爬虫的效率，要想爬快一点，必须选择质量好，高匿名、不重复、时间长的IP，在选择代理IP的时候，市场价格好的搭理IP一般是4-6万一个月，所以当时为了避免这个费用成本在，就自己采用redis集群技术搭建了代理池，利用技术优势节省了一大截成本。
全国667个城市、每个城市建立一个自己的数据库
采用爬虫技术对天某查、企某查的数据进行挖掘的时候，首面临的是选择存储数据库，如果选择mysql数据库，那么海量的数据存储和搜索肯定是支撑不起来的，分析这种非机构化的数据，我当时就采用了mondb数据库来存储，然后每个城市建立一个自己的数据库，这样实现了分库功能，避免数据量大的时候查询不动的问题。
建立政策大数据库
采用爬虫技术按地区建立一套政策大数据库，实现政策分析、数据对比、智能匹配等功能，建立政策库比建立企业库复杂100倍了，各种政府开放的网站的数据整合和挖掘，然后存储分析，整整花了2个月时间，完成各种模型的建立。
这是我当时的大数据爬虫架构：
（欢迎对爬虫技术和大数据挖掘感兴趣朋友加我qq：2779571288）