天眼查-启信宝-企查查-淘宝-天猫-数据爬虫-破解数据技术的那些事儿
从事了5年多php和python技术研发工作，破解过天猫、淘宝、天眼查、企查查、启信宝等各种网站的数据爬虫技术工作，随着互联网技术的发展，大数据和人工智能成为当前的风口，大数据和人工智能是未来的趋势和方向，于是技术也从互联网技术扩展到大数据技术，关于爬虫技术，从事爬虫工作有不少的心得，希望能够给其他的朋友分享一些个人的经验和心得。以下从天眼查、天猫、淘宝等个种网站的数据采集面临的技术和如何快速的得采集到整个网站的数据而且不受限制和封号。（需要爬虫技术交流的朋友欢迎加我qq：2779571288）
一、 破解验证码问题：
我们爬一个网站，分析一个网站的技术难度，第一个看技术门槛就是验证码，如果验证码破解不了，那么后面的爬虫工作就无法继续了。解决验证码的方法很简单，我们采用python语言开发的时候，才有平python的图像深度识别技术，可以快速轻松解决网站验证密码的问题。
二、封掉IP，数据无法爬取的问题：
我在爬天眼查的时候，天眼查对IP封得特别厉害，您休想几万或者几十万的去批量采集他里面的数据，这个问题怎么解决呢，其实很简单，我当时自己建立了代理池，每次发送一个http请求的时候采用一个动态的IP，这样就非常轻松的解决了天眼查、淘宝、天猫爬数据的时候的封IP问题，下面这个就是我自己采用分布式多线程方式采用python+php结合开发的天眼查爬虫系统的数据管理后台：
二、数据清洗、数据提炼问题：
在爬数据的时候，会存在重复数据的问题，尤其是像天眼查启信宝、企查查这种网站数据的采集，我去年爬的时候大概有2个亿的数据量，越爬到后面就越大，因为每次爬入库的时候都做了对比是否重复，这样导致速度很慢，最后我重新架构的数据库的结构，把数据库分为2个库，第一个库叫做原始数据库，也就是把爬虫从网站爬下的数据先存储到原始数据库，第二个数据库就是 标准库 我写一个数据清洗提炼的机器人，每天从原始数据库读取数据 进行去重分析 把完整的数据清洗提炼到标准库去，那么用户正式使用链接的数据库就是标准完整的不存在重复的数据库，这样爬虫和用户正式分开，性能非常好。下面这个就是我做的天眼查客户端大数据系统，自己开发的。
今天时间不多了，先分享到这里，需要爬虫技术交流的朋友欢迎加我qq：2779571288，我有做过舆情监控大数据挖掘、政府的公安互联网反恐大数据挖掘与分析。