崔庆才老师scrapy爬取知乎用户信息博客
我的代码github地址
scrapy中文入门文档
看完别人操作一遍，肯定要自己动手做一下，否则看的有什么意思呢。
我看了一下知乎，发现并没有什么太大的变化，唯一变化的是鼠标移到用户名的时候，显示的信息比老师演示的时候要少，基本和ajax获得的信息一样，所有我爬的时候并没有请求详细信息。
说一下我遇到的问题吧，当我爬到一万多条用户消息的时候，响应码全部变成了403，打开浏览器访问知乎跳出验证码。这怎么行呢，于是我就用我自己写的代理池(顺带修复了一些bug)开始改写代码(开始犯了一个低级错误，将ProxyMiddleware写在SPIDER_MIDDLEWARES 这个参数里，实际是这个DOWNLOADER_MIDDLEWARES)，运行爬虫的时候，报各种各样的错误，百度了一番也没有找到答案。
只能新开一个测试爬虫，测试网站 http://www.httpbin.org/get , 发现爬虫居然正常运行了，而且也返回代理IP，将访问次数改为200，依旧正常。(此次过程很长，而且没效果……)，突然想到会不会是对https网站过敏，将测试网站改为百度，返回的状态码，什么都有，返回200的很少。做到这里，我也就放弃自己用代理池了。
总结：不知道是代理的缘故，还是scrapy本身的原因，对https网站好多代理无法正常使用，测试的时候还好，运行知乎爬虫的时候，直接报错然后爬虫结束。访问httpbin的时候200次访问只有一次失败了(应该是这个代理失效了)。
推荐一个MongoDB和mysql管理工具Treesoft(国人写的，免费使用)，如果连接不了mysql，可能是MySQL新版加密规则改变，请参考这个博客
fake-useragent这个python第三方库可以自动随机生成UserAgent，我更改代理的时候也加入了随机UserAgent，效果很好。
2018-11-10 补充：使用requests和代理池爬取csdn出现同样的错误，基本可以确认是免费代理的问题(哎，免费的还是问题多)。