前言
最近业余在做一个基于.NET Core的搜索项目，奈何基层代码写好了，没有看起来很华丽的数据供测试。很巧的也是博客搜索，于是乎想到了博客园。C#也能做做页面数据抓取的，不过在博客园看到的大部分都是python实现，所以就临时想了一下看看python到底是什么东东，不看基础语法，不看语言功能，直接上代码，哪里不会搜哪里。代码完成总共用时大概4个小时，其中搭建环境加安装BeautifulSoup大概1个小时。解析HTML用时间最多了，边看demo边解析，大概2个小时，剩下的时间就是调试加保存数据了。
最后，学习Python中的小伙伴，需要学习资料的话，可以前往我的微信公众号：速学Python，后台回复：csdn，即可拿Python学习资料
这里有我自己整理了一套最新的python系统学习教程，包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。送给正在学习python的小伙伴！这里是python学习者聚集地，欢迎初学和进阶中的小伙伴！
环境搭建
既然用python，那么自然少不了语言环境。于是乎到官网下载了3.5版本的。安装完之后，随机选择了一个编辑器叫PyCharm，话说python编辑器还真挺多的。由于本人是小白，所以安装事项不在过多赘述。
建好项目，打开编辑器，直接开工。本来之前用C#写的时候，大体思路就是获取网页内容，然后正则匹配。后来发现网上的帖子也很多。不过在搜索过程中发现，不建议用正则来匹配HTML。有正好我的正则不太好，所以我就搜了一下HTML解析工具，果不其然，人家都做好了，直接拿来用吧。没错就是这个东东：BeautifulSoup 。安装也很简单，不过中间出了个小插曲，就是bs4没有。继续搜，然后需要用pip安装一下就好了。（当然我并不知道ps4和pip是什么鬼）
思路分析
博客吗，我当然就对准了博客园，于是乎，进入博客园首页，查看请求。
发送请求
当然我不知道python是怎么进行网络请求的，其中还有什么2.0和3.0的不同，中间曲曲折折了不少，最终还是写出了最简单的一段请求代码。
其实博客园这个请求还是挺标准的，哈哈正好适合抓取。因为他返回的就是一段html。（如果返回json那不是更好。。。。）
数据解析
上文已经提到了，用到的是BeautifulSoup，好处就是不用自己写正则，只要根据他的语法来写就好了，在多次的测试之后终于完成了数据的解析。先上一段HTML。然后在对应下面的代码，也许看起来更轻松一些。
通过上文的HTML代码可以看到几点。首先每一条数据都在 div(class="post_item")下。然后 div("post_item_body")下有用户信息，标题，链接，简介等信息。逐一根据样式解析即可。代码如下：
上边一堆代码下来，着实花费了我不少时间，边写边调试，边百度~~不过还好最终还是出来了。等数据都整理好之后，然后我把它保存到了txt文件里面，以供其他语言来处理。本来想写个put直接put到ElasticSearch中，奈何没成功。后边在试吧，毕竟我的重点只是导数据，不在抓取这里。
上边呢，我取了一百页的数据，也就是大概2000条做测试。
成果验收
废了好大劲终于写完那些代码之后呢，就可以享受胜利的果实了，虽然是初学者，代码写的很渣，这参考一下，那参考一下，不过还是有些收获的。运行效果如下：
生成的文件：
文件内容：
总结
一个简单的抓取程序就写完了，python还真是TM的好用。以后有空再研究研究吧。代码行数算上空行和注释总共 100（50+25+25） 行。凑个整数好看点~~现在认识字我感觉就可以上手写程序了。这里百度一下，那里google一下，问题就解决了，程序也出来了，大功告成。
是时候该和python暂时告别了，继续我的.NET事业。话说上次做rss采集的时候，好多“.NET要完蛋了”，“为什么我们不招.NET” 是什么鬼。 小伙伴们，下次见。