14.5 Go 爬虫

14.5 Go 爬虫

爬虫库/框架

henrylee2cn/pholcus    幽灵蛛    星5200
gocrawl                        星1700
colly                            星7169
hu17889/go_spider    星1400

go语言标准库模板实现http数据展示

爬虫数据存储

ElasticSearch 存储

爬取内容

新闻
博客
社区

社交：qq空间，人人网，微博，微信，facebook
相亲网，求职网

发现用户

城市列表    城市    下一页    用户
通过用户    猜你喜欢
通过用户id+1    寻找用户id

解析html

css选择器
xpath
正则表达式