写在前面：这两周花了点时间读了《Python网络数据采集》，内容不多，不到200页，但是非常丰富，有入门，有提高，有注意事项，有经验之谈，有原理，有分析，读完受益匪浅。书中讲了很多反爬虫、图片验证码之类的东西，不过感谢csdn的开放性，这些都没有。所以第一个练习，就是爬取csdn的极客头条的更新文章。
1 思路
思路比较简单，首先是登录，然后爬取页面的更新文章名称和链接。要注意的一点是，极客头条的列表刷新是动态的，只有页面有滚动条并且往下拉的时候，才会加载新的文章列表。我用竖屏显示器试了下，没有滚动条的情况下，默认显示20条的文章列表，结果不能加载新的文章列表，应该算是bug。
2 准备
通过浏览器的开发人员工具抓包，可以发现极客头条申请新列表的时候URL格式如下：
http://geek.csdn.net/service/news/get_news_list?jsonpcallback=jQuery203014439105321047596_1516862462757&username=[账户名]&from=-&size=20&type=hackernewsv2_new&_=1516862462758
请求参数：
通过查找资料和抓包，发现csdn的登录还是很简单的，只要用户名密码，不需要验证码等等，抓包可以看到请求参数： 登录时要注意的是，csdn为了防爬虫，要求HTTP头的User-Agent字段必须是真实的，所以我用了抓包里面真实的浏览器填充的字段，否则会一直登录失败，返回登录页。通过抓包可以看到，请求文章后，返回的是json数据，其中‘from’自动用于下次请求，‘html’字段就是返回的网页，utf-8编码的Unicode字符串，Python默认用的就是Unicode，所以取出html字段的数据后自动转为了汉字、符号等，然后解析其中的class类型为‘title’的链接，就可以获得文章链接和名称。
3 代码（非常短）
"""
请求geek头条的文章列表
1 登录csdn
2 打开极客头条
3 请求头条文件列表和链接
4 解析出文章名称和链接
"""
import requests
from bs4 import BeautifulSoup
import time
import json
def login_csdn(session):
"""
登录CSDN
:return:TRUE 成功 FALSE 识别
"""
page_login = session.get('https://passport.csdn.net/account/login')
bsObj = BeautifulSoup(page_login.content, 'lxml')
eventID = bsObj.find('input', {'name': '_eventID'})
lt = bsObj.find('input', {'name': 'lt'})
execution = bsObj.find('input', {'name': 'execution'})
params = { 'eventID': eventID, 'lt': lt, 'execution': execution,
'username': '', 'password': '', }
headers = {'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'}
time.sleep(1)
page_login_succ = session.post('https://passport.csdn.net/account/verify', params=params, headers=headers)
if page_login_succ.status_code == 200:
print('login csdn success ~~~')
return True
else:
print('login csdn failed: ' + page_login_succ.status_code)
return False
def open_geek(session):
"""
打开极客头条
:param session:
:return:
"""
page_geek = session.get('http://geek.csdn.net/?ref=toolbar_logo')
if page_geek.status_code == 200:
print('geek success ~~~')
#http://geek.csdn.net/service/news/get_news_list?jsonpcallback=jQuery20306392256918709227_1516849580010&username=&from=-&size=20&type=HackCount&_=1516849580011
#其中，jsoncallback是jQuery自动生成的lamda函数的名称，所以可以任意填，from=-，代表从最开始发送，size=20，代表返回20个结果
#当返回以后，结果中会带有下一页数据的起始码，用于from，type不变，参数'_'后面是随机数字，可以不填
articls_url = 'http://geek.csdn.net/service/news/get_news_list?' \
'jsonpcallback=jQuery21305830119664065718_1516862161253' \
'&username={}&from={}&size=20&type=hackernewsv2_new&_=1516862161253'
page_geek_pageone = session.get(articls_url.format('', '-'))
if page_geek_pageone.status_code == 200:
jsonObj = get_next_articls_urls(page_geek_pageone)
page_geek_pagenext = session.get(articls_url.format('', jsonObj['from']))
print('\n----------------------------------------\n')
get_next_articls_urls(page_geek_pagenext)
else:
print('geek failed: ' + page_geek.status_code)
def get_next_articls_urls(geek_page):
"""
辅助函数，解析返回的json数据中的文章信息
:param geek_page:
:return:
"""
data = geek_page.text[geek_page.text.find('(') + 1: len(geek_page.text) - 1]
jsonObj = json.loads(data)
# print(jsonObj['html'])
bsObj = BeautifulSoup(jsonObj['html'], 'lxml')
urls = bsObj.findAll('a', {'class': 'title'})
for url in urls:
print(url)
return jsonObj
if __name__ == '__main__':
session = requests.session()
if login_csdn(session):#登录成功
open_geek(session)