（6-14）爬虫程序示例

1.爬虫程序示例

import re
import requests## 从指定网页上爬取数据
from urllib.parse import quote #导入quote方法对URL中的字符进行编码
class BaiduNewsCrawler: #定义BaiduNewsCrawler类
headersParameters = { #发送HTTP请求时的HEAD信息
	 'Connection': 'Keep-Alive',
	 'Accept': 'text/html, application/xhtml+xml, */*',
	 'Accept-Language':
	'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',
	 'Accept-Encoding': 'gzip, deflate',
	 'User-Agent':
	'Mozilla/6.1 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko'
}

def __init__(self, keyword, timeout): #定义构造方法，首先要传入关键词和超时时间
	self.url='http://news.baidu.com/ns?word='
	+ quote(keyword) + '&tn=news&from=news&cl=2&rn=20&ct=1' #要爬取的新闻网址，对keyword进行编码
	self.timeout=timeout #连接超时时间设置（单位：秒）

def GetHtml(self): #定义GetHtml方法
	request=requests.get(self.url, timeout=self.timeout,
	headers=self.headersParameters) #根据指定网址爬取网页
	self.html=request.text #获取新闻网页内容

def GetTitles(self): #定义GetTitles方法，分析网页数据，得到标题信息
	self.titles = re.findall(r'<h3 class="c-title">([\s\S]*?)</h3>',self.html) #匹配新闻标题
	for i in range(len(self.titles)): #对于每一个标题
		self.titles[i]=re.sub(r'<[^>]+>','',self.titles[i]) #去除所有HTML标记，即<...>
		self.titles[i]=self.titles[i].strip() #将标题两边的空白符去掉

def PrintTitles(self): #定义PrintTitle方法
	no=1
	for title in self.titles: #输出标题
		print(str(no)+':'+title)
		no+=1
		
if __name__ == '__main__':
bnc = BaiduNewsCrawler('南开大学',30) #创建BaiduNewsCrawler类对象
bnc.GetHtml() #获取新闻网页的内容
bnc.GetTitles() #获取新闻标题
bnc.PrintTitles() #输出新闻标题