爬取豆瓣TOP250电影。
思路:用requsets获取网页的内容后，用BeautifulSoup模块制成文档树，然后在文档树中找我们的需要的内容保存下来就成功了。
```
import requests
import bs4
import openpyxl
#获取网页内容，返回文档树
def getUrl(url,headers):
req=requests.get(url,headers)
soup=bs4.BeautifulSoup(req.text,'html.parser')
return soup
def getContent(soup):
#保存电影名称
name=[]
result=soup.find_all('div',class_='hd')
for each in result:
name.append(each.a.span.text)
#保存评分
score=[]
result=soup.find_all('span',class_='rating_num')
for each in result:
score.append(each.text)
#保存简介
comment=[]
result=soup.find_all('div',class_='star')
for each in result:
#有些电影没有一句话简介，因此find_all会缺失该电影简介。因此我们可以找到他的兄弟节点，然后判断简介是否存在。
if each.next_sibling.next_sibling:
comment.append((each.next_sibling.next_sibling.text).split('\n')[1])
else:
comment.append("无简介")
#汇总内容并返回
result=[]
depth=len(name)
#把同一部电影名称，评分，简介内容写在一起
for i in range(depth):
result.append([name[i],score[i],comment[i]])
return result
def main():
# 消息头
headers = {'Uesr-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:64.0) Gecko/20100101 Firefox/64.0'}
#汇总十页的内容
content=[]
for i in range(10):
#翻页
url='https://movie.douban.com/top250?start={}&filter='.format(str(i*25))
response=getUrl(url,headers)
content.extend(getContent(response))
#统计成excel文档，需要用到openpyxl模块
wb=openpyxl.Workbook()
ws=wb.active
ws.append(['电影名','评分','简介'])
for each in content:
ws.append(each)
wb.save('F:/爬虫汇总/豆瓣top250/统计结果.xlsx')
#这段注释可以把我们抓到的数据直接写成文本形式
'''
with open ('豆瓣top250.txt','w',encoding='utf-8') as f:
for each in content:
f.write(str(each)+'\n')
'''
if __name__=="__main__":
main()
```
关于翻页问题，我们点击几页就可以发现他们网址的规律：
https://movie.douban.com/top250?start=0&filter=
这是第一页网址，第二页的时候start=25，第三页start=50...
依据这个规律我们就可以实现翻页。
BeautifulSoup文档树模块中
.next_sibling和.previous_sibling用于查找目标前后的兄弟节点内容。
以上。