首先声明：此小视频非彼小视频，大家心照不宣即可
目标：https://www.vmovier.com/ 这网站名字好像叫场库
""" 首先向https://www.vmovier.com/发送请求 获取响应，解析响应 将所有标题和链接过滤出来 向过滤出的链接发请求下载视频 向src属性发送请求，获取响应，将内容保存到本地 注意：这是一个动态的页面 是js的数据 需要捕获接口 使用抓包工具Fiddler 接口信息：https://www.vmovier.com/post/getbytab?tab=new&page=1&pagepart=2&type=0&controller=index&last_postid=58197 """ import requests from bs4 import BeautifulSoup import time import json from lxml import etree import re from selenium import webdriver from selenium.webdriver.chrome.options import Options #创建一个参数对象，用来控制Chrome以无界面模式打开 chrome_options = Options() #开启无头模式 chrome_options.add_argument('--headless') #禁用GPU chrome_options.add_argument('--disable-gpu') #驱动路径 path =r'D:\chromedriver\chromedriver.exe' #添加头部 作为全局 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36' } #此处有一个跳转 感觉像是反爬机制 所以我们要再过滤一次 过滤出跳转后的url这个函数用来处理此跳转 def FanPa(r): #正则获取src属性 match_obj = re.compile(r'<meta property="article:published_first" content="新片场,(.*)" />') url = re.findall(match_obj,r.text) # print(url) # exit() return url #解析首页，返回所有的标题链接 def handle_title(): #输入你想要的爬取的页数 page = int(input("请输入您要爬取的页数：")) print("开始爬取第%s页....." % page) #将捕获接口拿过来 因为是动态的页面 所以捕获接口 向接口发送数据 #page=页数 pagepart=每页的第几次刷新 每页有三次刷新分别是1 2 3 可以写一个循环 for T in range (1,4): url = "https://www.vmovier.com/post/getbytab?tab=new&page=% s&pagepart=%d" %(page,T) # print(url) # exit() r = requests.get(url=url,headers=headers) #解析内容，因为返回的是json数据 直接解析json格式即可 # 后来发现不是严格json格式 就使用json对象取出了data部分 用正则过滤出来的 #我们需要的标题和链接分别是h1标签下的title和href #将json数据转化为Python对象 obj = json.loads(r.text) # print(obj) # exit() #取出所有和视频相关的数据 标题和url 使用正则 data = obj['data'] #print(data) # # exit() match_obj_url = re.compile(r'<a href="(.*)" title=".*全文" target="_blank">阅读全文...</a>') url = re.findall(match_obj_url,data) # print(url) # print(len(url)) match_obj_title = re.compile(r'<a href=".*" title="(.*)全文" target="_blank">阅读全文...</a>') title = re.findall(match_obj_title,data) # print(title) # print(len(title)) # exit() #循环data列表 依次取出每一个视频信息 # 其中标题信息可以直接用 但是url拼接后不是最终url 还有2次跳转 for i in range (0,15):#两个列表各有15条数据 一一对应 end_title = title[i] #print(end_title) a_href = "https://www.vmovier.com" + url[i] # print(a_href) # exit() #这个不是最终视频url 需要处理一次跳转 r = requests.get(url=a_href,headers=headers) end_href = FanPa(r)# 这是倒数第二层url # print(end_href) # exit() video_src = get_video_url(end_href) # print(video_src) # exit() #找到视频原始地址后开始下载 print("开始下载%s..." % end_title) filepath = 'shipin/' + end_title +'.mp4' r = requests.get(url=video_src) with open(filepath,'wb')as fp: fp.write(r.content) print("%s下载完成" % end_title) #发送请求， 获取内容 解析内容，获取src def get_video_url(end_href): # print(end_href)# 这里end_href是一个只有一个元素的列表 所以要加下标 # # exit() # r = requests.get(url=end_href[0],headers=headers) # print(r.text) # exit() #这里打印返回页面 发现没有我们想找的video链接 # 很可能又是反爬机制 所以使用终极武器 无头浏览器来解决 browser = webdriver.Chrome(executable_path=path,options=chrome_options) browser.get(end_href[0]) time.sleep(3) #获取源码，生成tree对象，然后查找video里的src属性 # print(browser.page_source) # exit() soup = BeautifulSoup(browser.page_source,'lxml') video_src =soup.find('video',id="xpc_video")['src'] # print(video_src) # exit() return video_src def main(): #解析首页，返回所有的标题链接 handle_title() if __name__ == '__main__': main()
主要需要注意的问题是：
1、对于这种懒加载的网页 一般要捕获其接口，从接口返回信息中过滤出标题和url
2、这个网站有一个跳转过程，感觉像是反爬的机制，可以通过一步步输出HTML页面去判断是否是我们需要的页面
3、有一些地方 比如json返回的数据 不是严格的json格式 我们就把数据取出来 使用正则表达式去过滤
4、有的时候requests模块发送请求不能获得我们想要的页面 可能需要使用无界面浏览器驱动去获取页面内容
结果：
