爬取樱花动漫

这里面有一部分代码,需要改一改,但已经不影响最后的结果(可以将视频爬下来),今天太累了,这个代码写了快三个小时.一是不用就生,二是确实有不知道的

不知道的
1.如果网页源代码找不到m3u8网址,或不能直接看到是那个网址跳转到m3u8,就去看看js的网址,里面包不包含
2.如何将ts文件拼接在一起

过程分析:
1.我爬取的是斗破苍穹
2.视频的存放要不是直接一个url放所有,要不就是切分成–ts–文件,这里很明显是ts
3.这三类文件网址是储存关系

所以我只要找到了最开始的index.m3u8对应的网址,就可以一层层的找到ts文件

1.网页源代码里面没有
2.抓包工具中没有看到那个链接返回的数据携带了index.m3u8
3.因此猜测可能是某个js发送的请求,找到他了(**注意这不是完整的url**)

看看里面什么样子

可以看到第一个就是我要的index.m3u8,那么剩下的是什么呢?
经过查看发现,是其他集对应的index.m3u8

'''
    先分析,第一步
    我要爬取的网页地址:http://www.imomoe.la/view/8024.html
    我要找到每一集的链接,网页源代码里面有,所以直接xpath拿了就行

    已经获取每一集对应的链接
    进入具体一集后:找到真正可以看到视频的网址
    https://cdn.605-zy.com/VMDIR3CD1FB49458042BA554A0AD5E7BDD563/20210328/92U4qkP0/800kb/hls/qZjisjeH6120054.ts
    我直接进行访问发现可以获取数据

    所以我现在需要批量获取发送请求的链接
        1.找到m3u8文件对应的网址
            https://cdn.605-zy.com/ppvod/151DF18F98BC1AE9D0FF5D2B8D50258E.m3u8
        2.取出里面链接
            /VMDIR3CD1FB49458042BA554A0AD5E7BDD563/20210328/92U4qkP0/800kb/hls/qZjisjeH6120000.ts
        3.和原版链接对照
            https://cdn.605-zy.com/VMDIR3CD1FB49458042BA554A0AD5E7BDD563/20210328/92U4qkP0/800kb/hls/qZjisjeH6120000.ts
            (可以看到只是缺了一部分)

    有个问题:这个有所有视频对应链接m3u8的url是动态还是静态,在哪能找到?
        --应该是静态的(不会变)
        --网页源代码里面没有m3u8文件
        --在https://cdn.605-zy.com/20210328/92U4qkP0/index.m3u8里面有--保存了所有视频链接的m3u8--
        --对这个链接发起请求http://www.imomoe.la/playdata/88/8024.js?58314.64
            里面有这个:https://cdn.605-zy.com/20210328/92U4qkP0/index.m3u8

    所以现在思路就很清楚了
        1.re解析获得http://www.imomoe.la/playdata/88/8024.js?58314.64
        2.对其发起请求,re解析获得https://cdn.605-zy.com/20210328/92U4qkP0/index.m3u8
        3.发起请求,读取内容,获得
        4.发起请求,再次读取内容(注意两次对应url不一样),获得各分段视频链接.
            https://cdn.605-zy.com/ppvod/151DF18F98BC1AE9D0FF5D2B8D50258E.m3u8
        5.批量下载


'''

import requests
from lxml import etree
import re
from concurrent.futures import ThreadPoolExecutor
import os

#获取每一集链接的函数
def fun1():
    url="http://www.imomoe.la/view/8024.html"
    headers = {
    
    
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.164 Safari/537.36"

    }
    res=requests.get(url=url,headers=headers)
    #这里的编码有问题需要改一下
    res.encoding="gb2312"
    html=res.text
    #创建etree对象,获取网页链接
    tree=etree.HTML(html)
    #这里获取了所有的li
    lis=tree.xpath('//*[@id="play_0"]/ul/li')
    print(lis)
    for li in lis:
        href='http://www.imomoe.la'+li.xpath('./a/@href')[0]#每一集的链接
        title=li.xpath(r'./a/text()')[0]#集数



#对具体的每一集链接发起的请求
def fun2():
    headers = {
    
    
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.164 Safari/537.36"

    }
    url="http://www.imomoe.la/player/8024-0-0.html"
    res=requests.get(url=url,headers=headers)
    html=res.text
    #这个有点说不清楚了,放图片到csdn里面自己看
    findjs=re.compile(r'<script type="text/javascript" src="(.*?)"></script><')

    js="http://www.imomoe.la"+re.findall(findjs,html)[0]
    js_html=requests.get(url=js,headers=headers).text
    index_url_find=re.compile("\$(.*?)\$")
    index_urls=re.findall(index_url_find,js_html)#这里有个问题,我只是想拿一集的,结果他把每一集的都给了我
    print(len(index_urls))
    #获得到了所有的m3u8文件
    for index_url in index_urls:
        m3u8_html=requests.get(url=index_url,headers=headers).text
        #print(m3u8_html)
        #print(re.findall(r'/(.*?)',m3u8_html))
        m3u8_html_find=re.compile(r'/(.*?m3u8)',re.S)
        m3u8_url='https://cdn.605-zy.com/'+re.findall(m3u8_html_find,m3u8_html)[0]
        #print(m3u8_url)
        ts_html=requests.get(url=m3u8_url,headers=headers).text
        #print(ts_html)
        #开始获得所有ts文件对应的url

        ts_urls=re.findall(re.compile(r'/(.*?ts)'),ts_html)

        'https://cdn.605-zy.com/VMDIR3CD1FB49458042BA554A0AD5E7BDD563/20210328/lQ7T52iV/800kb/hls/dDUbSd73491000.ts'

        pool = ThreadPoolExecutor(100)

        list1=[]#用来保存请求失败的url
        for ts_url in ts_urls:
            try:
                pool.submit(fun3,ts_url)
            except:
                list1.append(ts_url)

        #把下载的有问题的再搞一遍
        while list1!=[]:
            try:
                ts=list1[len(list1)-1]
                fun3(ts)
                ts.pop()
            except:
                pass
        break



#用来下载ts文件的代码
def fun3(ts_url):
    name=ts_url.split('/')[-1]
    print(1)
    url='https://cdn.605-zy.com/'+ts_url
    headers = {
    
    
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.164 Safari/537.36"
    }
    #发起请求
    res=requests.get(url=url,headers=headers)
    with open('E:\\python爬虫实战\\数据保存\\{}'.format(name),'wb') as f:
        f.write(res.content)


def get_video():
    files=os.listdir('E:\\python爬虫实战\\数据保存')
    i=1
    for file in files:
        if os.path.exists("E:\\python爬虫实战\\数据保存\\"+file):
            with open('E:\\python爬虫实战\\数据保存\\'+file,'rb') as f1:
                with open('E:\\python爬虫实战\\数据保存\\斗破苍穹第一集.mp4','ab') as f2:
                    print(i)
                    f2.write(f1.read())
                    i+=1


if __name__ == '__main__':
    fun2()
    get_video()