Python爬虫煎蛋网全站妹子图爬虫

爬取流程

从煎蛋网妹子图第一页开始抓取；
爬取分页标签获得最后一页数字；
根据最后一页页数，获得所有页URL；
迭代所有页，对页面所有妹子图片url进行抓取；访问图片URL并且保存图片到文件夹。

开始

通过上一篇文章的爬取过程，我们基本上理解了抓取一个网站的大致流程。因为一个网站虽然有很多页，但是大部分网站每一页的HTML标签内容都是相同的。我们只要获取到一页的内容，就可以获得所有页的内容了。那么开始之前，我们来分析一下煎蛋网妹子图页面的URL。

第一页的 url：http://jandan.net/ooxx/page-1

第二页：http://jandan.net/ooxx/page-2

最后一页：http://jandan.net/ooxx/page-49

不难发现，煎蛋网的 url 的规律是比较简单的，每一页后面 page 的数字就是几。那么我们可以通过一个循环就可以获得所有的页面 URL 了。但是大家应该想到，这个网站每天都会更新，

所以我们需要通过页面的标签信息让程序自己获得页数，我们访问http://jandan.net/ooxx/这个页面时，就相当于我们直接访问了最后一页。大家可以自己试试看。

爬虫首先第一步就是分析网站像我现在这种小白一般就f12还有右键查看源代码就ok了

还有一点 requests返回的是右键源代码那个文件

里面很多东西是没有的所以就需要兄弟你去分析了

这就是我分析出来的我们需要的东西，然后我们就爬取这个

但是上面给我们的地址并不能访问

因为他是通过base64加密了

Base64编码是一种“防君子不防小人”的编码方式。广泛应用于MIME协议，作为电子邮件的传输编码，生成的编码可逆，后一两位可能有“=”，生成的编码都是ascii字符。
优点：速度快，ascii字符，肉眼不可理解
缺点：编码比较长，非常容易被破解，仅适用于加密非关键信息的场合

在python中调用base64库就可以了

import base64
s="Ly93dzMuc2luYWltZy5jbi9tdzYwMC8wMDZYTkVZN2d5MWZ2a2Z3bnBkNGlqMzE4dTFrd2FvZy5qcGc="

w=base64.b64decode(s)
print(w)

不多说了我直接上代码读者可以直接使用就可以爬煎蛋上面的妹子图片了

from bs4 import BeautifulSoup
import requests
import os #文件操作模块
import base64
import  lxml

def makefile(str):
    path1=os.getcwd()#获取当前目录位置
    print("当前目录位置:     "+path1)
    path1=path1+"//"+str
    if  not os.path.isdir(path1):
        print("当前路径不存在文件夹 "+str)
        os.mkdir(str)
        print("创建"+str+"photo文件夹成功")
    else :
        print("前路径存在文件夹 "+str)
        print("前路径存在路径 "+path1)
    return path1
def downphoto(netadress,localadress):
    # print(os.getcwd())
    # z="D:\\Python程序\\煎蛋photo\\"
    z=os.getcwd()+"\\煎蛋photo\\"
    # print(z)
    # print("--------------------\n")
    # print(z1)
    headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"}   
    re=requests.get(netadress,headers=headers)
    lo=z+netadress.split("/")[4]
    f= open(lo,"wb")
    f.write(re.content)
    f.close()
 
def test(NextUrl,localadress):
    headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"}  
    url = NextUrl                       #"https://movie.douban.com/top250"
    f = requests.get(url,headers=headers,timeout=5) 
    # print(f.content)
    # print("--------------------------\n")
    soup = BeautifulSoup(f.content, "lxml")
    # print(soup)
    #####获取图片url
    # print("--------------------------\n")
    qq=soup.find_all("span",class_="img-hash")
    # print(soup.title)
    ImgUrl=[]
    for i in qq:
        ImgUrl.append(str(i))
        # print(i)
    del qq
    temp=[]
    for i in ImgUrl:     #   
        uu=base64.b64decode(((i.split(">"))[1]).split("<")[0])#解码base64
        ww=uu.decode("utf-8")
        temp.append("http:"+ww)      
    for i in temp:
        print("iii:  *"+i+"\n")
        downphoto(i,localadress) #调用下载图片函数

path1=makefile("煎蛋photo")+"\\"

for i in range(49):
    try:
        url="http://jandan.net/ooxx/page-"+(str)(i+1)+"#comments"   #http://jandan.net/ooxx   http://jandan.net/ooxx/page-41#comments
        test(url,path1)
        
    except Exception :
        pass

Python爬虫 煎蛋网全站妹子图爬虫

爬取流程

开始

猜你喜欢

Python爬虫煎蛋网全站妹子图爬虫