校花爬虫

import requests
from bs4 import BeautifulSoup
print('导包成功')

导包成功

# ctrl+/  注释当前代码快捷键
# 爬取的网址
url='http://www.xiaohuar.com/'
# 定制头部信息 指定用户代理
header={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"}
# 发送网络请求获取校花网网页内容
def spider_xiaohua_content():
#     发送网络请求
    response=requests.get(url=url,headers=header)
    print(response.status_code)
#     请求网络成功返回状态码如果200 代表成功   404  失败   500 服务器报错
    if response.status_code:
#         设置编码格式
        response.encoding='utf-8'
#     获取字节流
        html=response.content
#     构建BeautifulSoup对象  解析网页内容
#     参数  1:网页内容   2:解析器 html5lib
        bts=BeautifulSoup(html,'html5lib')
#     找到6个板块  最新校花  中学校花  校草男神  网络美女  校花视频  校花新闻
        div_list=bts.find_all('div',attrs={'class':'all_lanmu'})
    
        text=''
#         创建文件  1：文件名称   2：权限  3:编码格式
        file=open('spider-校花.txt','w',encoding='utf-8')
#         遍历6个板块
#         print('ss')
        for div in div_list:
#         继续找到子标签  找到六大板块标题div
            title_div=div.find('div',attrs={'class':'title1000'})
            title=title_div.find('a').string
            print(title)
            
            ul=div.find('ul')
#             print(ul)
#             找到对应的每个li
            li_list=ul.find_all('li')
            for li in li_list:
#             找到对应图片地址
                img_src=li.find('img').attrs['lazysrc']
#                 print(img_src)
# 找到点击图片跳转到二级详情页
                a_href=li.find('a').attrs['href']
#                 print(a_href)
# 图片名称
                img_title=li.find('span').string
#     学校
                xuexiao=li.find('b',attrs={'class':'b1'}).string
#     点赞人数
                dianzan=li.find('b',attrs={'class':'b2'}).string
#                 判断是否包含域名  不包含则手动拼接域名在前
                if url not in img_src:
                    img_src=url+img_src
                
                text += "图片下载路径："+img_src+'\n'
                text += "详情页："+a_href+'\n'
                text +="图片标题："+img_title+'\n'
                text +="学校" + xuexiao + '\n'
                text +="点赞" + dianzan + '\n'
#                 下载每一张图片
                down_load(img_src,img_title)
#                 将爬取出来的文字写入本地文件
        file.write(text)
#     关闭
        file.close()

import os
from urllib.request import urlretrieve
# 根据图片地址下载图片到本地目录
def down_load(img_src,img_title):
    down_load='download'
#     判断当前目录下是否有download文件夹 如果没有则先创建文件夹
    if not os.path.exists(down_load):
        os.mkdir(down_load)
    
#     下载
    try:
        print(img_src,img_title)
        urlretrieve(img_src,down_load+'/'+img_title+'.jpg')
        print(img_title+"下载中........")
    except:
        print("下载失败.....")
    
    

if __name__ =='__main__':
    spider_xiaohua_content()

200
发现校花
http://www.xiaohuar.com/https://wx.dxs6.cn/api/xiaohua/upload/min_img/20180918/201809189fxSpDRUad.jpg 鄞州职业高级中学校花翁川美
下载失败.....
http://www.xiaohuar.com/https://wx.dxs6.cn/api/xiaohua/upload/min_img/20180913/201809131vhKSH50t9.jpg 河北医科大学校花孙佳萌
下载失败.....
http://www.xiaohuar.com/https://wx.dxs6.cn/api/xiaohua/upload/min_img/20180909/20180909NgpOY4F7jU.jpg 中国传媒大学校花刘郁文
下载失败.....
http://www.xiaohuar.com//d/file/20180907/075025972927c8e7541b09e272afe5cc.jpg 集美大学校花浦樱
集美大学校花浦樱下载中........
http://www.xiaohuar.com//d/file/20180905/3e432df2173ac4f25ffb14b6f94e1bc7.jpg 同济大学校花陈艺嘉
同济大学校花陈艺嘉下载中........
http://www.xiaohuar.com//d/file/20151128/0af3eca150bb941be15d13fa6777c62a.jpg 无锡太湖学院校花刘幸婷
无锡太湖学院校花刘幸婷下载中........
http://www.xiaohuar.com/d/file/20141117023053110.jpg 大连海事大学校花王玉珏
大连海事大学校花王玉珏下载中........
http://www.xiaohuar.com//d/file/20180905/3e432df2173ac4f25ffb14b6f94e1bc7.jpg 同济大学校花陈艺嘉
同济大学校花陈艺嘉下载中........
http://www.xiaohuar.com//d/file/20150831/f83f28338e46d0be2d1c3deded0a27e4.jpg 南京师范大学校花王曦
南京师范大学校花王曦下载中........
http://www.xiaohuar.com//d/file/20150924/5aa6cd38ef6306a7da3a6659e5e74a5e.jpg 郑州七中校花张乐妍
郑州七中校花张乐妍下载中........
中学校花
http://www.xiaohuar.com/d/file/20150221175512120.jpg 石狮市石光中学校花庄芬妮
石狮市石光中学校花庄芬妮下载中........
http://www.xiaohuar.com//d/file/6c1b80cd162815228ef0d5d81453ee0f.jpg 南昌现代外国语校花魏柔
南昌现代外国语校花魏柔下载中........
http://www.xiaohuar.com/d/file/20150307163034156.jpg 韩国校花韩国90后童颜巨乳车模崔瑟琪私照精选
韩国校花韩国90后童颜巨乳车模崔瑟琪私照精选下载中........
http://www.xiaohuar.com//d/file/354090d8cf5344df7b1418e58cd93348.jpg 四川音乐学院校花柳侑绮艺术照柳侑绮图片柳侑绮qq柳侑绮sevenbaby
四川音乐学院校花柳侑绮艺术照柳侑绮图片柳侑绮qq柳侑绮sevenbaby下载中........
http://www.xiaohuar.com/d/file/20150123014054167.jpg 全国校花ChinaJoy2014：童颜巨乳 ShowGirl小孽
全国校花ChinaJoy2014：童颜巨乳 ShowGirl小孽下载中........
http://www.xiaohuar.com/d/file/20150414092532162.jpg 网络红人校花ChinaJoy清凉ShowGirl郭婷瑜晒性感美照 引粉丝疯狂点赞
下载失败.....
http://www.xiaohuar.com/d/file/20150809215925105.jpg 石家庄一中校花张玥
石家庄一中校花张玥下载中........
http://www.xiaohuar.com//d/file/c50b371570d3834bae8ac3fdbe9f9713.jpg 鄱阳一中校花李莉
鄱阳一中校花李莉下载中........
http://www.xiaohuar.com//d/file/055dbb636d6baffaf227f0fbc7ef095c.png 南京中华中等专业学校校花蔡苑
南京中华中等专业学校校花蔡苑下载中........
http://www.xiaohuar.com//d/file/20151002/0138e7549f17df524befe862609eaac1.jpg 苏州市吴中区金庭镇西山中学校花殇梦
苏州市吴中区金庭镇西山中学校花殇梦下载中........
校草男神
http://www.xiaohuar.com/https://wx.dxs6.cn/api/xiaohua/upload/min_img/20180904/20180904QQZlPRiXVR.jpg 广东南方职业学院校草邓晓亮
下载失败.....
http://www.xiaohuar.com//d/file/20180729/7b07a58c944dc1991b22072465bb2036.jpg 西岸中学校草关志文
西岸中学校草关志文下载中........
http://www.xiaohuar.com//d/file/20180711/9204f5126d240e5c5561ec47f35dd06e.jpg 防灾学院校草赵小花
防灾学院校草赵小花下载中........
http://www.xiaohuar.com//d/file/20180218/a6a1286c25b80ce5633eabee94aec1dc.jpg 郑大体院校草林夕
郑大体院校草林夕下载中........
http://www.xiaohuar.com//d/file/20170910/bd994478c1962df7fdab432e93827ed5.jpg 南京信息职业技术学院校草缪糊糊
南京信息职业技术学院校草缪糊糊下载中........
http://www.xiaohuar.com//d/file/20170824/3bdd62d5c469aebe5c32a0221d7b5a85.jpg 四川师范大学校草明正华
四川师范大学校草明正华下载中........
http://www.xiaohuar.com//d/file/20170820/92b1ce68cd657d01bbd4f2f377fc8343.jpg 淄博职业学院校草代连伟
淄博职业学院校草代连伟下载中........
http://www.xiaohuar.com//d/file/20170721/5042afd3dc343aaae515347d92fc43fc.jpg 禹城三中校草苑小琛
禹城三中校草苑小琛下载中........
http://www.xiaohuar.com//d/file/20170721/c1267352583a64f1c334d253699efb1d.jpg 禹城三中校草Only、琛
下载失败.....
http://www.xiaohuar.com//d/file/20170702/7c5c10dbbe719dadedc9fd0e24fbc136.jpg 惠州经济职业技术学院校草川易辰
下载失败.....
网络美女
http://www.xiaohuar.com//d/file/20160408/bf5819982372761ea8c2bcade410fb9b.jpg 模特赵雪高清写真
模特赵雪高清写真下载中........
http://www.xiaohuar.com/d/file/20150503184555116.jpg 韩国第一萝莉Yurisa颜值逆天！海量性感写真曝光
韩国第一萝莉Yurisa颜值逆天！海量性感写真曝光下载中........
http://www.xiaohuar.com/d/file/20150701125700125.jpg 性感爆乳美女mmLily比基尼诱惑写真
性感爆乳美女mmLily比基尼诱惑写真下载中........
http://www.xiaohuar.com//d/file/20150826/26cd61e93e2eec0a969552bb6b223935.jpg 马来西亚的洋娃娃美女 
马来西亚的洋娃娃美女 下载中........
http://www.xiaohuar.com/d/file/20150630151831172.jpg 台湾极品ShowGirl姚采辰做俯卧撑 衣服都在哀嚎了
台湾极品ShowGirl姚采辰做俯卧撑 衣服都在哀嚎了下载中........
http://www.xiaohuar.com/d/file/20150702184009144.jpg 自称32C奶的超凶八字奶正妹~龚颖涵~
自称32C奶的超凶八字奶正妹~龚颖涵~下载中........
http://www.xiaohuar.com/d/file/20150404195713137.jpg 90后童颜巨乳美女室内自拍
90后童颜巨乳美女室内自拍下载中........
http://www.xiaohuar.com/d/file/20150503184006104.jpg 韩国第一美少女”Yurisa COSPLAY舰娘
韩国第一美少女”Yurisa COSPLAY舰娘下载中........
http://www.xiaohuar.com//d/file/20151129/2f0ad8fa84e21065a306fbfafdcb89cf.jpg 熊吖BOBO的自拍照[2P]
熊吖BOBO的自拍照[2P]下载中........
http://www.xiaohuar.com/d/file/20150814223504155.jpg 俏皮妹子史雨妖娆多姿甜美可人
俏皮妹子史雨妖娆多姿甜美可人下载中........
校花视频
http://www.xiaohuar.com//d/file/20161208/878a9b4f94d401a8c2651f2b04f8c94e.jpg 美白嫩的美拍视频视频,小美女请看过来哦
美白嫩的美拍视频视频,小美女请看过来哦下载中........
http://www.xiaohuar.com//d/file/20161113/adbdd1dd3924922398f2f6efc31ffee7.jpg 美女摇啊摇的秒拍视频
美女摇啊摇的秒拍视频下载中........
http://www.xiaohuar.com//d/file/20161103/c7b58bfaf538f2ede89a4f60b1ecc29b.jpg 美女直播脱丝袜全过程
美女直播脱丝袜全过程下载中........
http://www.xiaohuar.com//d/file/20161102/68e926a6a685b1ee0a012e89d626397a.jpg 豹纹内衣美女自拍福利
豹纹内衣美女自拍福利下载中........
http://www.xiaohuar.com//d/file/20161102/4bb76725c4d4ac5077b9a1c594c5cbb2.jpg 微拍福利石榴视频
微拍福利石榴视频下载中........
http://www.xiaohuar.com//d/file/20161027/f070412c9571ee1e5cbde31a816f3bad.jpg 美腿丝袜诱惑
美腿丝袜诱惑下载中........
http://www.xiaohuar.com//d/file/20161027/185dc525e53fcd53cc30dd9e94f41114.jpg 脱没脱你们自己看
脱没脱你们自己看下载中........
http://www.xiaohuar.com//d/file/20161016/e846aa103fe104b54b4e8a9ede378b9d.jpg 美女浴室自拍
美女浴室自拍下载中........
http://www.xiaohuar.com//d/file/20161016/64a7e1893ccbc07a302a176480df3e79.jpg 极致诱人的羞涩可餐 ，女孩自拍照同一个人，美女自拍
极致诱人的羞涩可餐 ，女孩自拍照同一个人，美女自拍下载中........
http://www.xiaohuar.com//d/file/20160619/5c3ede0e1d50f38adbfe8c34afd46771.jpg 刘乔安12分30秒完整版
刘乔安12分30秒完整版下载中........
校花动态
http://www.xiaohuar.com//d/file/8c81e053010f8cf735b37c2959b71fea.jpg 校花宿舍一字马劈腿 技惊四座
校花宿舍一字马劈腿 技惊四座下载中........
http://www.xiaohuar.com//d/file/20150902/5ee843922a8a3d7d2d991d590c6ee8e8.jpg 华中科技大学武昌分校校花是谁？小周冬雨戴钰写真曝光
华中科技大学武昌分校校花是谁？小周冬雨戴钰写真曝光下载中........
http://www.xiaohuar.com//d/file/news/20150714/1436873032722933.jpg 非诚勿扰张馨个人资料微博 “酱鸭西施”张馨介绍
非诚勿扰张馨个人资料微博 “酱鸭西施”张馨介绍下载中........
http://www.xiaohuar.com/d/file/20150728165039156.jpg 专访【江苏师范大学校花】曹米娅
专访【江苏师范大学校花】曹米娅下载中........
http://www.xiaohuar.com//d/file/news/20150712/1436662873125618.jpg 泰国最美校花糖果妹走红 自拍照必露胸
泰国最美校花糖果妹走红 自拍照必露胸下载中........
http://www.xiaohuar.com//d/file/news/20150425/1429936194138665.jpg 《校花与学神》改名《电影新青年》
《校花与学神》改名《电影新青年》下载中........
http://www.xiaohuar.com//d/file/news/20150808/1439017505130394.jpg 专访校花showgirl周维娜个人资料身高体重三围
专访校花showgirl周维娜个人资料身高体重三围下载中........
http://www.xiaohuar.com//d/file/news/20150815/1439614970659375.jpg 孟十朵 简介 网络红人孟十朵个人资料微博
孟十朵 简介 网络红人孟十朵个人资料微博下载中........
http://www.xiaohuar.com//d/file/news/20150819/1439988217643583.jpg 浙江传媒学院校花吹灭生日蜡烛后震惊校园
浙江传媒学院校花吹灭生日蜡烛后震惊校园下载中........
http://www.xiaohuar.com//d/file/news/20150812/1439349830965374.jpg 香港浸会大学美女林沁园比喻为黄金比例身材校花
香港浸会大学美女林沁园比喻为黄金比例身材校花下载中........