# 需求：解析下载图片数据
# 网站：https://pic.netbian.com/4kdongman/
import requests
from lxml import etree
# 请求主页面，获取主页源代码：
def get_main_page_souce(url):
headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.75 Safari/537.36 Edg/100.0.1185.36"
}
resp = requests.get(url, headers=headers)
resp.encoding = "gbk"
html = resp.text
resp.close()
return html
# 请求子页面，保存图片：
def request_child_url_and_save_img(child_url):
headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.75 Safari/537.36 Edg/100.0.1185.36"
}
resp = requests.get(child_url, headers=headers)
# 解析获取到高清大图的url：
resp.encoding = "gbk"
child_html = resp.text
tree = etree.HTML(child_html)
# 图片名称：
img_name = tree.xpath('//div[@class="view"]/div[@class="photo-pic"]/a/img/@title')[0]
# 图片url：
img_url = "https://pic.netbian.com" + tree.xpath('//div[@class="view"]/div[@class="photo-pic"]/a/img/@src')[0]
print(img_url, img_name) # 获取到图片的url和名称
# 关闭上面的请求：
resp.close()
# 对图片的url发起请求：
img_resp = requests.get(img_url)
img_content = img_resp.content
# 关闭请求：
img_resp.close()
# 保存图片：
with open(f"./4/{
img_name}.jpg", "wb") as f:
f.write(img_content)
# 通过xpath解析获取子页面的url，并调用请求子页面的方法获取子页面中的高清大图保存
def analyze_by_xpath_and_get_target_content(html):
tree = etree.HTML(html)
# 先提取出子页面的url：
# 1. 找到url的后半截：
href_list = tree.xpath('//div[@class="slist"]/ul/li/a/@href')
child_url_list = ["https://pic.netbian.com" + href for href in href_list]
for child_url in child_url_list:
# print(child_url)
request_child_url_and_save_img(child_url)
def main():
# 实现翻页爬取：（爬取前五页的数据）
page_list = ['index'] + [f'index_{
i}' for i in range(2, 6)]
count = 1
for page in page_list:
print(f"正在爬取第{
count}页")
url = f"https://pic.netbian.com/4kdongman/{
page}.html"
# 获取主页面源代码：
html = get_main_page_souce(url)
# 解析并提取数据
analyze_by_xpath_and_get_target_content(html)
count += 1
if __name__ == '__main__':
main()
运行结果：
控制台打印的图片url和名称：（可访问并下载）
C:\Users\lv\Desktop\爬虫（B站）二\venv\Scripts\python.exe "C:/Users/lv/Desktop/爬虫（B站）二/3. 第三章 数据解析/4. 4K图片解析爬取.py"
正在爬取第1页
https://pic.netbian.com/uploads/allimg/220410/183556-1649586956409a.jpg 孤勇者 双城之战 金克丝 厚涂 孤勇者4k壁纸
https://pic.netbian.com/uploads/allimg/220407/005709-16492642292e8d.jpg 碧蓝航线 黑丝袜 美腿 水手服 白裤袜 绫波 5k动漫壁纸
https://pic.netbian.com/uploads/allimg/220402/011838-16488335180ef8.jpg 巴图BaTu 雪地 披风 公主 蓝裙 彼岸图网会员原创4k壁纸
https://pic.netbian.com/uploads/allimg/220320/165420-16477664603805.jpg 原神 雷电将军 同人 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/210423/224716-1619189236e4d9.jpg 赛博朋克风格奇幻少女 集原美电脑4k壁纸3840x2160
https://pic.netbian.com/uploads/allimg/210317/001935-1615911575642b.jpg 猫羽雫 蓝色眼睛女子 尾巴 女孩子 猫耳 猫 可爱二次元动漫4k壁纸
https://pic.netbian.com/uploads/allimg/220324/001820-1648052300551e.jpg 《巴图BaTu》原创 可爱风少女 女孩 粉色裙子 水母 唯美好看4k高清壁纸
https://pic.netbian.com/uploads/allimg/210920/165135-16321278956369.jpg 短发女孩 袜子 窗户 云 4k壁纸
https://pic.netbian.com/uploads/allimg/220312/002908-16470161489720.jpg 猫耳 兽耳 可爱女孩子 蓝色眼睛 二次元动漫4k壁纸3840x2160
https://pic.netbian.com/uploads/allimg/210812/234309-1628782989eba1.jpg 天空小姐姐 黑色唯美裙子 厚涂画风 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/190824/212516-15666531161ade.jpg 下午 趴在桌子的女孩4k动漫壁纸3840x2160
https://pic.netbian.com/uploads/allimg/220211/004115-16445112750af5.jpg 蓝色短发女生 白色毛衣 黑色裤袜 动漫美女4k壁纸
https://pic.netbian.com/uploads/allimg/210528/203909-16222055495bc3.jpg 四个女仆 坐地板 黑裤袜 黑丝美腿 房间 沙发 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/210512/233947-162083398720e2.jpg 3D绘画 女仆 美腿 黑丝 高跟鞋 两位女仆进门后的一幕 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/210519/003255-1621355575e57d.jpg 两位女仆 黑裤袜黑丝 打开门 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/210716/001831-1626365911d02e.jpg 两个女仆 女仆装 黑裤袜 黑色高跟鞋 油灯 楼梯4k动漫壁纸
https://pic.netbian.com/uploads/allimg/210701/230830-16251521109299.jpg 三个女仆 黑裤袜黑丝美腿 女仆装 沙发 白色透明窗帘 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220402/013253-1648834373b4e7.jpg 巴图BaTu 雪地 披风 公主 蓝裙 彼岸图网会员原创3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220402/013149-1648834309d579.jpg 巴图BaTu 雪地 披风 公主 蓝裙 彼岸图网会员原创iPad平板电脑壁纸
https://pic.netbian.com/uploads/allimg/220330/003346-164857162668bd.jpg 集原美 湖光中的睡美人4k电脑壁纸
正在爬取第2页
https://pic.netbian.com/uploads/allimg/220215/233510-1644939310992f.jpg 彼岸图网会员原创 巴图BATU 古风女孩 丝绸 夜晚海 月亮 蝴蝶4k高清壁纸
https://pic.netbian.com/uploads/allimg/200618/005100-1592412660d6f4.jpg 长发少女黑色吊带裙 好看的4k动漫美女壁纸3840x2160
https://pic.netbian.com/uploads/allimg/210203/232830-1612366110c937.jpg 可爱女孩马尾辫 绿色眼睛 脸 好看4k动漫人物壁纸
https://pic.netbian.com/uploads/allimg/211208/234502-16389783025c25.jpg 女学生 一排美腿 裤袜 黑丝袜4k动漫壁纸
https://pic.netbian.com/uploads/allimg/211120/005250-1637340770973a.jpg 阳光透过窗户 女孩 唯美好看动漫美女4k壁纸
https://pic.netbian.com/uploads/allimg/220325/010127-164814128703e9.jpg 巴图原创 可爱风动漫美女小姐姐 粉色短裙 好看美腿 水母iPad平板电脑壁纸
https://pic.netbian.com/uploads/allimg/220129/143412-164343805291d9.jpg 红色眼睛女孩 面纱 尖耳朵 唯美厚涂画 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220215/233307-16449391870ad5.jpg 敦煌飞天 女孩 佛像 3d美女4k动漫壁纸3840x2160
https://pic.netbian.com/uploads/allimg/220210/233649-1644507409b161.jpg 灌篮高手结婚漫画 灌篮高手结婚照全家福原图4k高清壁纸
https://pic.netbian.com/uploads/allimg/210215/234842-16134041221aad.jpg 个性女孩 绿色眼睛 双马尾动漫少女4k壁纸
https://pic.netbian.com/uploads/allimg/220308/010609-16466727691950.jpg 美女 武士刀 老虎 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220317/011822-16474511023dd0.jpg 3d美女 项链十字架 伞 iPad平板电脑壁纸
https://pic.netbian.com/uploads/allimg/220315/003447-16472756877bed.jpg 女孩 少女 办公室 书本 水杯 台灯 好看厚涂画风4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220311/000819-16469284997296.jpg 原神 神里绫华 宵宫 4k高清壁纸
https://pic.netbian.com/uploads/allimg/220304/003734-16463254541d4a.jpg 斗罗大陆小舞唯美3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220304/003111-16463250715885.jpg 斗罗大陆唯美小舞平板电脑iPad高清壁纸
https://pic.netbian.com/uploads/allimg/220304/001005-16463238059274.jpg 斗罗大陆小舞唯美4k高清壁纸
https://pic.netbian.com/uploads/allimg/220308/012544-164667394450dc.jpg 美女 武士刀 老虎 唯美动漫iPad平板电脑壁纸
https://pic.netbian.com/uploads/allimg/220308/012314-1646673794cffa.jpg 女神 美女 武士刀 老虎 3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220301/005401-16460672410178.jpg 碧蓝航线 短发美女 美腿 黑丝袜 扇子 4k壁纸
正在爬取第3页
https://pic.netbian.com/uploads/allimg/220301/004630-16460667904dd2.jpg 崩坏3布洛妮娅5k壁纸竖屏
https://pic.netbian.com/uploads/allimg/220228/191852-16460471327184.jpg 原神神里綾人4k壁纸
https://pic.netbian.com/uploads/allimg/220228/174920-1646041760ef38.jpg 原神申鹤4k电脑壁纸
https://pic.netbian.com/uploads/allimg/220227/233025-16459758255057.jpg 绘梨衣4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220225/233341-16458032215d1b.jpg 灵笼白月魁 白老板4k壁纸
https://pic.netbian.com/uploads/allimg/220225/224226-16458001461d27.jpg 原神优菈4k电脑壁纸
https://pic.netbian.com/uploads/allimg/220225/223502-16457997022e64.jpg 原神 盛夏 海岛 大冒险4k壁纸
https://pic.netbian.com/uploads/allimg/220225/221617-1645798577db75.jpg 原神和煦希望之风4k壁纸
https://pic.netbian.com/uploads/allimg/220225/004030-1645720830bfd9.jpg 原神 风华节 萤 温迪 派蒙 芭芭拉 原神3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220225/003720-1645720640e51c.jpg 原神 风华节 萤 温迪 派蒙 芭芭拉 原神4k高清壁纸
https://pic.netbian.com/uploads/allimg/220219/000655-1645200415e8ef.jpg 猫羽雫 猫耳 姐妹 蓝色眼睛 萌照 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220216/104600-1644979560f8ab.jpg 灌篮高手结婚漫画 灌篮高手结婚照全家福6k高清壁纸
https://pic.netbian.com/uploads/allimg/220216/104442-16449794820c73.jpg 灌篮高手结婚漫画 灌篮高手结婚照全家福平板iPad壁纸
https://pic.netbian.com/uploads/allimg/220215/235124-1644940284d8c1.jpg 蓝色短发女生 白色毛衣 黑色裤袜3440x1440动漫壁纸
https://pic.netbian.com/uploads/allimg/220214/013344-16447736248939.jpg 唯美仙女 树 鱼塘 鱼 荷花 古风美女5k高清壁纸
https://pic.netbian.com/uploads/allimg/220214/012534-164477313483c7.jpg 3d短发女孩 脸 眼睛 动漫美女人物4k电脑壁纸
https://pic.netbian.com/uploads/allimg/220213/164457-16447418974a21.jpg 短发3d美女 人物 脸 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220311/000959-1646928599ff3e.jpg 原神 神里绫华 宵宫3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220215/234023-16449396231903.jpg 彼岸图网会员原创 巴图BATU 古风女孩 丝绸 夜晚海 月亮 蝴蝶平板电脑iPad壁纸
https://pic.netbian.com/uploads/allimg/220210/233758-16445074783593.jpg 灌篮高手结婚漫画 灌篮高手结婚照全家福原图完整版3440x1440带鱼屏壁纸
正在爬取第4页
https://pic.netbian.com/uploads/allimg/220208/235146-16443355060921.jpg 天选姬国风山水风景 二次元动漫美腿美女4k壁纸
https://pic.netbian.com/uploads/allimg/220208/235030-1644335430a261.jpg 天选姬国风秋天 二次元动漫美少女4k电脑壁纸
https://pic.netbian.com/uploads/allimg/220208/234836-1644335316117d.jpg 华硕天选姬情人节可爱黑色丝袜动漫少女4k壁纸
https://pic.netbian.com/uploads/allimg/220208/234040-1644334840048d.jpg 华硕天选姬绿色眼睛动漫美女4k壁纸
https://pic.netbian.com/uploads/allimg/220208/233353-1644334433e5ed.jpg 天选姬 姐妹天使 短裙美腿4k动漫电脑壁纸
https://pic.netbian.com/uploads/allimg/220203/004447-1643820287d79a.jpg 睁一只眼闭一只眼动漫人物女孩尖耳朵 棕黄色头发 蓝色眼睛 蝴蝶 花瓣 感受阳光 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220206/164023-16441368232416.jpg 哆啦A梦 简约 超清4K电脑壁纸
https://pic.netbian.com/uploads/allimg/220204/182036-16439700361dc5.jpg 原神云堇4k电脑壁纸3840x2160
https://pic.netbian.com/uploads/allimg/220215/234715-1644940035827c.jpg 敦煌飞天 女孩 佛像 3d美女3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220330/232946-16486541863f49.jpg 海绵宝宝平板壁纸
https://pic.netbian.com/uploads/allimg/180803/084010-15332568107994.jpg 江南烧酒4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220104/234553-1641311153631c.jpg 可爱女孩 猫耳兽耳 白丝袜长筒袜 休闲吧 笔记本电脑 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220116/222845-164234332589a9.jpg 帅气红色眼睛美女 武士刀 纹身 和服 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220128/000545-1643299545d4d3.jpg 海边 船 树 靠在树上的女孩3440x1440带鱼屏动漫壁纸
https://pic.netbian.com/uploads/allimg/220128/000002-16432992026289.jpg 雨天 伞 女孩 好看动漫3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220127/223850-164329433017df.jpg 女孩子猫耳 兽耳 尾巴 猫羽雫3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220126/184124-1643193684d0f3.jpg 原神 珊瑚宫心海 水下3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220225/003912-1645720752a681.jpg 原神 风华节 萤 温迪 派蒙 芭芭拉 原神平板iPad壁纸
https://pic.netbian.com/uploads/allimg/220124/233829-164303870983d9.jpg 海绵宝宝全家福高清图4k壁纸
https://pic.netbian.com/uploads/allimg/220124/181303-164301918301be.jpg 厚涂 女孩 卷发 侧脸 头饰 耳环 4k动漫壁纸
正在爬取第5页
https://pic.netbian.com/uploads/allimg/220124/180132-16430184925847.jpg 芭芭拉泳装 水下 原神芭芭拉4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220124/171510-1643015710363a.jpg 女生 起床 晚上 都市 夜景 动漫3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220123/180902-16429325427fcb.jpg 雪中的庭院 女孩 兽耳 鸟儿3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220123/180458-16429322984784.jpg 雪中的庭院 女孩子 兽耳 鸟儿 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220123/180725-1642932445558a.jpg 雪中的庭院 女子 兽耳 鸟儿 5120x1440双屏动漫壁纸
https://pic.netbian.com/uploads/allimg/220123/171728-1642929448892b.jpg 魔女之旅 伊蕾娜3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220123/171111-164292907174d4.jpg 魔女之旅 伊蕾娜 海边 海浪动漫风景 伊蕾娜4k壁纸
https://pic.netbian.com/uploads/allimg/220123/170505-16429287051d56.jpg 四个动漫女孩美腿黑丝袜4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220121/205652-1642769812d975.jpg 女孩子 派蒙 原神4k动漫壁纸
https://pic.netbian.com/uploads/allimg/211217/225336-16397528160026.jpg 阴阳师阿离4K壁纸3840x2160
https://pic.netbian.com/uploads/allimg/220221/004515-1645375515698f.jpg 天气之子 女孩 背影 太阳 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220120/145814-164266189454db.jpg 斗笠美女 黑白 厚涂画3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220110/000951-164174459132f1.jpg 碧蓝航线 黑裤袜 黑丝袜可爱女孩欧根亲王4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220114/231414-1642173254d7dd.jpg 武士美女 斗笠 雪 4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220114/231739-16421734595eb6.jpg 兽耳 狐狸少女 尾巴 唯美厚涂画风4k动漫壁纸
https://pic.netbian.com/uploads/allimg/200511/234750-158921207008d8.jpg 女孩喝啤酒 飘窗 城市夜景 雨天 猫 好看唯美4k动漫壁纸
https://pic.netbian.com/uploads/allimg/220117/133436-16423976766b42.jpg 冬天景色 夕阳 晚霞 女孩子 风景 外廊 3440x1440动漫壁纸
https://pic.netbian.com/uploads/allimg/220117/132315-16423969951857.jpg 兽耳女孩 狐狸少女 尾巴3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220117/131812-164239669264a2.jpg 少女猫耳兽耳 白丝袜长筒袜 休闲吧 笔记本电脑 二次元动漫3440x1440带鱼屏壁纸
https://pic.netbian.com/uploads/allimg/220116/213242-1642339962af0b.jpg 晚上 女孩 猫 飘窗 星星 月亮 4k动漫壁纸
Process finished with exit code 0
本文仅供学习使用。