Python分类爬取医疗信息网站图片，存入数据库和本地

这是我参与2022首次更文挑战的第29天，活动详情查看：2022首次更文挑战

这里写图片描述

一、前言

今天给大家分享的是爬虫实战：爬取医疗信息网站的图片及分类存储到本地和存储到MySql数据库。

读完本文，可能需要10到20分钟不等，你可以学到：Xpath语法再详解，实战，翻页、多页面爬取思想，数据存储三种方法：下载到本地、存储到Mysql数据库、存储到本地csv文件，开学前最后一批干货，满满的。

二、基本知识回顾

1.Xpath基本使用

安装方法

直接推荐方法：豆瓣源安装(其他安装方法自己可百度)

pip install -i https://pypi.douban.com/simple lxml
复制代码

2.数据库操作之Pymysql

1）安装方法

直接推荐方法：豆瓣源安装(其他安装方法自己可百度)

pip install -i https://pypi.douban.com/simple/ pymysql
复制代码

2）基本使用介绍

import pymysql

# 数据库连接
conn = pymysql.connect(host = "localhost",port = 3306,user = "你的数据库登录名",
password = "你的数据库登录名",charset="utf8",database = "你的数据库名称")

# 使用cursor()方法获取操作游标
cur = conn.cursor()
# 执行sql语句(可以是增删查改任意操作)
cur.execute(sql)
# 提交会话
conn.commit()
# 关闭数据库连接

复制代码

三、看代码，边学边敲边记Xpath系统实战训练

1.图解我们要爬取的网站

网站结构图解我们爬取的主页面是http://www.med361.com,它的下面有很多医疗商品类别(图中我们用1：n的形式给出)，而每一个category(类别)下又有多个product(商品)(图中我们用1：n的形式给出)，当然进入详细商品主页面后，还会有很多url,后面爬取时细说。

2.访问主页面，利用Xpath来获取所有商品类别url

(1)基础代码

'''
author : 简说Python 老表
goal : 爬取医疗网站图片
'''

import requests
from lxml import etree

def get_respones_data(branch_url):
	# requests 发送请求
	get_response = requests.get(branch_url)
	# 将返回的响应码转换成文本（整个网页）
	get_data = get_response.text
	# 解析页面
	a = etree.HTML(get_data)
	return a
# 主页面
mian_url = "http://www.med361.com"
# 发送请求，获取Xpath格式页面
response_01 = get_respones_data(mian_url)

# 不同医疗商品类别url
# 上一页
branch_url_1 = response_01.xpath("/html/body/div[2]/div/div/div/div[1]/ul/li/a/@href")
# 下一页
branch_url_2 = response_01.xpath("/html/body/div[2]/div/div/div/div[2]/ul/li/a/@href")
print(branch_url_1)
print(branch_url_2)
复制代码

(2)Xpath路径选择分析

图片分析：

商品类别url分析01 商品类别url分析02

文字解说：

# 上一页
"/html/body/div[2]/div/div/div/div[1]/ul/li[1]/a"
"/html/body/div[2]/div/div/div/div[1]/ul/li[4]/a"
"/html/body/div[2]/div/div/div/div[1]/ul/li[10]/a"
# 下一页
"/html/body/div[2]/div/div/div/div[2]/ul/li[1]/a"
复制代码

上面是我选取的几个不同类别的医疗商品的Xpath路径，可以发现规律，在改变的只有最后一个li标签，而我们要获取的是a标签的href属性(页面url在里面)，而且上一页与下一页的区别为最后一个div序号不同，所以Xpath路径为：

"/html/body/div[2]/div/div/div/div[1]/ul/li/a/@href"
and
"/html/body/div[2]/div/div/div/div[2]/ul/li/a/@href"
复制代码

(3)运行结果为

商品类别url获取结果

(4)修正数据

通过结果我们易看出，我们所获取到的url和我们想象中还是有差别的，比如没有www或者http,嘿嘿，不过通过页面跳转分析我们知道我们现在获取到的是商品分类url的后面部分，而前面部分则为：http://www.med361.com,处理一下：

# 合并所有类别
branch_url = branch_url_1 + branch_url_2
# 将url处理成我们能直接访问的类型
for i in range(len(branch_url)):
	branch_url[i] = mian_url + branch_url[i].replace('/..','')
print(branch_url)
复制代码

运行结果：商品类别url 到目前为止，这一部分我们就完成了。

3.访问分页面，利用Xpath来获取所有商品详情url

(1)基础代码

# 某个医疗商品类别url
branch_url_01 = "http://www.med361.com/category/c-456-b0.html"
# 发送请求
response_02 = get_respones_data(branch_url_01)
# Xpath 获取所有单个商品url
url_list = response_02.xpath('//*[@id="ddbd"]/form/dl/dd[2]/a/@href')
# 将url处理成我们能直接访问的类型
for i in range(len(url_list)):
	url_list[i] = mian_url + url_list[i]
print(url_list)
复制代码

(2)Xpath路径选择分析

图片分析：

单个商品url Xpath路径分析

文字解说：

"//*[@id="ddbd"]/form/dl[1]/dd[2]/a"
"//*[@id="ddbd"]/form/dl[3]/dd[2]/a"
"//*[@id="ddbd"]/form/dl[9]/dd[2]/a"
复制代码

上面是我选取的几个不同的医疗商品的Xpath路径，可以发现规律，在改变的只有最后一个dl标签，而我们要获取的是a标签的href属性(页面详情url在里面)，所以Xpath路径为：

"//*[@id="ddbd"]/form/dl[9]/dd[2]/a/@href"
复制代码

(3)运行结果为

单个商品详情url

(4)补充：翻页

图片介绍

翻页介绍

代码实现

# 某个医疗商品类别url
branch_url_01 = "http://www.med361.com/category/c-456-b0.html"
# 发送请求
response_02 = get_respones_data(branch_url_01)
# Xpath 获取所有单个商品url
url_list = response_02.xpath('//*[@id="ddbd"]/form/dl/dd[2]/a/@href')
# Xpath 获取所有翻页url
url_paging = response_02.xpath('//*[@id="pager"]/a/@href')
# 将翻页url处理成我们能直接访问的类型
for i in range(len(url_paging)):
	url_paging[i] = mian_url + url_paging[i].replace('/..','')
# 将商品url处理成我们能直接访问的类型
for i in range(len(url_list)):
	url_list[i] = mian_url + url_list[i]
print(url_list)
for i in range(len(url_paging)):
	time.sleep(1)
	# 发送请求
	response_03 = get_respones_data(branch_url_01)
	# Xpath 获取所有单个商品url
	url_list = response_03.xpath('//*[@id="ddbd"]/form/dl/dd[2]/a/@href')
	# 将商品url处理成我们能直接访问的类型
	for i in range(len(url_list)):
		url_list[i] = mian_url + url_list[i]
	print(url_list)
复制代码

到目前为止，这一部分我们也完成了。

4.访问单个商品页面，利用Xpath来获取商品名称和介绍图片url

(1)基础代码

url_one = "http://www.med361.com/product/p-4357.html"
response_04 = get_respones_data(url_one)


# 1.医疗器材名称（Medical equipment name）
m_e_name = response_04.xpath('//*[@id="product-intro"]/ul/li[1]/h1/text()')[0].strip()
print("医疗器材名称:" + m_e_name)
# 2.图片介绍(Picture introduction)
picture_i = response_04.xpath('//*[@id="content"]/div/div[3]/div[2]/div/div/div[1]/div[2]/div/img/@src')
# 解决获取图片链接不完全问题
for i in range(len(picture_i)):
	if mian_url not in picture_i[i]:
		picture_i[i] = mian_url + picture_i[i]
print(picture_i)
复制代码

(2)Xpath路径选择分析

图片分析：

单个商品图片介绍Xpath

文字解说：

'//*[@id="content"]/div/div[3]/div[2]/div/div/div[1]/div[2]/div[4]/img'
'//*[@id="content"]/div/div[3]/div[2]/div/div/div[1]/div[2]/div[5]/img'
'//*[@id="content"]/div/div[3]/div[2]/div/div/div[1]/div[2]/div[6]/img'
复制代码

上面是我选取的几个不同的医疗商品的图片的Xpath路径，可以发现规律，在改变的只有最后一个div标签，而我们要获取的是img标签的src属性(页面详情url在里面)，所以Xpath路径为：

"//*[@id="content"]/div/div[3]/div[2]/div/div/div[1]/div[2]/div/img/@src"
复制代码

(3)运行结果为

单个商品详细信息到目前为止，这一部分我们也完成了。

5.整合上面的2、3、4，系统爬取所有类别所有商品的所有名称和图片信息

(1)基础代码

import requests
from lxml import etree
import time,random

# 获取事先爬好、检测了的代理ip
with open("new_http.txt",encoding="utf-8") as file :
	t0 = file.read()
	s0 = t0.split(",")

def get_respones_data(branch_url):
	# 获取代理ip
	i = random.randint(0,len(s0)-2)
	proxies = {
			"http": s0[i]
	}
	# requests 发送请求
	get_response = requests.get(branch_url)
	# 将返回的响应码转换成文本（整个网页）
	get_data = get_response.text
	# 解析页面
	a = etree.HTML(get_data)
	return a

# 主页面
mian_url = "http://www.med361.com"
# 发送请求
response_01 = get_respones_data(mian_url)

# 不同医疗商品类别url
branch_url_1 = response_01.xpath("/html/body/div[2]/div/div/div/div[1]/ul/li/a/@href")
branch_url_2 = response_01.xpath("/html/body/div[2]/div/div/div/div[2]/ul/li/a/@href")
# 合并所有类别
branch_url = branch_url_1 + branch_url_2
# 将url处理成我们能直接访问的类型
for i in range(len(branch_url)):
	branch_url[i] = mian_url + branch_url[i].replace('/..','')
print(branch_url)   # 所有类别

# 商品名称集
commodity_name = []
# 商品介绍图片集
commodity_intr = []

for i in range(len(branch_url)):      # 不同类别
	time.sleep(random.randint(1,3))
	response_02 = get_respones_data(branch_url[i])
	url_list_all = []
	# Xpath 获取所有单个商品url
	url_list = response_02.xpath('//*[@id="ddbd"]/form/dl/dd[2]/a/@href')
	# Xpath 获取所有翻页url
	url_paging = response_02.xpath('//*[@id="pager"]/a/@href')
	# 将翻页url处理成我们能直接访问的类型
	for j in range(len(url_paging)):
		url_paging[j] = mian_url + url_paging[j].replace('/..', '')
	# 将商品url处理成我们能直接访问的类型
	for j in range(len(url_list)):
		url_list[j] = mian_url + url_list[j]
	url_list_all = url_list
	# 单个类别翻页
	for n in range(len(url_paging)):
		time.sleep(1)
		# 发送请求
		response_03 = get_respones_data(url_paging[n])
		# Xpath 获取所有单个商品url
		url_list = response_03.xpath('//*[@id="ddbd"]/form/dl/dd[2]/a/@href')
		# 将商品url处理成我们能直接访问的类型
		for j in range(len(url_list)):
			url_list[j] = mian_url + url_list[j]
		url_list_all = url_list_all + url_list      # 获取了单个类别所有商品url
	
	for m in range(len(url_list_all)):
		time.sleep(1)
		response_03 = get_respones_data(url_list_all[m])
		# 1.医疗器材名称（Medical equipment name）
		m_e_name = response_03.xpath('//*[@id="product-intro"]/ul/li[1]/h1/text()')[0].strip()
		commodity_name.append(m_e_name)      # 获得商品名称
		# print("医疗器材名称:" + m_e_name)
		# 2.图片介绍(Picture introduction)
		picture_i = response_03.xpath('//*[@id="content"]/div/div[3]/div[2]/div/div/div[1]/div[2]/div/img/@src')
		# 解决获取图片链接不完全问题
		for i in range(len(picture_i)):
			if mian_url not in picture_i[i]:
				picture_i[i] = mian_url + picture_i[i]
		commodity_intr.append(picture_i)
		# print(picture_i)         # 获得介绍图片
复制代码

(2)文件下载存储到本地

# 下载图片函数
'''
folder_name : 文件夹名称，按图片简介
picture_address ： 一组图片的链接
'''
def download_pictures(folder_name, picture_address):
	# 在G盘必须有 Medical这个文件夹
	file_path = r'G:\Medical\{0}'.format(folder_name)
	if not os.path.exists(file_path):
		# 新建一个文件夹
		os.mkdir(os.path.join(r'G:\Medical', folder_name))
	# 下载图片保存到新建文件夹
	for i in range(len(picture_address)):
		# 下载文件（wb,以二进制格式写入）
		with open(r'G:\Medical\{0}\0{1}.jpg'.format(folder_name,i+1), 'wb') as f:
			time.sleep(1)
			# 根据下载链接，发送请求，下载图片
			response = requests.get(picture_address[i])
			f.write(response.content)
复制代码

把代码加到正确位置，并调用该函数。

(3)存储到MySql数据库

Mysql里的medical数据库中新建一个表：

CREATE TABLE `medical`.`data_med` (
  `id` INT NOT NULL AUTO_INCREMENT,
  `med_name` VARCHAR(200) NULL,
  `url_01` VARCHAR(200) NULL,
  `url_02` VARCHAR(200) NULL,
  `url_03` VARCHAR(200) NULL,
  `url_04` VARCHAR(200) NULL,
  `url_05` VARCHAR(200) NULL,
  `url_06` VARCHAR(200) NULL,
  `url_07` VARCHAR(200) NULL,
  `url_08` VARCHAR(200) NULL,
  `url_09` VARCHAR(200) NULL,
  `url_10` VARCHAR(200) NULL,
  PRIMARY KEY (`id`),
  UNIQUE INDEX `id_UNIQUE` (`id` ASC))
ENGINE = InnoDB
DEFAULT CHARACTER SET = utf8;
复制代码

数据保存到数据库：

# 数据库连接
conn = pymysql.connect(host = "localhost",port = 3306,user = "你的数据库登录名",
password = "你的数据库登录名",charset="utf8",database = "你的数据库名称")

def sql_insert(sql):
	cur = conn.cursor()
	cur.execute(sql)
	conn.commit()
复制代码

把代码加到正确位置，并调用该函数。

(3)字段内容存储到`csv`文件

# 存储进CSV文件
'''
list_info : 存储内容列表
'''
def file_do(list_info):
	# 获取文件大小(先新建一个csv文件)
	file_size = os.path.getsize(r'G:\medical.csv')
	if file_size == 0:     # 只打印一次表头
		# 表头
		name = ['名称简介','url_01','url_02','url_03','url_04','url_05','url_06','url_07','url_08','url_09','url_10']
		# 建立DataFrame对象
		file_test = pd.DataFrame(columns=name, data=list_info)
		# 数据写入
		file_test.to_csv(r'G:\medical.csv', encoding='utf-8',index=False)
	else:
		with open(r'G:\medical.csv','a+',newline='') as file_test :
			# 追加到文件后面
			writer = csv.writer(file_test)
			# 写入文件
			writer.writerows(list_info)
复制代码

把代码加到正确位置，并调用该函数。

(4)运行效果简单展示

运行效果01 运行效果02 运行效果03

四、后言

以上代码可能需要调试，不过大概的思路是这样的，分享本文，主要想让大家学学我爬取我网页的一个思路，大家不必照着我的敲。

坚持 and 努力：终有所获。

点赞在看留言转发，四连支持，原创不易。好的，那么下期见，我是爱猫爱技术，更爱思思的老表⁽⁽ଘ( ˙꒳˙ )ଓ⁾⁾