本来这两天是打算继续学习数据挖掘的，但是在偶然的机会下突然想去爬取下安居客的房源信息，写的程序代码比较乱，基本没有什么健壮性，函数各个功能也没有分开。感觉对于爬虫来说数据处理是一大重要的问题，本来我已经把大的方向写好了，但是总是报一些细节的错误，就是在哪里各种的调试，花费了好长时间。最后的爬取的结果如下面的图所示。
主要是整合的数据稍微的困难一点，其他的下面就直接先上代码，这个代码写的比较差，也不够优美，实在是不想在改了，调优花费的时间比写爬虫还要多。
import requests
from bs4 import BeautifulSoup
import re
from redis import StrictRedis
import xlrd
import xlwt
from xlutils.copy import copy
red = StrictRedis(host='localhost', port=6379, db=0)
s=requests.Session()#自动处理cookies，没有就无法访问详情页
redis1 = StrictRedis(host='localhost', port=6379, db=0)
global counts
counts=0#声明全局变量，用来统计爬取多少条的
def get_one_page(page):
url='https://shenzhen.anjuke.com/sale/p'+str(page)#初始的url，爬虫从这开始
header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0',
}
r=s.get(url=url,headers=header)
url_info = re.findall('https:.*?time=\d{1,}',r.text)
url_info_list=[]
for info in url_info:
# redis1.rpush('url_list', info)#这里一开始时打算用redis的但是总是报错就算了，数据库比列表性能好。
url_info_list.append(info)#获取详情页url存在列表中
#print(url_info_list)
soup=BeautifulSoup(r.text,'lxml')
#print(soup)
house_info=soup.find_all('div',class_='house-title')
house_details=soup.find_all('div',class_='details-item')
house_price=soup.find_all('div',class_='pro-price')#获取详情页的房子价格等信息
phone_list=[]#电话列表，用于存放电话信息
contact_list=[]#联系人列表，用于存放联系人信息
for url in url_info_list:
# while redis1.lpop('url_list'):
#url = redis1.lpop('url_list')#这里一开始时打算用redis的但是总是报错就算了，数据库比列表性能好。
r = s.get(url=url, headers=header)
soup1 = BeautifulSoup(r.text, 'lxml')
try:###这里总是报错添加个异常处理
contact = soup1.find('div', class_='brokercard-name').text[0:3]
if contact:
contact_list.append(contact)
else:
contact_list.append('佚名')#如果抓不到联系人信息，就补全防止异常
except:
pass
if re.findall("im_broker_id = '(\d{4,})'", r.text)[0]:#这里也总是异常，添加个判断处理下
broker_id = re.findall("im_broker_id = '(\d{4,})'", r.text)[0]
else:
continue
prop_id1 = re.findall("house_id:'.*?'", r.text)
prop_id = re.findall("(\d{4,})", prop_id1[0])[0]
token = re.findall("token: '(.*?)',", r.text)[0]
prop_city_id = re.findall("prop_city_id: '(\d{1,})',", r.text)[0]
house_type = re.findall("house_type: '(\d{1,})'", r.text)[0]
url1 = r'https://shenzhen.anjuke.com/v3/ajax/broker/phone/?'
base = 'broker_id=' + broker_id + '&token=' + token + '&prop_id=' + prop_id + '&prop_city_id=' + prop_city_id + '&house_type=' + house_type + '&captcha='
url2 = url1 + base #获取到broker_id ， token等信息对其做拼接形成新的url
res = s.get(url=url2, headers=header)#请求获得电话信息
# print(res.text)
last_info = re.findall('''"val":"(.*?)"''', res.text)
phone_list.append(last_info[0].replace(' ',''))
global counts
for (info1,info2,info3,info4,info5)in zip(house_info,house_details,house_price,contact_list,phone_list):
#for i in range(len(phone_list)):#遍历每个列表，将每个列表对应的第i个信息加入列表list_info。并写入excel。
list_info=[]
info_href=info1.a.attrs['href']
#print(type(info1))
info=info1.text.strip()
inf=info2.text.strip()
house_title=info.strip()
house_detail=inf.strip()
price=re.findall(r'(\d{2,}.)',info3.text)
house_price=price[0]
house_price_averge=price[1]
print('xxxxxxxxxxxxxxxxxxxxxxx')
counts+=1
print(counts)
list_info.append(house_title)
list_info.append(house_detail)
list_info.append(house_price.replace('万',''))
list_info.append(house_price_averge.replace('元',''))
list_info.append(info4.strip())
list_info.append(info5)
write_one_excel_xls_append(r'C:\Users\ASUS\Desktop\test_worm\details.xls', list_info)
def get_manypage(page):
for i in range(page):
get_one_page(i)
#写入excel表格
def write_excel_xls(path, sheet_name, value):
index = len(value) # 获取需要写入数据的行数
workbook = xlwt.Workbook() # 新建一个工作簿
sheet = workbook.add_sheet(sheet_name) # 在工作簿中新建一个表格
for i in range(0, index):
for j in range(0, len(value[i])):
sheet.write(i, j, value[i][j]) # 像表格中写入数据（对应的行和列）
workbook.save(path) # 保存工作簿
print("xls创建成功")
#行数据写入
def write_one_excel_xls_append(path, value):
# 获取需要写入数据的行数
workbook = xlrd.open_workbook(path) # 打开工作簿
sheets = workbook.sheet_names() # 获取工作簿中的所有表格
worksheet = workbook.sheet_by_name(sheets[0]) # 获取工作簿中所有表格中的的第一个表格
rows_old = worksheet.nrows # 获取表格中已存在的数据的行数
new_workbook = copy(workbook) # 将xlrd对象拷贝转化为xlwt对象
new_worksheet = new_workbook.get_sheet(0) # 获取转化后工作簿中的第一个表格
for j in range(0, len(value)):
new_worksheet.write(rows_old, j, value[j]) # 追加写入数据，注意是从i+rows_old行开始写入
new_workbook.save(path) # 保存工作簿
global count
count+=1
print("xls格式表格追加第"+str(count)+"数据成功！")
if __name__ == '__main__':
info = [['标题', '详细信息', '总价(万)', '均价(m^2)','联系人','电话'], ]
write_excel_xls(r'C:\Users\ASUS\Desktop\test_worm\details.xls', 'work1', info)
get_manypage(2)
说一下爬虫的全部的步骤吧，起始页面url是https://shenzhen.anjuke.com/sale/p1，当然这里的p1代表的是页面可以增加，每页应该是60个信息，初始页面如下图所示，
在初始页面有每一个详情页的url这里用以下的函数获取。本来打算用redis数据库的这样速度会快很多，但总是报错，就算了。
r=s.get(url=url,headers=header)
url_info = re.findall('https:.*?time=\d{1,}',r.text)#获取详情页的url
url_info_list=[]
for info in url_info:
# redis1.rpush('url_list', info)
url_info_list.append(info)
print(url_info_list)
函数将url获得到并保存在url_info_list列表中。
详情页的url获得到之后就进行再一次的请求，就可以对数据进行提取了，这里提取了标题，详细信息，均价和总价，联系人，电话几个信息，前五个没什么好说的，直接在详情页用BeautifulSoup提取出来就就好了。
soup=BeautifulSoup(r.text,'lxml')
#print(soup)
house_info=soup.find_all('div',class_='house-title')
house_details=soup.find_all('div',class_='details-item')
house_price=soup.find_all('div',class_='pro-price')
直接提取出来相应的信息就好了
最后一个电话信息需是一个xhr类型的请求，需要在在详情页请求一遍才能获得。
找到这个请求发现请求的url为https://shenzhen.anjuke.com/v3/ajax/broker/phone/?broker_id=3982970&token=00bd244b85e99fa171ad7b429ebd11cc&prop_id=1594723649&prop_city_id=13&house_type=1&captcha=里面有几个参数需要在详情页获取，在这里我只是对这个请求的url做了简单的拼接再对服务器请求一遍获得电话信息。
if re.findall("im_broker_id = '(\d{4,})'", r.text)[0]:
broker_id = re.findall("im_broker_id = '(\d{4,})'", r.text)[0]
else:
continue
prop_id1 = re.findall("house_id:'.*?'", r.text)
prop_id = re.findall("(\d{4,})", prop_id1[0])[0]
token = re.findall("token: '(.*?)',", r.text)[0]
prop_city_id = re.findall("prop_city_id: '(\d{1,})',", r.text)[0]
house_type = re.findall("house_type: '(\d{1,})'", r.text)[0]
url1 = r'https://shenzhen.anjuke.com/v3/ajax/broker/phone/?'
base = 'broker_id=' + broker_id + '&token=' + token + '&prop_id=' + prop_id + '&prop_city_id=' + prop_city_id + '&house_type=' + house_type + '&captcha='
url2 = url1 + base
# 获取broker_id，token，prop_id，prop_city_id，house_type，等信息，
然后拼接成一个新的url2，再对其进行请求一次。就可以获得电话信息的json字符串。
做完这戏之后对获得的6个信息进行遍历放入列表中，并将其写入excel中。
for (info1,info2,info3,info4,info5)in zip(house_info,house_details,house_price,contact_list,phone_list):
#for i in range(len(phone_list)):
list_info=[]
info_href=info1.a.attrs['href']
#print(type(info1))
info=info1.text.strip()
inf=info2.text.strip()
house_title=info.strip()
house_detail=inf.strip()
price=re.findall(r'(\d{2,}.)',info3.text)
house_price=price[0]
house_price_averge=price[1]
print('xxxxxxxxxxxxxxxxxxxxxxx')
counts+=1
print(counts)
list_info.append(house_title)
list_info.append(house_detail)
list_info.append(house_price.replace('万',''))
list_info.append(house_price_averge.replace('元',''))
list_info.append(info4.strip())
list_info.append(info5)
write_one_excel_xls_append(r'C:\Users\ASUS\Desktop\test_worm\details.xls', list_info)
感觉自己写的代码好乱，但是实在是不想再改了，反正也是自己写着玩的，功能都实现了。优化比自己在重新写一遍还要花费时间。而且自己的水平也就这样在改估计也改的不会太好的。