公司接了一个外包项目，需要爬取彩票网站的实时数据，只要最新一条的数据，我爬取的网站是
https://pub.icaile.com/jsk3/
首先，我先分析了这个网站，需要登录之后才能查看最新的开奖信息，于是我就先用selenium模拟登录之后，获取到登录之后的cookie，代码如下：
import time
from selenium import webdriver
from urllib import request
from random import choice
from selenium.webdriver.chrome.options import Options
import requests
from lxml import etree
def get_cookie():
# 模拟登录，获取登录之后的cookie
# 我用的是谷歌浏览器的无头模式
opt = Options()
opt.add_argument('--headless')
driver = webdriver.Chrome(chrome_options=opt)
# driver = webdriver.Chrome()
driver.get('https://reg.icaile.com/UserWeb/login/?refurl=https%3A%2F%2Fpub.icaile.com%2Fjsk3%2F')
time.sleep(2)
driver.find_element_by_name("mobile").click()
driver.find_element_by_name("mobile").send_keys('帐号')
time.sleep(1)
driver.find_element_by_name("password").click()
driver.find_element_by_name("password").send_keys('密码')
driver.find_element_by_id("submit").click()
time.sleep(1)
cookies = driver.get_cookies()
cookies_list = []
for cookies_dict in cookies:
cookie = cookies_dict['name']+'='+cookies_dict['value']
cookies_list.append(cookie)
# 将拿到的数据以；拼接成一个字符串（cookie）
header_cookies = ';'.join(cookies_list)
return header_cookies好了，我试过了可以登录上去。需要注意的是这个网站登录的时候没有验证码，但是登录差不多20次左右之后，会弹出来一个验证框，给手机发信息，这个时候我们就不得不再重新注册一个帐号了，这里比较好的方法是自己搭建一个cookie池，每次登录的时候随机从cookie池里取出来一个。
登录上去之后，带上获取到的cookie，开始获取源代码，代码如下：
def get_html():
# 获取网页源代码，为解析数据做准备
headers = {
'cookie': get_cookie(),
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
}
# 1.创建request对象,设置随机请求头
req = request.Request(url='https://pub.icaile.com/jsk3/', headers=headers)
# 2.发起请求
response = request.urlopen(req)
# 3.接收数据
html = response.read().decode('utf8')
return html接下来就是解析我们所需要的数据了。
需要注意的是分为三个部分，每一部分的id都不一样，不过xpath解析时，语法都是一样的，每一列都有14条数据，最后一列有13条数据，代码如下：
def parse_left():
# 解析需要的数据
html = get_html()
res = etree.HTML(html)
# 和值
lottery_add = res.xpath('//tbody[@id="firstTbody"]/tr/td[3]/text()')
finally_add = res.xpath('//tbody[@id="firstTbody"]/tr/td[3]/text()')[-1]
# 打印出来每一期和值的索引
index = lottery_add.index(finally_add)
# 开奖期号
lottery_periods = res.xpath('//tbody[@id="firstTbody"]/tr/td[1]/text()')[index].split('\r\n')
lottery_periods = ''.join(lottery_periods).replace(' ', '')
# 开奖号码
lottery_num = res.xpath('//tbody[@id="firstTbody"]/tr/td[2]/em/text()')[-3:]
lottery_num = '-'.join(lottery_num)
# 开奖时间
lottery_time = res.xpath('//tbody[@id="firstTbody"]/tr/td[4]/span/text()')[index]
# 判断索引是否等于13
if index == 13:
print('左边最新一期的开奖期号为：%s，\n开奖号码为：%s，\n和值为：%s，\n最新开奖时间为：%s' % (lottery_periods, lottery_num, finally_add, lottery_time))
print('左边所有彩票信息已抓取完毕！！！')
print ('*'*70)
parse_middle()
def parse_middle():
# 解析需要的数据
html = get_html()
res = etree.HTML(html)
# 和值
lottery_add = res.xpath('//tbody[@id="secondTbody"]/tr/td[3]/text()')
finally_add = res.xpath('//tbody[@id="secondTbody"]/tr/td[3]/text()')[-1]
index = lottery_add.index(finally_add)
# 开奖期号
lottery_periods = res.xpath('//tbody[@id="secondTbody"]/tr/td[1]/text()')[index].split('\r\n')
lottery_periods = ''.join(lottery_periods).replace(' ', '')
# 开奖号码
lottery_num = res.xpath('//tbody[@id="secondTbody"]/tr/td[2]/em/text()')[-3:]
lottery_num = '-'.join(lottery_num)
# 开奖时间
lottery_time = res.xpath('//tbody[@id="secondTbody"]/tr/td[4]/span/text()')[index]
if index == 13:
print('中间最新一期的开奖期号为：%s，\n开奖号码为：%s，\n和值为：%s，\n最新开奖时间为：%s' % (lottery_periods, lottery_num, finally_add, lottery_time))
print ('*' * 70)
parse_right()
def parse_right():
# 解析需要的数据
html = get_html()
res = etree.HTML(html)
# 和值
lottery_add = res.xpath('//tbody[@id="thirdTbody"]/tr/td[3]/text()')
finally_add = res.xpath('//tbody[@id="thirdTbody"]/tr/td[3]/text()')[-1]
index = lottery_add.index(finally_add)
# 开奖期号
lottery_periods = res.xpath('//tbody[@id="thirdTbody"]/tr/td[1]/text()')[index].split('\r\n')
lottery_periods = ''.join(lottery_periods).replace(' ', '')
# 开奖号码
lottery_num = res.xpath('//tbody[@id="thirdTbody"]/tr/td[2]/em/text()')[-3:]
lottery_num = '-'.join(lottery_num)
# 开奖时间
lottery_time = res.xpath('//tbody[@id="thirdTbody"]/tr/td[4]/span/text()')[index]
if index == 12:
print('最新开奖期号为：%s，\n开奖号码为：%s，\n和值为：%s，\n最新开奖时间为：%s' % (lottery_periods, lottery_num, finally_add, lottery_time))
print('今天所有的彩票信息已抓取完毕！！！')数据已经解析完毕，接下来就是获取实时数据，让程序20分钟运行一次，代码如下：
flag = 0
# 获取当前时间戳
now = datetime.datetime.now()
sched_time = datetime.datetime(now.year, now.month, now.day, now.hour, now.minute) + datetime.timedelta(minutes=5)
while True:
now = datetime.datetime.now()
if sched_time < now < sched_time + datetime.timedelta(seconds=3):
time.sleep(3)
parse_left()
flag = 1
else:
if flag == 1:
sched_time = sched_time + datetime.timedelta(minutes=20)
flag = 0好了，以上就是所有代码，谢谢！