爬虫中的selenium简单学习及案例

selenium

• 什么是selenium

  • 一款基于浏览器自动化的模块

• 和爬虫的关联:

  • 模拟登录
  • 获取动态加载的数据

• 模块下载:

  • pip install selenium

• selenium如何获取动态加载的数据

  • 环境安装:pip install selenium
  • 基本的使用流程
    • 结合着某一款浏览器驱动程序实例化一个浏览器对象
      • 下载浏览器驱动程序：
      • http://chromedriver.storage.googleapis.com/index.html
      • 查看驱动和浏览器版本的映射关系：
      • http://blog.csdn.net/huilan_same/article/details/51896672
    • 编写自动化操作代码

• 演示程序

  #模块引入
  from selenium import webdriver
  from time import sleep
  
  # 后面是你的浏览器驱动位置，记得前面加r'','r'是防止字符转义的
  driver = webdriver.Chrome(r'./chromedriver.exe')
  # 用get打开百度页面
  driver.get("http://www.baidu.com")
  # 查找页面的“设置”选项，并进行点击
  driver.find_elements_by_link_text('设置')[0].click()
  sleep(2)
  # 打开设置后找到“搜索设置”选项，设置为每页显示50条
  driver.find_elements_by_link_text('搜索设置')[0].click()
  sleep(2)
  
  # 选中每页显示50条
  m = driver.find_element_by_id('nr')
  sleep(2)
  m.find_element_by_xpath('//*[@id="nr"]/option[3]').click()
  m.find_element_by_xpath('.//option[3]').click()
  sleep(2)
  
  # 点击保存设置
  driver.find_elements_by_class_name("prefpanelgo")[0].click()
  sleep(2)
  
  # 处理弹出的警告页面   确定accept() 和 取消dismiss()
  driver.switch_to_alert().accept()
  sleep(2)
  # 找到百度的输入框，并输入 美女
  driver.find_element_by_id('kw').send_keys('美女')
  sleep(2)
  # 点击搜索按钮
  driver.find_element_by_id('su').click()
  sleep(2)
  # 在打开的页面中找到“Selenium - 开源中国社区”，并打开这个页面
  driver.find_elements_by_link_text('美女_百度图片')[0].click()
  sleep(3)
  
  # 关闭浏览器
  driver.quit()selenium详细用法

• 基础案例

  from selenium import webdriver
  from bs4 import BeautifulSoup
  #实例化一个浏览器对象
  bro = webdriver.Chrome(executable_path='D:\爬虫\谷歌访问助手/chromedriver.exe')
  #发起一个get请求
  bro.get(url='http://125.35.6.84:81/xk/')
  #获取当前浏览器页面的源码数据
  page_text = bro.page_source
  #使用bs4进行解析
  soup = BeautifulSoup(page_text,'lxml')
  dl_list = soup.select('#gzlist>li>dl')
  for dl in dl_list:
      name = dl.string
      print(name)

• selenium详细用法

  #通过selenium实现浏览器自动化访问淘宝,并搜索关键字'华为'
  from time import sleep
  from selenium import webdriver
  #实例化一个浏览器对象
  bro = webdriver.Chrome(executable_path='D:\爬虫\谷歌访问助手/chromedriver.exe')
  #获取淘宝url
  bro.get('https://www.taobao.com/')
  #find系列的函数是用作于定位标签
  search_input = bro.find_element_by_id('q')
  #在淘宝首页搜索框中录入一个商品名称
  search_input.send_keys('华为')
  #阻塞两秒,防止浏览器加载阻塞导致未获取标签
  sleep(2)
  #执行JS代码
  #Js代码,让浏览器滚轮向下拖动一个屏的高度
  bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')
  sleep(2)
  bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')
  sleep(2)
  
  btn = bro.find_element_by_xpath('//*[@id="J_TSearchForm"]/div[1]/button')
  #绑定事件
  btn.click()
  sleep(2)
  #退出浏览器
  bro.quit()

  • 模拟登陆访问QQ空间

    from selenium import webdriver
    from lxml import etree
    from time import sleep
    #实例化一个浏览器对象
    bro = webdriver.Chrome(executable_path='D:\爬虫\谷歌访问助手/chromedriver.exe')
    #获取空间url
    bro.get('https://qzone.qq.com/')
    #switch_to操作切换frame,此时才能进行登陆页面的操作
    bro.switch_to.frame('login_frame')
    #点击使用账号密码登陆,需要绑定click事件
    bro.find_element_by_id('switcher_plogin').click()
    
    bro.find_element_by_id('u').send_keys('QQ账号')
    bro.find_element_by_id('p').send_keys('QQ密码')
    #点击登陆,绑定click事件
    bro.find_element_by_id('login_button').click()
    
    sleep(2)
    #获取登陆页面的所有的文本数据
    page_text = bro.page_source
    # 进行数据解析
    tree = etree.HTML(page_text)
    #获取内容
    data = tree.xpath('//*[@id="feed_3484622709_311_0_1560755089_0_1"]/div[1]//text()')
    print(data)
    
    sleep(3)
    bro.quit()

• 相关的网站会对爬虫的请求实现监测,检测请求是否为selenium进行的发送
• 如何让selenium规避监测?
  • 访问美团网址(规避selenium监视)示例

from time import sleep
from selenium.webdriver import ChromeOptions
from selenium import webdriver
#实例化一个ChromeOptions对象
option = ChromeOptions()
#设置chromedriver启动参数,规避对selenium的检测机制
option.add_experimental_option('excludeSwitches', ['enable-automation'])
#设定url
url = 'https://bj.meituan.com/'
#实例化一个浏览器对象
bro = webdriver.Chrome(executable_path='D:\爬虫\谷歌访问助手/chromedriver.exe')
# 由于美团做了一定的设置,需要进行两次get请求才可以访问
bro.get(url)
sleep(2)
bro.get(url)
#屏幕截图
bro.save_screenshot('1.png')
#打印当前浏览器页面的源码数据
print(bro.page_source)

• 如何设置浏览器无可视化界

  from selenium.webdriver.chrome.options import Options
  from selenium import webdriver
  from time import sleep
  # 创建一个参数对象，用来控制chrome以无界面模式打开
  chrome_options = Options()
  #设置谷歌浏览器的页面无可视化
  chrome_options.add_argument('--headless')
  chrome_options.add_argument('--disable-gpu')
  #设定url
  url = 'https://bj.meituan.com/'
  #实例化一个浏览器对象,并把设置的无可视化传入浏览器对象
  bro = webdriver.Chrome(executable_path='D:\爬虫\谷歌访问助手/chromedriver.exe',chrome_options=chrome_options)
  bro.get(url)
  sleep(2)
  bro.get(url)
  bro.save_screenshot('2.png')
  print(bro.page_source)

• phantomJs:

  • 就是一款无可视化界面的浏览器,了解即可

• 12306模拟登陆

  from chaojiying_Python.chaojiying import Chaojiying_Client
  from selenium import webdriver
  from selenium.webdriver import ActionChains
  from PIL import Image
  from time import sleep
  
  #调用超级鹰获取验证码
  def get_codeImg_text(imgPath, imgType):
      chaojiying = Chaojiying_Client('loukunpeng813', 'nidayedeqQ123', '    899991')    #用户中心>>软件ID 生成一个替换 96001
      im = open(imgPath, 'rb').read()                                                   #本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
      # print(chaojiying.PostPic(im, 1902))
      return chaojiying.PostPic(im, imgType)['pic_str']
  
  #实例化一个浏览器对象,并把设置的无可视化传入浏览器对象
  bro = webdriver.Chrome(executable_path='D:\爬虫\谷歌访问助手/chromedriver.exe')
  #获取12306的网站
  bro.get('https://kyfw.12306.cn/otn/login/init')
  sleep(2)
  #账号密码进行模拟登陆
  bro.find_element_by_id('username').send_keys('12306账号')
  bro.find_element_by_id('password').send_keys('12306密码')
  
  #想要获取验证码图片左上角和右下角亮点坐标,通过这亮点坐标可以形成一个裁剪的矩形区域
  code_img_ele = bro.find_element_by_xpath('//*[@id="loginForm"]/div/ul[2]/li[4]/div/div/div[3]/img')
  location = code_img_ele.location  # 验证码图片左上角坐标
  size = code_img_ele.size #验证码图片的长宽
  #指定矩形区域
  rangle = (int(location['x']),int(location['y']),int(location['x']+size['width']),int(location['y']+size['height']))
  #保存验证码
  bro.save_screenshot('aa.png')
  
  i = Image.open('./aa.png')
  code_img_name = 'code.png'
  frame = i.crop(rangle)
  frame.save(code_img_name)
  #进行验证码的识别
  result = get_codeImg_text(code_img_name,9004)
  print(result)
  # x1,y1|x2,y2|x3,y3                   x,y
  #[[x1,y1],[x2,y2],[x3,y3]]            [[x,y]]
  all_list = []
  if '|' in result:
      list_1 = result.split('|')
      count_1 = len(list_1)
      for i in range(count_1):
          xy_list = []
          x = int(list_1[i].split(',')[0])
          y = int(list_1[i].split(',')[1])
          xy_list.append(x)
          xy_list.append(y)
          all_list.append(xy_list)
  else:
      x = int(result.split(',')[0])
      y = int(result.split(',')[1])
      xy_list = []
      xy_list.append(x)
      xy_list.append(y)
      all_list.append(xy_list)
  
  for l in all_list:
      #x,y就是需要点击的某一个点的坐标
      x = l[0]
      y = l[1]
      #move_to_element_with_offset就是将x,y的参照系转移到指定的标签中
      #每一个动作连的操作都必须基于一个单独的动作连
      ActionChains(bro).move_to_element_with_offset(code_img_ele,x,y).click().perform()
  
  sleep(2)
  
  bro.find_element_by_id('loginSub').click()
  sleep(10)
  
  bro.quit()