python爬虫之-------无界面爬取（快速入门）

一.基础

1.PhoantomJS：无界面浏览器

PhantomJS 是一个基于 Webkit 的“无界面”(headless)浏览器，它会把网站加载到内存并
执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效。
如果我们把 Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬
虫了，这个爬虫可以处理 JavaScrip、Cookie、headers，以及任何我们真实用户需要做的事
情。
注意：PhantomJS 只能从它的官方网站 http://phantomjs.org/download.html) 下载。因为
PhantomJS 是一个功能完善(虽然无界面)的浏览器而非一个 Python 库，所以它不需要
像 Python 的其他库一样安装，但我们可以通过 Selenium 调用 PhantomJS 来直接使用

2.Selenium：

Selenium 是一个 Web 的自动化测试工具，最初是为网站自动化测试而开发的，类型像
我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是 Selenium 可以直接运行在
浏览器上，它支持所有主流的浏览器（包括 PhantomJS 这些无界面的浏览器）。
Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面
截屏，或者判断网站上某些动作是否发生。
Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起
才能使用。但是我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 PhantomJS
的工具代替真实的浏览器。
可以从 PyPI 网站下载 Selenium 库 https://pypi.python.org/simple/selenium ，也可以用
第三方管理器 pip 用命令安装：pip install selenium==2.48.0

二：快速入门

Slenium库里又一个交WebDriver的API。WebDriver有点像可以加载网站的浏览器，但是他也可以像BeautifulSoup或者其他Selector对象一样用来查找页面元素，与页面上的元素进行交互（发送文本，点击等），以及执行其他动作来运行网络爬虫。

##导入webdriver
from selenium import webdriver
import time     ### 目的留出充分的时间等待响应

##要想调用键盘按键操作需要 引入keys包
from selenium .webdriver.common.keys import Keys

##调用环境变量指定的PhantomJS浏览器创建浏览器对象
driver = webdriver。PhantomJS()

##如果没有在环境变量指定PhantomJS位置
driver = webdriver.PhantomJS(executable_path=r'd:\Desktop\phantomjs-2.1.1-windows\bin\phantomjs.exe')


##get方法会一直等到页面被完全加载，然后才会继续程序
##通常测试回来这里time.sleep(2)
driver.get("http://www.baidu.com")

##获取页面名为wrapper的id标签的文本内容
data = driver.find_element_by_id("wrapper").text

##打印数据内容
print(data)

##打印页面标题“百度一下，你就知道”
print(driver.title)

##生成当前页面快照并保存
driver.save_screenshot('01.png')

##id="kw"是百度搜索输入框，输入字符串"长城"
driver.find_element_by_id("kw").send_keys("长城")

##id="su"是百度搜索按钮，click()是模拟点击
driver.find_element_by_id("su").click()

##time.sleep(2)这个时间表示服务器响应时间
##获取新的页面快照
driver.save_screenshot('02.png')

##打印网页渲染后的源代码
##print(driver.page_source)

##获取当前页面Cookie
print(driver.get_cookies())

##ctrl+a 全选输入框的内容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'a')
##dirver.save_screenshot('03.png')

##ctrl+x 剪切输入框的内容
driver.find_element_by_id("kw").send_keys(Keys.CONTOR,'x')

##输入框重新输入内容
driver.find_element_by_id("kw").send_keys("科比")
driver.save_screenshot("04.png")

##模拟Enter回车键
##time.sleep(6) ##加个延时，不然可能会报错：
#Element is not currently interactable and may not be mainpulated
##driver.find_element_by_id("su").send_keys(Keys.RETURN)
##注意：这个地方用回车是没有效果的，因为输入框在表单当中
##可以使用表单提交完请求
driver.find_element_by_id("su").submit()
time.sleep(2)
driver.save_screenshot('05.png')

python爬虫之-------无界面爬取（快速入门）

猜你喜欢