Mac-Python 零基础爬虫学习笔记(1):准备工作

环境

Mac,python,


- pip

mac 自带 python 2.7,所以很方便。
pip是python里的安装包,可以很方便的安装python selenium。

首先 打开终端 terminal
然后安装pip(计算机联网)。

sudo easy_install pip

安装完pip以后,可以直接使用pip安装第三方的包,比如:pip install packgename,如果提示没有权限,在前面加上sudo试试。


- selenium

selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE,Mozilla Firefox,Safari,Google Chrome,Opera等。这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成 .Net、Java、Perl等不同语言的测试脚本。

selenium用于爬虫,主要是用来解决javascript渲染的问题


  • 如果之前已经安装过selenium了,想查看下版本号到底是多少,就可以用pip show selenium来查看。
$ pip show selenium
  • 如果想查看目前python安装的所有第三方包,就可以用pip show list查看
$ pip show list
  • 如果之前已经装过selenium3了,想降级到selenium2,这时候可以先卸载selenium
$ sudo pip uninstall selenium

- Firefox

进入官网下载安装,将FireFox拖到Applications中;
然后安装selenium的FireFox接口geckodriver,进入官网下载Mac版,然后解压移到/usr/bin or /usr/local/bin目录;
然后用一下命令测试,然后Firefox可以自动打开。

>>> from selenium import webdriver
>>> browser=webdriver.Firefox()

这里写图片描述
或者可以指定打开的网页

>>> from selenium import webdriver
>>> browser=webdriver.Firefox()
>>> browser.get("https://wwww.baidu.com")

这里写图片描述

debug:

selenium.common.exceptions.WebDriverException: Message: ‘geckodriver’ executable needs to be in PATH

将geckodriver解压移到/usr/bin or /usr/local/bin目录即可;


猜你喜欢

转载自blog.csdn.net/milkbusy/article/details/81408539