windows下python常用库的安装

windows下python常用库的安装，前提安装了annaconda 的python开发环境。只要已经安装了anaconda，要安装别的库就很简单了。只要使用pip即可，正常安装好python，都会自带pip安装工具，在python的scripts安装目录下可以查看。具体安装步骤：使用Anaconda在windows下管理python开发环境 python常用库的安装是python爬虫开发的基石。

1.urllib 和re库的安装

这两个库是python自带的库，只要正确安装了python，都可以直接调用者两个库，python模式下验证如下

>>> import urllib
>>> import urllib.request
>>> urllib.request.urlopen('http://www.baidu.com')
<http.client.HTTPResponse object at 0x0000024222C09240>
>>> import re
>>>

2.requests请求库的安装

pip3 install requests  dos下执行命令即可安装

python交互下测试request请求库是否安装正确
>>> import requests
>>> requests.get('http://www.baidu.com')
<Response [200]>
>>>

3.selenium库的安装

主要是用来驱动浏览器，做测试之类的，js渲染调试

pip3 install selenium 执行安装 ，删除库的话直接pip3 uninstall selenium

测试是否安装正确
>>> import selenium
>>> from selenium import webdriver
>>> driver = webdriver.Chrome()  
#这个时候系统会启动一个空白浏览器，如果失败需要安装chromdriver驱动，将其解压后放到python配置环境变量后的目录下即可

DevTools listening on ws://127.0.0.1:12052/devtools/browser/1f2faef9-0748-40f0-b955-9e41362ce55e
>>>> driver = webdriver.Chrome()

DevTools listening on ws://127.0.0.1:12722/devtools/browser/5ba65a50-df4a-47fd-b2d6-d313578d539d
>>> driver.get('http://www.baidu.com')  #这个时候打开的浏览器就会跳转到百度首页。
>>>driver.page_source   #可以直接打印当前百度网页的代码

4.phantomjs 库的安装

无界面浏览器，命令行下浏览器驱动实现，跟selenium相辅，前者会打开浏览器

1.在phantomjs官网下载phantomjs安装包，http://phantomjs.org/download.html

2.放到指定安装目录后，配置环境变量，bin目录

3.直接在dos下执行phantomjs看是否配置成功，如下：


C:\Users\Robot_CHEN>phantomjs
phantomjs>

4.安装与功能测试

>>> import selenium
>>> from selenium import webdriver
>>> driver = webdriver.PhantomJS()  #注意区别selenium中的webdrive.Chrom()
>>> driver.get('http://www.baidu.com')
>>> driver.page_source

5.lxml库的安装

xpath网页解析库，实现网页解析。pip3 install lxml 直接安装即可

python交互下，用import lxml确认是否安装成功

6.beatifulsoup 网页解析库的安装，依赖于lxml库

安装：pip3 install beatifulsoup4

测试安装：

>>> from bs4 import BeautifulSoup  #使用beautifulsoup要从 bs4模块中导入
>>> soup = BeautifulSoup('<html></html>','lxml')
>>>

7.pyquery网页解析库的安装

pip3 install pyquery 执行安装.

>>> from pyquery import PyQuery as pq
>>> doc = pq('<html></html>')
>>> doc = pq('<html>Hello World</html>')
>>> result = doc('html').text()
>>> result
'Hello World'
>>>

8.pymysql存储库的安装

操作mysql数据库的驱动库安装命令：pip3 install pymysql .安装完成后用代码python操作mysql数据库，执行CRUD.


import pymysql  #导入 pymysql
 
#打开数据库连接
db= pymysql.connect(host="localhost",user="root",
 	password="123456",db="mydatabase",port=3306)
 
# 使用cursor()方法获取操作游标
cur = db.cursor()
 
#1.查询操作
# 编写sql 查询语句  user 对应我的表名
sql = "select * from emp3"
try:
	cur.execute(sql) 	#执行sql语句 
	results = cur.fetchall()	#获取查询的所有记录
	print("id","name","password")
	#遍历结果
	for row in results :
		id = row[0]
		name = row[1]
		password = row[2]
		print(id,name,password)
except Exception as e:
	raise e
finally:
	db.close()

9.pymongo的安装，操作mongodb数据

安装依旧pip install pymongo

import pymongo

client = pymongo.MongoClient('localhost')
db = client['mymongodb']
coll = db['mycoll']
mydict = { "name": "RUNOOB", "alexa": "10000" }
coll.insert_one(mydict)
print(coll)
'''测试结果如下：
Collection(Database(MongoClient(host=['localhost:27017'], document_class=dict, tz_aware=False, connect=True), 'mymongodb'), 'mycoll')
'''

10.redis的安装

pip install redis安装即可

import redis

result = redis.Redis('localhost',6379)
result.set('name','jack')
print(result.get('name')) #b'jack'

11.flask的安装，主要设置web时使用

可以在flask的官网文档查看，http://docs.jinkan.org/docs/flask/

安装方式 pip install flask,测试python交互模式下import flask看是否报错

12django的安装，web服务器框架

安装很简单pip install django,测试导入import django

13.jupyter安装，强大的记事本

pip install jupyter即可安装，如果使用的anaconda，则默认已经安装了jupyter，主要用来在线写代码和文档记录，功能很强大也很方便。