python抓取机的配置
1.添加用户
给机器增加一个普通用户
[root@litb ~]# useradd catchtop
为该用户设定登陆密码，否则该用户是无效的。
[root@litb ~]# passwd catchtop
为该用户设定无需密码的sudo权限：
vi /etc/sudoers
在root ALL=(ALL) ALL下面增加一句：
catchtop ALL=(ALL) ALL
在## Same thing without a password下面添加一句：
catchtop ALL=(ALL) NOPASSWD: ALL
此后在catchtop用户下可以执行加sudo的命令而无需密码。
2.安装setuptools工具或pip工具
安装setuptools
使用
wget --no-check-certificate https://bootstrap.pypa.io/ez_setup.py -O - | sudo python下载安装包解压后进入目录执行
sudo python setup.py install安装完成后模块安装方式
sudo easy_install httplib2安装pip
sudo yum install python-pip
完成后模块安装方式
sudo pip install httplib2
-
-
主要安装的模块如下
-
模块 功能简介 httplib2 网页抓取 pika RabbitMQ lockfile 程序锁 xlrd 读excel xlwt 写excel
3.安装MySQLdb模块
需要下载相应的安装包，此处为1.2.5版本
[catchtop@litb ~]$ wget –no-check-certificate https://pypi.python.org/packages/source/M/MySQL-python/MySQL-python-1.2.5.zip#md5=654f75b302db6ed8dc5a898c625e030c
进行unzip操作：[catchtop@litb ~]$ unzip MySQL-python-1.2.5.zip
在安装之前我们需要做一些准备工作：
sudo yum install mysql
sudo yum install mysql-server
sudo yum install mysql-devel
必须执行yum install python-devel (否则报：error: command ‘gcc’ failed with exit status 1)
最终 我们进入到MySQL-python-1.2.5目录下，执行sudo python setup.py install安装成功该模块。