之前我们已经在win10系统下安装了Python3.7 和PyCharm,用于Python基础的学习,还有不会安装的可以点击下方链接,去看一下。
现在我们要进行爬虫的学习,来完成我的毕设,所以还有一些工具和包需要我安装、配置,下面就开始吧。
注意:这些工具在Windows环境下的安装会很困难,还希望大家要坚持,要有耐心,一定要装配成功!!!
01、Anaconda(开源的Python包管理器)
Anaconda是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。Anaconda是一个开源的包、环境管理器,可以用于在同一个机器上安装不同版本的软件包及其依赖,并能够在不同的环境之间切换。
简单说,安装Anaconda后,在安装Python依赖的一些复杂的包时就会很方便啦!
1.1 安装包下载
这里安装包下载过程有两个选择:
● 清华镜像 推荐使用,速度更快
● Anaconda 官网
自行选择需要的版本安装包进行下载吧
1.2 安装
安装的教程有很多,这里不再一一抓图,太麻烦,也没啥意思
我安装的是最新的版本Anaconda3-5.3.1-Windows-x86_64,安装流程跟普通安装软件一样,一路Next就好。
注意:要是想要将软件安装到你希望安装的地方,那在选择安装位置时,注意选择一下你希望的安装位置(安装的文件夹一定要是空的)
重点
你要是不想自己随后再配置环境变量的话那我建议,在运行到下图这一步是,将√选上,就会自动配置好环境变量啦!
然后就是,等待进度条全部变绿(过程有些慢,不要着急,慢慢来…)
xaiolu
小绿条已经满啦!完成安装,测试一下
打开命令行,输入下方内容,出现结果,就成啦!
1.3 与IDE连接
由于我用的是PyCharm,就连这个啦。打开pycharm,点击file,选择setting-Project-Project Interpreter,add就可以看见anaconda3的环境被添加进来了。ok
02.MongoDB环境安装
2.1 安装包
在官网中,找到需要版本的安装包。
官网下载链接
关于版本的选择,一般情况下就按照官网给你的默认选项就好。
2.2 安装
同上,一路Next吧!
等待小绿条!!!
2.3 环境配置
1)创建文件夹
我将MongoDB安装在C:\Program Files\MongoDB,所以在C:\Program Files\MongoDB\Server\4.0目录下创建data文件夹,在data文件夹下创建db文件夹和logs文件夹,在logs文件夹下创建mongo.log文件
2)配置数据路径
1、在bin目录下,用命令行打开
输入以下内容
mongod --dbpath C:\Program Files\MongoDB\Server\4.0\data\db
2、运行会出现:
3、回到bin目录下的cmd,输入mongo,可以进入交互模式,那么MongoDB就成功启动了
3)配置日志路径
用管理员身份运行cmd
输入以下内容:
mongod --bind_ip 0.0.0.0 --logpath C:\MongoDB\Server\3.4\data\logs\mongo.log --logappend --dbpath C:\MongoDB\Server\3.4\data\db --port 27017 --serviceName “MongoDB” --serviceDisplayName “MongoDB” --install
4)查看是否配置成功
1、在计算机右键选择管理,进入服务,查看MongoDB服务器是否运行
2、在IE浏览器输入localhost:27017,出现下图内容,服务启动成功
2.4 可视化工具RoboMongo
安装好MongoDB后,我们不能直观的看到数据库的内容,所以需要一个“眼睛”来展示数据库内容。就像MySQL数据库的可视化工具Navicat一样,RoboMongo就是这个作用,RoboMongo现在又叫Robo 3T。
1)安装
Robo 3T 下载地址
话不多说,一路Next吧!
日常等待小绿条!
安装成功!
这里就简单安装一下,以后使用到的时候,再做详细使用说明!
03.Redis及可视化工具Redis Desktop
redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。
后期主要用于分布式爬虫
别人已经有了很好的教程步骤,大家可以参考!
Redis安装教程
Redis Desktop 安装包
这两个的安装都非常简单,选择合适的版本进行Next操作就可以啦!
希望可以帮助到大家,也能够加深自己的记忆,一遍日后复习使用!