分布式爬虫经常和redis数据库一起使用,今天我们先着重讲解一下redis的使用。
redis是一种高性能的key-value数据库,支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。它不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。并且它支持数据的备份,即master-slave模式的数据备份。
现在我们来安装它吧
首先我们先进入这个网址下载redis数据库https://github.com/MSOpenTech/redis/releases
找到最新的版本下载这个zip文件
下载下来后随便安装一个位置,但一定要记住它的路径,最好简单一点的。
接下来在终端要cd进那个文件夹里面,然后输入redis-server redis.windows.conf命令就可以启动服务端了
想要简单一点的话,配置一下环境变量,把文件夹路径输入到环境变量中去,这样以后再启动服务器就不用再cd到文件下了。
服务端要一直开启着不能关闭,不然的话redis数据库中的数据就会消失了。
再打开一个终端,输入redis-cli可以访问自己的数据库进行操作,set是添加操作,get是获取操作
成功实现。
如果要访问别的电脑的话就不能单单redis-cli了,需要在后面加上-h 和ip地址,访问成功后也只能进行读取操作,不能添加数据。
为了成功实现这些操作,我们还需要改一下配置文件,就是这个文件
将里面的bind 127.0.0.1注释掉,全局搜索dazmoize no 将no改成yes,全局搜索protected-mode yes,将yes改成no
在这里面就可以看到我们添加的数据啦