文章目录
1. RabbitMQ消息队列
python的队列，内置的有两种，一种是线程queue，另一种是进程queue，但是这两种queue都是只能在同一个进程下的线程间或者父进程与子进程之间进行队列通讯，并不能进行程序与程序之间的信息交换，这时候我们就需要一个中间件，来实现程序之间的通讯。RabbitMQ并不是python内置的模块，而是一个需要你额外安装的程序，安装完毕后可通过python中内置的pika模块来调用MQ发送或接收队列请求。
1.1 RabbitMq基本使用
1.1.1 windows下RabbitMQ设置远程连接账号密码
- 启动rabbitmq server服务。
- 创建一个admin用户
rabbitmqctl add_user admin admin - 设置该用户为administrator角色
rabbitmqctl set_user_tags admin administrator - 设置权限
rabbitmqctl set_permissions -p / admin ".*" ".*" ".*" - 重启rabbitmq服务
- 使用浏览器打开http://localhost:15672，RabbitMQ默认端口是5672，管理控制台端口为15672
1.1.2 RabbitMQ基本用法
此模式为轮询消费模式，发送队列的一方把消息存入mq的指定队列后，若有消费者端联入相应队列，即会获取到消息，并且队列中的消息会被消费掉。
若有多个消费端同时连接着队列，则会已轮询的方式将队列中的消息消费掉。
公平调度:在一个消费者未处理完一个消息之前不要分发新的消息给它，而是将这个新消息分发给另一个不是很忙的消费者进行处理。为了解决这个问题我们可以在消费者代码中使用 channel.basic.qos ( prefetch_count = 1 )，将消费者设置为公平调度。
生产者
import pika
import sys
username = 'admin' #指定远程rabbitmq的用户名密码
pwd = 'admin'
user_pwd = pika.PlainCredentials(username, pwd)
s_conn = pika.BlockingConnection(pika.ConnectionParameters('127.0.0.1', credentials=user_pwd))#创建连接
chan = s_conn.channel() #在连接上创建一个频道
chan.queue_declare(queue='hello') #声明一个队列，生产者和消费者都要声明一个相同的队列，用来防止万一某一方挂了，另一方能正常运行
chan.basic_publish(exchange='', #交换机
routing_key='hello',#路由键，写明将消息发往哪个队列，本例是将消息发往队列hello
body='hello world')#生产者要发送的消息
print("[生产者] send 'hello world")
s_conn.close()#当生产者发送完消息后，可选择关闭连接
消费者
import pika
username = 'admin'#指定远程rabbitmq的用户名密码
pwd = 'admin'
user_pwd = pika.PlainCredentials(username, pwd)
s_conn = pika.BlockingConnection(pika.ConnectionParameters('127.0.0.1', credentials=user_pwd))#创建连接
chan = s_conn.channel()#在连接上创建一个频道
chan.queue_declare(queue='hello')#声明一个队列，生产者和消费者都要声明一个相同的队列，用来防止万一某一方挂了，另一方能正常运行
def callback(ch,method,properties,body): #定义一个回调函数，用来接收生产者发送的消息
print("[消费者] recv %s" % body)
ch.basic_ack(delivery_tag=method.delivery_tag)#手动向服务端发送确认
chan.basic_qos(prefetch_count=1)# 消费者给rabbitmq发送一个信息：在消费者处理完消息之前不要再给消费者发送消息
chan.basic_consume(callback, #调用回调函数，从队列里取消息
queue='hello',#指定取消息的队列名
no_ack=True) #取完一条消息后，不给生产者发送确认消息，默认是False的，即默认给rabbitmq发送一个收到消息的确认，收到确认后服务端从队列删除消息，如果客户端断开连接，则将消息发送给下一个客户端，一般默认即可
print('[消费者] waiting for msg .')
chan.start_consuming()#开始循环取消息
1.2 RabbitMQ消息持久化
RabbitMQ默认消息是存在内存中的，一旦服务端出现故障，消息很容易丢失，为了避免消息丢失，我们需要让消息持久化。
消息持久化的注意点：
标记消息为持久化并不能完全保证消息不会丢失，尽管已经告诉RabbitMQ将消息保存到磁盘，但RabbitMQ接收到的消息在还没有保存的时候，仍然有一个短暂的时间窗口。RabbitMQ不会对每个消息都执行同步 — 可能只是保存到缓存cache还没有写入到磁盘中。因此这个持久化保证并不是很强，但这比我们简单的任务queue要好很多，如果想要很强的持久化保证，可以使用 publisher confirms。
消息持久化步骤：
-
在服务端和客户端修改代码
chan.queue_declare(queue='hello',durable=True)#durable=True是将队列持久化 -
在服务端修改代码
chan.basic_publish(exchange='', #交换机 routing_key='hello',#路由键，写明将消息发往哪个队列，本例是将消息发往队列hello body='hello world',#生产者要发送的消息 properties=pika.BasicProperties(delivery_mode=2,))#这段代码是将消息持久化
1.3 RabbitMQ之交换机
exchange：交换机。生产者不是将消息发送给队列，而是将消息发送给交换机，由交换机决定将消息发送给哪个队列。所以exchange必须准确知道消息是要送到哪个队列，还是要被丢弃。因此要在exchange中给exchange定义规则，所有的规则都是在exchange的类型中定义的。
exchange有4个类型：direct, topic, headers ,fanout。 之前，我们并没有讲过exchange，但是我们仍然可以将消息发送到队列中。这是因为我们用的是默认exchange.也就是说之前写的：exchange=’’，空字符串表示默认的exchange。
1.3.1 广播类型
fanout：广播类型，生产者将消息发送给所有消费者，如果某个消费者没有收到当前消息，就再也收不到了（消费者就像收音机）
生产者：（可以用作日志收集系统）
import pika
import sys
username = 'admin' #指定远程rabbitmq的用户名密码
pwd = 'admin'
user_pwd = pika.PlainCredentials(username, pwd)
s_conn = pika.BlockingConnection(pika.ConnectionParameters('127.0.0.1', credentials=user_pwd))#创建连接
channel = s_conn.channel() #在连接上创建一个频道
channel.exchange_declare(exchange='logs',
type='fanout')#创建一个fanout(广播)类型的交换机exchange，名字为logs。
message = "info: Hello World!"
channel.basic_publish(exchange='logs',#指定交换机exchange为logs，这里只需要指定将消息发给交换机logs就可以了，不需要指定队列，因为生产者消息是发送给交换机的。
routing_key='',#在fanout类型中，绑定关键字routing_key必须忽略，写空即可
body=message)
print(" [x] Sent %r" % message)
connection.close()
消费者：
import pika
import sys
username = 'admin' #指定远程rabbitmq的用户名密码
pwd = 'admin'
user_pwd = pika.PlainCredentials(username, pwd)
s_conn = pika.BlockingConnection(pika.ConnectionParameters('127.0.0.1', credentials=user_pwd))#创建连接
channel = s_conn.channel() #在连接上创建一个频道
channel.exchange_declare(exchange='logs',
type='fanout')#消费者需再次声明一个exchange 以及类型。
result = channel.queue_declare(exclusive=True)#创建一个队列，exclusive=True（唯一性）表示在消费者与rabbitmq断开连接时，该队列会自动删除掉。
queue_name = result.method.queue#因为rabbitmq要求新队列名必须是与现存队列名不同，所以为保证队列的名字是唯一的，method.queue方法会随机创建一个队列名字，如：‘amq.gen-JzTY20BRgKO-HjmUJj0wLg‘。
channel.queue_bind(exchange='logs',
queue=queue_name)#将交换机logs与接收消息的队列绑定。表示生产者将消息发给交换机logs，logs将消息发给随机队列queue，消费者在随机队列queue中取消息
print(' [消费者] Waiting for logs. To exit press CTRL+C')
def callback(ch, method, properties, body):
print(" [消费者] %r" % body)
channel.basic_consume(callback,#调用回调函数从queue中取消息
queue=queue_name,
no_ack=True)#设置为消费者不给rabbitmq回复确认。
channel.start_consuming()#循环等待接收消息。
1.3.2 关键字类型
direct：关键字类型。功能：交换机根据生产者消息中含有的不同的关键字将消息发送给不同的队列，消费者根据不同的关键字从不同的队列取消息
生产者：
import pika
import sys
username = 'admin' #指定远程rabbitmq的用户名密码
pwd = 'admin'
user_pwd = pika.PlainCredentials(username, pwd)
s_conn = pika.BlockingConnection(pika.ConnectionParameters('127.0.0.1', credentials=user_pwd))#创建连接
channel = s_conn.channel() #在连接上创建一个频道
channel.exchange_declare(exchange='direct_logs',
type='direct')#创建一个交换机并声明exchange的类型为：关键字类型，表示该交换机会根据消息中不同的关键字将消息发送给不同的队列
severity = 'info'#severity这里只能为一个字符串，这里为‘info’表明本生产者只将下面的message发送到info队列中，消费者也只能从info队列中接收info消息
message = 'Hello World!'
channel.basic_publish(exchange='direct_logs',#指明用于发布消息的交换机、关键字
routing_key=severity,#绑定关键字，即将message与关键字info绑定，明确将消息发送到哪个关键字的队列中。
body=message)
print(" [生产者] Sent %r:%r" % (severity, message))
connection.close()
消费者：
import pika
import sys
username = 'admin' #指定远程rabbitmq的用户名密码
pwd = 'admin'
user_pwd = pika.PlainCredentials(username, pwd)
s_conn = pika.BlockingConnection(pika.ConnectionParameters('127.0.0.1', credentials=user_pwd))#创建连接
channel = s_conn.channel() #在连接上创建一个频道
channel.exchange_declare(exchange='direct_logs',
type='direct')#创建交换机，命名为‘direct_logs’并声明exchange类型为关键字类型。
result = channel.queue_declare(exclusive=True)#创建随机队列，当消费者与rabbitmq断开连接时，这个队列将自动删除。
queue_name = result.method.queue#分配随机队列的名字。
severities = ['info','err']#可以接收绑定关键字info或err的消息，列表中也可以只有一个
if not severities:#判断如果输入有误，输出用法
sys.stderr.write("Usage: %s [info] [warning] [error]\n" % sys.argv[0])
sys.exit(1)
for severity in severities:
channel.queue_bind(exchange='direct_logs',#将交换机、队列、关键字绑定在一起，使消费者只能根据关键字从不同队列中取消息
queue=queue_name,
routing_key=severity)#该消费者绑定的关键字。
print(' [消费者] Waiting for logs. To exit press CTRL+C')
def callback(ch, method, properties, body):#定义回调函数，接收消息
print(" [消费者] %r:%r" % (method.routing_key, body))
channel.basic_consume(callback,
queue=queue_name,
no_ack=True)#消费者接收消息后，不给rabbimq回执确认。
channel.start_consuming()#循环等待消息接收。
1.3.3 模糊匹配类型
发送到一个 topics交换机的消息，它的 routing_key不能是任意的 – 它的routing_key必须是一个用小数点分割的单词列表。 这个字符可以是任何单词，但是通常是一些指定意义的字符。比如：“stock.usd.nyse",“nyse.vmw”,“quick.orange.rabbit”. 这里可以是你想要路由键的任意字符。最高限制为255字节。生产者与消费者的routing_key必须在同一个表单中。 Topic交换的背后的逻辑类似直接交换（direct） – 包含特定关键字的消息将会分发到所有匹配的关键字队列中。然后有两个重要的特殊情况：
绑定键值：
*(星) 可代替一个单词#(井) 可代替0个或多个单词
生产者
import pika
import sys
username = 'admin' #指定远程rabbitmq的用户名密码
pwd = 'admin'
user_pwd = pika.PlainCredentials(username, pwd)
s_conn = pika.BlockingConnection(pika.ConnectionParameters('127.0.0.1', credentials=user_pwd))#创建连接
channel = s_conn.channel() #在连接上创建一个频道
channel.exchange_declare(exchange='topic_logs',
type='topic') # 创建模糊匹配类型的exchange。。
routing_key = '[warn].kern'##这里关键字必须为点号隔开的单词，以便于消费者进行匹配。引申：这里可以做一个判断，判断产生的日志是什么级别，然后产生对应的routing_key，使程序可以发送多种级别的日志
message = 'Hello World!'
channel.basic_publish(exchange='topic_logs',#将交换机、关键字、消息进行绑定
routing_key=routing_key, # 绑定关键字，将队列变成[warn]日志的专属队列
body=message)
print(" [x] Sent %r:%r" % (routing_key, message))
s_conn.close()
消费者
import pika
import sys
username = 'admin'#指定远程rabbitmq的用户名密码
pwd = 'admin'
user_pwd = pika.PlainCredentials(username, pwd)
s_conn = pika.BlockingConnection(pika.ConnectionParameters('127.0.0.1', credentials=user_pwd))#创建连接
channel = s_conn.channel()#在连接上创建一个频道
channel.exchange_declare(exchange='topic_logs',
type='topic') # 声明exchange的类型为模糊匹配。
result = channel.queue_declare(exclusive=True) # 创建随机一个队列当消费者退出的时候，该队列被删除。
queue_name = result.method.queue # 创建一个随机队列名字。
binding_keys = ['[warn]', 'info.*']#绑定键。‘#’匹配所有字符，‘*’匹配一个单词。这里列表中可以为一个或多个条件，能通过列表中字符匹配到的消息，消费者都可以取到
if not binding_keys:
sys.stderr.write("Usage: %s [binding_key]...\n" % sys.argv[0])
sys.exit(1)
for binding_key in binding_keys:#通过循环绑定多个“交换机-队列-关键字”，只要消费者在rabbitmq中能匹配到与关键字相应的队列，就从那个队列里取消息
channel.queue_bind(exchange='topic_logs',
queue=queue_name,
routing_key=binding_key)
print(' [*] Waiting for logs. To exit press CTRL+C')
def callback(ch, method, properties, body):
print(" [x] %r:%r" % (method.routing_key, body))
channel.basic_consume(callback,
queue=queue_name,
no_ack=True)#不给rabbitmq发送确认
channel.start_consuming()#循环接收消息
1.4 RabbitMQ之远程过程调用
假如我们想要调用远程的一个方法或函数并等待执行结果，也就是我们通常说的远程过程调用（Remote Procedure Call）。今天我们就用RabbitMQ来实现一个简单的RPC系统：假设有一个控制中心和一个计算节点，控制中心会将一个自然数N发送给计算节点，计算节点将N值加1后，返回给控制中心。这里用center.py模拟控制中心，compute.py模拟计算节点。
计算节点
#!/usr/bin/env python
#coding=utf8
import pika
#连接rabbitmq服务器
connection = pika.BlockingConnection(pika.ConnectionParameters(
host='localhost'))
channel = connection.channel()
#定义队列
channel.queue_declare(queue='compute_queue')
print ' [*] Waiting for n'
#将n值加1
def increase(n):
return n + 1
#定义接收到消息的处理方法
def request(ch, method, properties, body):
print " [.] increase(%s)" % (body,)
response = increase(int(body))
#将计算结果发送回控制中心
ch.basic_publish(exchange='',
routing_key=properties.reply_to,
body=str(response))
ch.basic_ack(delivery_tag = method.delivery_tag)
channel.basic_qos(prefetch_count=1)
channel.basic_consume(request, queue='compute_queue')
channel.start_consuming()
控制中心
#!/usr/bin/env python
#coding=utf8
import pika
class Center(object):
def __init__(self):
self.connection = pika.BlockingConnection(pika.ConnectionParameters(
host='localhost'))
self.channel = self.connection.channel()
#定义接收返回消息的队列
result = self.channel.queue_declare(exclusive=True)
self.callback_queue = result.method.queue
self.channel.basic_consume(self.on_response,
no_ack=True,
queue=self.callback_queue)
#定义接收到返回消息的处理方法
def on_response(self, ch, method, props, body):
self.response = body
def request(self, n):
self.response = None
#发送计算请求，并声明返回队列
self.channel.basic_publish(exchange='',
routing_key='compute_queue',
properties=pika.BasicProperties(
reply_to = self.callback_queue,
),
body=str(n))
#接收返回的数据
while self.response is None:
self.connection.process_data_events()
return int(self.response)
center = Center()
print " [x] Requesting increase(30)"
response = center.request(30)
print " [.] Got %r" % (response,)
2. Redis
Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。从2013年5月开始，Redis的开发由Pivotal赞助。
redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。
Redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部 分场合可以对关系数据库起到很好的补充作用。它提供了Python，Ruby，Erlang，PHP客户端，使用很方便,Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。从盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制，使得从数据库在任何地方同步树时，可订阅一个频道并接收主服务器完整的消息发布记录。
redis客户端常用操作
[root@GoldenKitten ~]# redis-cli
127.0.0.1:6379> set name zhangsan
OK
127.0.0.1:6379> set age 22
OK
127.0.0.1:6379> keys *
1) "name"
2) "age"
127.0.0.1:6379> get name
"zhangsan"
127.0.0.1:6379> get age
"22"
#删除age
192.168.244.129:6379> del age
(integer) 1
#删除所有数据
192.168.244.129:6379> flushdb
OK
2.1 redis模块
2.1.1 redis基本使用
import redis
def main():
pool=redis.ConnectionPool(host='192.168.244.129',port=6379)
r=redis.Redis(connection_pool=pool)
r.set('age',22)
print(r.get('age'))
if __name__ == "__main__":
main()
2.1.2 redis字符串使用
#在Redis中设置值，默认不存在则创建，存在则修改
r.set('name', 'zhangsan')
'''参数：
set(name, value, ex=None, px=None, nx=False, xx=False)
ex，过期时间（秒）
px，过期时间（毫秒）
nx，如果设置为True，则只有name不存在时，当前set操作才执行,同setnx(name, value)
xx，如果设置为True，则只有name存在时，当前set操作才执行'''
#设置过期时间（秒）
r.setex(name, value, time)
#设置过期时间（豪秒）
r.psetex(name, time_ms, value)
#批量设置值
r.mset(name1='zhangsan', name2='lisi')
r.mset({"name1":'zhangsan', "name2":'lisi'})
#批量获取
print(r.mget("name1","name2"))
li=["name1","name2"]
print(r.mget(li))
#设置新值，打印原值
print(r.getset("name1","wangwu")) #输出:zhangsan
#根据字节获取子序列
r.set("name","zhangsan")
print(r.getrange("name",0,3))#输出:zhan
#修改字符串内容，从指定字符串索引开始向后替换，如果新值太长时，则向后添加
r.set("name","zhangsan")
r.setrange("name",1,"z")
print(r.get("name")) #输出:zzangsan
r.setrange("name",6,"zzzzzzz")
print(r.get("name")) #输出:zzangszzzzzzz
#对二进制表示位进行操作
''' name:redis的name
offset，位的索引（将值对应的ASCII码变换成二进制后再进行索引）
value，值只能是 1 或 0 '''
str="345"
r.set("name",str)
for i in str:
print(i,ord(i),bin(ord(i)))#输出 值、ASCII码中对应的值、对应值转换的二进制
'''
输出:
3 51 0b110011
4 52 0b110100
5 53 0b110101'''
r.setbit("name",6,0)#把第7位改为0，也就是3对应的变成了0b110001
print(r.get("name"))#输出：145
#获取name对应值的二进制中某位的值(0或1)
r.set("name","3") # 对应的二进制0b110011
print(r.getbit("name",5)) #输出:0
print(r.getbit("name",6)) #输出:1
#获取对应二进制中1的个数
r.set("name","345")#0b110011 0b110100 0b110101
print(r.bitcount("name",start=0,end=1)) #输出:7
''' key:Redis的name
start:字节起始位置
end:字节结束位置'''
#返回name对应值的字节长度（一个汉字3个字节）
r.set("name","zhangsan")
print(r.strlen("name")) #输出:8
#自增mount对应的值，当mount不存在时，则创建mount＝amount，否则，则自增,amount为自增数(整数)
print(r.incr("mount",amount=2))#输出:2
print(r.incr("mount"))#输出:3
print(r.incr("mount",amount=3))#输出:6
print(r.incr("mount",amount=6))#输出:12
print(r.get("mount")) #输出:12
#在name对应的值后面追加内容
r.set("name","zhangsan")
print(r.get("name")) #输出:'zhangsan
r.append("name","lisi")
print(r.get("name")) #输出:zhangsanlisi
2.1.4 redis Hash的使用
redis中的Hash 在内存中类似于一个name对应一个dic来存储。
#name对应的hash中设置一个键值对（不存在，则创建，否则，修改）
r.hset("dic_name","a1","aa")
#在name对应的hash中根据key获取value
print(r.hget("dic_name","a1"))#输出:aa
#获取name对应hash的所有键值
print(r.hgetall("dic_name"))
#在name对应的hash中批量设置键值对,mapping:字典
dic={"a1":"aa","b1":"bb"}
r.hmset("dic_name",dic)
print(r.hget("dic_name","b1"))#输出:bb
# 在name对应的hash中获取多个key的值
li=["a1","b1"]
print(r.hmget("dic_name",li))
print(r.hmget("dic_name","a1","b1"))
dic={"a1":"aa","b1":"bb"}
r.hmset("dic_name",dic)
#hlen(name) 获取hash中键值对的个数
print(r.hlen("dic_name"))
#hkeys(name) 获取hash中所有的key的值
print(r.hkeys("dic_name"))
#hvals(name) 获取hash中所有的value的值
print(r.hvals("dic_name"))
#检查name对应的hash是否存在当前传入的key
print(r.hexists("dic_name","a1"))#输出:True
#删除指定name对应的key所在的键值对
r.hdel("dic_name","a1")
#自增hash中key对应的值，不存在则创建key=amount(amount为整数)
print(r.hincrby("demo","a",amount=2))
2.1.5 redis之List操作
redis中的List在在内存中按照一个name对应一个List来存储。
# 在name对应的list中添加元素，每个新的元素都添加到列表的最左边
r.lpush("list_name",2)
r.lpush("list_name",3,4,5)#保存在列表中的顺序为5，4，3，2
# 在name对应的list中添加元素，每个新的元素都添加到列表的最右边
r.rpush('list_name',3,4,5)#保存在列表中的顺序为2,3,4,5
#在name对应的list中添加元素，只有name已经存在时，值添加到列表的最左边
r.lpushx(name,value)
#在name对应的list中添加元素，只有name已经存在时，值添加到列表的最右边
r.rpushx(name,value)
# name对应的list元素的个数
print(r.llen("list_name"))
# 在name对应的列表的某一个值前或后插入一个新值
r.linsert("list_name","BEFORE","2","SS")#在列表内找到第一个元素2，在它前面插入SS
'''参数：
name: redis的name
where: BEFORE（前）或AFTER（后）
refvalue: 列表内的值
value: 要插入的数据'''
#对list中的某一个索引位置重新赋值
r.lset("list_name",0,"bbb")
#删除name对应的list中的指定值
r.lrem("list_name","SS",num=0)
''' 参数：
name: redis的name
value: 要删除的值
num: num=0 删除列表中所有的指定值；
num=2 从前到后，删除2个；
num=-2 从后向前，删除2个'''
#移除列表的左侧第一个元素，返回值则是第一个元素
print(r.lpop("list_name"))
#根据索引获取列表内元素
print(r.lindex("list_name",1))
#分片获取元素
print(r.lrange("list_name",0,-1))
#移除列表内没有在该索引之内的值
r.ltrim("list_name",0,2)
# 从一个列表取出最右边的元素，同时将其添加至另一个列表的最左边
#src 要取数据的列表
#dst 要添加数据的列表
r.rpoplpush(src, dst)
#同rpoplpush，多了个timeout, timeout：取数据的列表没元素后的阻塞时间，0为一直阻塞
r.brpoplpush("list_name","list_name1",timeout=0)
#将多个列表排列,按照从左到右去移除各个列表内的元素
r.lpush("list_name",3,4,5)
r.lpush("list_name1",3,4,5)
while True:
print(r.blpop(["list_name","list_name1"],timeout=0))
print(r.lrange("list_name",0,-1),r.lrange("list_name1",0,-1))
'''keys: redis的name的集合
timeout: 超时时间，获取完所有列表的元素之后，阻塞等待列表内有数据的时间（秒）, 0 表示永远阻塞'''
#同blpop，将多个列表排列,按照从右像左去移除各个列表内的元素
r.brpop(keys, timeout)
2.1.6 redis之set操作
Set集合就是不允许重复的列表
#给name对应的集合中添加元素
r.sadd("set_name","aa")
r.sadd("set_name","aa","bb")
#获取name对应的集合的所有成员
r.smembers(name)
#获取name对应的集合中的元素个数
r.scard("set_name")
#在第一个name对应的集合中且不在其他name对应的集合的元素集合
r.sadd("set_name","aa","bb")
r.sadd("set_name1","bb","cc")
r.sadd("set_name2","bb","cc","dd")
print(r.sdiff("set_name","set_name1","set_name2"))#输出:｛aa｝
#相当于把sdiff获取的值加入到dest对应的集合中
r.sdiffstore(dest, keys, *args)
# 获取多个name对应集合的并集
r.sadd("set_name","aa","bb")
r.sadd("set_name1","bb","cc")
r.sadd("set_name2","bb","cc","dd")
print(r.sinter("set_name","set_name1","set_name2"))#输出:｛bb｝
#获取多个name对应集合的并集，再讲其加入到dest对应的集合中
r.sinterstore(dest, keys, *args)
#检查value是否是name对应的集合内的元素
r.sismember(name, value)
#将某个元素从一个集合中移动到另外一个集合
r.smove(src, dst, value)
#从集合的右侧移除一个元素，并将其返回
r.spop(name)
# 从name对应的集合中随机获取numbers个元素
print(r.srandmember("set_name2",2))
#删除name对应的集合中的某些值
print(r.srem("set_name2","bb","dd"))
#获取多个name对应的集合的并集
r.sunion("set_name","set_name1","set_name2")
#获取多个name对应的集合的并集，并将结果保存到dest对应的集合中
r.sunionstore(dest,keys, *args)
2.1.7 redis之有序集合
在集合的基础上，为每元素排序，元素的排序需要根据另外一个值来进行比较，所以，对于有序集合，每一个元素有两个值，即：值和分数，分数专门用来做排序。
# 在name对应的有序集合中添加元素
r.zadd("zset_name", "a1", 6, "a2", 2,"a3",5)
#或
r.zadd('zset_name1', b1=10, b2=5)
#获取有序集合内元素的数量
zcard(name)
#获取有序集合中分数在[min,max]之间的个数
print(r.zcount("zset_name",1,5))
#自增有序集合内value对应的分数
r.zincrby("zset_name","a1",amount=2)#自增zset_name对应的有序集合里a1对应的分数
# 按照索引范围获取name对应的有序集合的元素
aa=r.zrange("zset_name",0,1,desc=False,withscores=True,score_cast_func=int)
print(aa)
'''参数：
name redis的name
start 有序集合索引起始位置
end 有序集合索引结束位置
desc 排序规则，默认按照分数从小到大排序
withscores 是否获取元素的分数，默认只获取元素的值
score_cast_func 对分数进行数据转换的函数'''
#同zrange，集合是从大到小排序的
r.zrevrange(name, start, end, withscores=False, score_cast_func=float)
#获取value值在name对应的有序集合中的排行位置（从0开始）
print(r.zrank("zset_name", "a2"))
print(r.zrevrank("zset_name", "a2"))#从大到小排序
#获取name对应有序集合中 value 对应的分数
print(r.zscore("zset_name","a1"))
#删除name对应的有序集合中值是values的成员
r.zrem("zset_name","a1","a2")
#根据排行范围删除
r.zremrangebyrank(name, min, max)
#根据分数范围删除
r.zremrangebyscore(name, min, max)
# 获取两个有序集合的交集并放入dest集合，如果遇到相同值不同分数，则按照aggregate进行操作
# aggregate的值为: SUM MIN MAX
r.zinterstore("zset_name2",("zset_name1","zset_name"),aggregate="MAX")
print(r.zscan("zset_name2"))
#获取两个有序集合的并集并放入dest集合，其他同zinterstore，
r.zunionstore(dest, keys, aggregate=None)
2.1.8 redis之其他常用操作
#根据name删除redis中的任意数据类型
delete(*names)
#检测redis的name是否存在
exists(name)
#根据* ？等通配符匹配获取redis的name
keys(pattern='*')
# 为某个name设置超时时间
expire(name ,time)
# 重命名
rename(src, dst)
# 将redis的某个值移动到指定的db下
move(name, db))
#随机获取一个redis的name（不删除）
randomkey()
# 获取name对应值的类型
type(name)
2.1.8 redis之管道
redis-py默认在执行每次请求都会创建（连接池申请连接）和断开（归还连接池）一次连接操作，如果想要在一次请求中指定多个命令，则可以使用pipline实现一次请求指定多个命令，并且默认情况下一次pipline 是原子性操作。
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import redis
pool = redis.ConnectionPool(host='192.168.0.110', port=6379)
r = redis.Redis(connection_pool=pool)
pipe = r.pipeline(transaction=True)
r.set('name', 'zhangsan')
r.set('name', 'lisi')
pipe.execute()
2.1.9 redis之发布和订阅
首先定义一个RedisHelper类，连接Redis，定义频道为monitor，定义发布(publish)及订阅(subscribe)方法。
#!/usr/bin/env python
#-*- coding:utf-8 -*-
import redis
class RedisHelper(object):
def __init__(self):
self.__conn = redis.Redis(host='192.168.0.110',port=6379)#连接Redis
self.channel = 'monitor' #定义名称
def publish(self,msg):#定义发布方法
self.__conn.publish(self.channel,msg)
return True
def subscribe(self):#定义订阅方法
pub = self.__conn.pubsub()
pub.subscribe(self.channel)
pub.parse_response()
return pub
发布者
#!/usr/bin/env python
# -*- coding:utf-8 -*-
#发布
from RedisHelper import RedisHelper
obj = RedisHelper()
obj.publish('hello')#发布
订阅者
#!/usr/bin/env python
# -*- coding:utf-8 -*-
#订阅
from RedisHelper import RedisHelper
obj = RedisHelper()
redis_sub = obj.subscribe()#调用订阅方法
while True:
msg= redis_sub.parse_response()
print (msg)