基于Python的Redis操作

目录

Redis的注意点总结

一、Redis 安装

1-1 Linux下安装

1-2 Windows下安装

二、Python模块安装 - redis

三、Python 连接 Redis操作

3-1 普通连接

3-2 连接池连接 - 注意:程序仅生产一个池,即使用单例模式

四、redis模块 - String操作

4-1 设值

4-1-1 set(self, name, value, ex=None, px=None, nx=False, xx=False)  - 单条插入

4-1-2 setnx(name, value) - 仅存在设值

4-1-3 setex(self, name, time, value) - x秒后删除

4-1-4 psetex(name, time_ms, value) - x毫秒后删除

4-1-5 mset(mapping) - 批量插入

4-1-6 setrange(name, offset, value) - 替代索引起的所有内容

4-1-7 setbit(name, offset, value) - 修改name的二进制的位进

4-1-8 append(key, value) - key后追加value

4-2 取值

4-2-1 get(name) - 单个获取

4-2-2 mget(keys, *args) - 批量获取

4-2-3 getset(name, value) - 获取旧值并赋新

4-2-4 getrange(key, start, end) - 获取指定区间值

4-2-5 getbit(name, offset) - name对应的值的二进制表示中的某位的值 (0或1)

4-2-6 bitcount(key, start=None, end=None) - 获取name对应的值的二进制表示中 1 的个数

4-2-6 bitop(operation, dest, *keys) - 多值逻辑运算,结果保存dest内

4-2-7 strlen(name) -  返回name对应值的字节长度

4-3 自增自减

五、redis模块 - Hash操作

5-1 设值

5-1-1 hset(name, key, value) - name表内设置key-value,若存在则修改

5-1-2 hmset(name, mapping) - 批量添加键值对

5-2 取值

5-2-1 hget(name,key) - name表内获取key对应的值

5-2-2 hmget(name, keys, *args) - 批量获值

5-2-3 hgetall(name) - 获取name表内所有键值对(慎用,若数据过大易造成异常等)

5-2-4 hlen(name) - 获取name表内键值对个数

5-2-5 hkeys(name) - 获取name表中所有的key

5-2-6 hvals(name) - 获取name表中所有value

5-2-7 hexists(name, key) - name表中是否存入key

5-2-8 hscan_iter(name, match=None, count=None) - 生成器获取数据

5-2-9 hscan(name, cursor=0, match=None, count=None) - 指定游标取数据(类切片)

5-3 hdel(name,*keys) -  删除name表中的指定值

5-4 自增自减

5-4-1 hincrby(name, key, amount=1) - 整数自增

5-4-2 hincrbyfloat(name, key, amount=1.0) - 浮点自增

六、redis模块 - List操作

6-1 设值

6-1-1 lpush(name,values) - name列表中左侧插入values

 6-1-2 lpushx(name,value) - 仅在name存在时,在列表中左侧插入values

6-1-3 rpush(name,values) - name列表中右侧侧插入values

 6-1-4 rpushx(name,value) - 仅在name存在时,在列表中右侧插入values

6-1-5 linsert(name, where, refvalue, value)) - 在name列表refvalue前后插入value

6-1-6 r.lset(name, index, value) - value覆盖name列表的index位置的值

6-2 取值

6-2-1 lindex(name, index) - 在name列表中根据index索引获取列表元素

6-2-2 llen(name) - 获取name列表元素个数

6-2-3  lrange(name, start, end) - 获取name列表[start, end]的值

6-3 删值

6-3-1 lrem(name, value, num) - 删除name列表,num位置的value值

6-3-2 lpop(name) - name列表删除左侧第一个值,并返回第一个元素 

6-3-3 ltrim(name, start, end) - 删除name列表[start, end]的值

6-4 其他

6-4-1 rpoplpush(src, dst) - 删除src列表的最右元素,同时dst列表添加元素在最左

6-4-2 brpoplpush(src, dst, timeout=0) -  将列表src的最右元素,添加至,dst列表的最左

6-4-3 blpop(keys, timeout) - 多个列表排序,按照从左到右删除对应列表的元素

6-5 自定义增量迭代 - 防止取出数据过大造成内存影响

七、redis模块 - Set(集合)操作

7-1 无序集合 Set

7-1-1 sadd(name,values) - name对应的集合中添加元素

7-1-2 scard(name) - 获取name集合内元素个数

7-1-3 sdiff(keys, *args) - 获取在第一个集合却不在其他集合中的集合对象

7-1-4 sdiffstore(dest, keys, *args) - 获取第一个集合中且不在其他集合中的集合对象,添加到dest集合中

7-1-5 sinter(keys, *args) - 获取多个指定集合的交际

7-1-6 sinterstore(dest, keys, *args) - 获取多个指定集合的交集,并添加到dest集合中

7-1-7 sismember(name, value) - 检查value是否是name集合元素

7-1-8 smembers(name) - 获取name集合内所有成员

7-1-9 srandmember(name, numbers)  - 获取name集合中,随机num个元素

7-1-10 sunion(keys, *args) - 获取多个指定集合的并集,并返回

7-1-11 sunionstore(dest,keys, *args) - 获取多个指定集合的并集,并保存在dest集合内

7-1-12 smove(src, dst, value) - 将某个成员从一个集合中移动到另一个集合

7-1-13 spop(name) - 删除最右元素,并返回

7-1-14 srem(name, values) - 删除name集合所有values元素

7-1-15 sscan(name, cursor=0, match=None, count=None)、sscan_iter(name, match=None, count=None) - 同字符串操作,用于增量迭代分批获取元素,避免内存消耗过大

7-2 有序集合 Zset

7-2-1 zadd(name, *args, **kwargs) - 添加元素

7-2-2 zcard(name) - 获取集合元素数量

7-2-3 zcount(name, min, max) - 获取集合[min, max],元素个数

7-2-4 zincrby(name, value, amount) - 自增name集合value的值,amount自增数

7-2-5 r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float) - 获取[start, end]内元素

7-2-6 zrank(name, value) - 获取name集合value的索引值

7-2-7 zrangebylex(name, min, max, start=None, num=None) - 集合排序

7-2-8 zscore(name, value) - 获取name集合对应value的对应分数

7-2-9 zinterstore(dest, keys, aggregate=None) - 获取两个有序集合交集

7-2-10 zunionstore(dest, keys, aggregate=None) - 获取两个有序集合并集

 7-2-11 zrem(name, values)  - 删除name集合values元素们

7-2-12 zremrangebyrank(name, min, max) - 根据排行,删除[min,max]范围内元素

7-2-13 zremrangebyscore(name, min, max) - 根据分数,删除[min,max]范围内元素

7-2-14 zremrangebylex(name, min, max) - 根据值,删除[min,max]范围内元素

7-2-15 zscan(name, cursor=0, match=None, count=None, score_cast_func=float)、zscan_iter(name, match=None, count=None,score_cast_func=float) - 同字符串相似,相较于字符串新增score_cast_func,用来对分数进行操作

八、redis模块 - 其他操作

九、redis模块 - 管道实现事务操作(仅单机状态,集群无法实现)


Redis的注意点总结

  • redis支持5大数据类型,但只针对于第一层的数据
  • redis存取数据默认都为bytes类型decode_responses = False
  • 使用decode_responses = True,将数据从bytes改为字符串格式存入redis数据库中


一、Redis 安装

1-1 Linux下安装

wget http://download.redis.io/releases/redis-3.0.6.tar.gz
tar xzf redis-3.0.6.tar.gz
cd redis-3.0.6
make

服务器启动
src/redis-server

启动客户端
src/redis-cli
redis> set foo bar
OK
redis> get foo
"bar"

1-2 Windows下安装

官网下载 - 解压文件之后打开server.exe 使用cli.exe进行连接

若服务器端输入ping,能返回pong,则说明连接成功

二、Python模块安装 - redis

三、Python 连接 Redis操作

3-1 普通连接

import redis
conn = redis.Redis(host='127.0.0.1',port=6379)

3-2 连接池连接 - 注意:程序仅生产一个池,即使用单例模式

redis-py使用connection pool来管理对一个redis server的所有连接,避免每次建立、释放连接的开销。

默认,每个Redis实例都会维护一个自己的连接池。

可以直接建立一个连接池,然后作为参数Redis,这样就可以实现多个Redis实例共享一个连接池

import redis

# max_connections连接池的最大连接数
pool = redis.ConnectionPool(host='127.0.0.1', port=6379, max_connections=10)
conn= redis.Redis(connection_pool=pool)

 

四、redis模块 - String操作

4-1 设值

4-1-1 set(self, name, value, ex=None, px=None, nx=False, xx=False)  - 单条插入

'''
在Redis中设置值,默认,不存在则创建,存在则修改
参数:
     ex,过期时间(秒)
     px,过期时间(毫秒)
     nx,如果设置为True,则只有name不存在时,当前set操作才执行,值存在,就修改不了,执行没效果
     xx,如果设置为True,则只有name存在时,当前set操作才执行,值存在才能修改,值不存在,不会设置新值
'''
set(name, value, 
    ex=None, px=None,
    nx=False, xx=False)
conn.set(key名, value值,
        几秒过期,几毫秒过期,
        是否只有name不存在是才进行插入,是否在name存在是进行插入)

4-1-2 setnx(name, value) - 仅存在设值

'''
设置值,只有name不存在时,执行设置操作(添加),如果存在,不会修改
'''
setnx(name, value) 等同于 set(name, value,nx=True)

4-1-3 setex(self, name, time, value) - x秒后删除

'''
ex,过期时间(秒)之后删除
'''
setex(self, name, time, value)
等同于
set(name, value, ex=time)

4-1-4 psetex(name, time_ms, value) - x毫秒后删除

'''
px,过期时间(毫秒)之后删除
'''
psetex(self, name, time_ms, value)
等同于
set(name, value, px= time_ms)

4-1-5 mset(mapping) - 批量插入

'''
批量设置值
'''
mget({'k1': 'v1', 'k2': 'v2'})

def mset(self, mapping):
    """
    Sets key/values based on a mapping. Mapping is a dictionary of
    key/value pairs. Both keys and values should be strings or types that
    can be cast to a string via str().
    根据映射设置键/值。映射是一个字典键/值对。
    键和值都应该是字符串或类型可以通过str()转换为字符串。
    """
    items = []
    for pair in iteritems(mapping):
        items.extend(pair)
    return self.execute_command('MSET', *items)

4-1-6 setrange(name, offset, value) - 替代索引起的所有内容

'''
修改字符串内容,从指定字符串索引开始向后替换(新值太长时,则向后添加)
参数:
    offset,字符串的索引,字节(一个汉字三个字节)
    value,要设置的值
'''
conn.set('hello', '你好')
# 一个汉字占三个字节,前闭后闭区间.取出字符串指定某部分
print(conn.getrange('hello', 0, 2))
print(conn.getrange('hello', 0, 2).decode('utf-8'))

# 一个汉子3个字节,区闭区间,则必须从汉字索引后一位起
conn.setrange('hello', 3, '呀呀呀')
print(conn.getrange('hello', 3, 5))
print(conn.getrange('hello', 3, 5).decode('utf-8'))


'''
b'\xe4\xbd\xa0'
你
b'\xe5\x91\x80'
呀
'''

4-1-7 setbit(name, offset, value) - 修改name的二进制的位进

# 对name对应值的二进制表示的位进行操作
 
# 参数:
    # name,redis的name
    # offset,位的索引(将值变换成二进制后再进行索引)
    # value,值只能是 1 或 0
 
# 注:如果在Redis中有一个对应: n1 = "foo",
        那么字符串foo的二进制表示为:01100110 01101111 01101111
    所以,如果执行 setbit('n1', 7, 1),则就会将第7位设置为1,
        那么最终二进制则变成 01100111 01101111 01101111,即:"goo"

4-1-8 append(key, value) - key后追加value

# 在redis name对应的值后面追加内容
 
# 参数:
    key, redis的name
    value, 要追加的字符串

4-2 取值

4-2-1 get(name) - 单个获取

conn.get('k1')

4-2-2 mget(keys, *args) - 批量获取

def mget(self, keys, *args):
	"""
	Returns a list of values ordered identically to ``keys``
	"""
	args = list_or_args(keys, args)
	options = {}
	if not args:
		options[EMPTY_RESPONSE] = []
	return self.execute_command('MGET', *args, **options)


conn.mget('k1','k2')
conn.mget({'k1','k2'})

4-2-3 getset(name, value) - 获取旧值并赋新

conn.getset('t1','test')

4-2-4 getrange(key, start, end) - 获取指定区间值

'''
获取子序列(根据字节获取,非字符)
参数:
    name,Redis 的 name
    start,起始位置(字节)
    end,结束位置(字节)
如: "你好" ,[0,2]表示 "你" 
'''
conn.set('hello', '你好')
# 一个汉字占三个字节,前闭后闭区间.取出字符串指定某部分
print(conn.getrange('hello', 0, 2))
print(conn.getrange('hello', 0, 2).decode('utf-8'))

# >>> b'\xe4\xbd\xa0'
# >>> 你

4-2-5 getbit(name, offset) - name对应的值的二进制表示中的某位的值 (0或1)

# 获取name对应的值的二进制表示中的某位的值 (0或1)
conn.getbit('hello', 0)

4-2-6 bitcount(key, start=None, end=None) - 获取name对应的值的二进制表示中 1 的个数

# 获取name对应的值的二进制表示中 1 的个数
# 参数:
    # key,Redis的name
    # start,位起始位置
    # end,位结束位置

4-2-6 bitop(operation, dest, *keys) - 多值逻辑运算,结果保存dest内

# 获取多个值,并将值做位运算,将最后的结果保存至新的name对应的值
 
# 参数:
    # operation,AND(并) 、 OR(或) 、 NOT(非) 、 XOR(异或)
    # dest, 新的Redis的name
    # *keys,要查找的Redis的name
 
# 如:
    bitop("AND", 'new_name', 'n1', 'n2', 'n3')
    # 获取Redis中n1,n2,n3对应的值,然后讲所有的值做位运算(求并集),然后将结果保存 new_name 对应的值中

4-2-7 strlen(name) -  返回name对应值的字节长度

# 返回name对应值的字节长度(一个汉字3个字节)

4-3 自增自减

4-3-1 incr(self, name, amount=1) - 整数自增

# 自增 name对应的值,当name不存在时,则创建name=amount,否则,则自增。
 
# 参数:
    # name,Redis的name
    # amount,自增数(必须是整数)
 
# 注:同incrby

4-3-2 incrbyfloat(self, name, amount=1.0) -浮点自增

# 自增 name对应的值,当name不存在时,则创建name=amount,否则,则自增。
 
# 参数:
    # name,Redis的name
    # amount,自增数(浮点型)

4-3-3 decr(self, name, amount=1) - 自减

# 自减 name对应的值,当name不存在时,则创建name=amount,否则,则自减。
 
# 参数:
    # name,Redis的name
    # amount,自减数(整数)

五、redis模块 - Hash操作

5-1 设值

5-1-1 hset(name, key, value) - name表内设置key-value,若存在则修改

# name对应的hash中设置一个键值对(不存在,则创建;否则,修改)
 
# 参数:
    # name,redis的name
    # key,name对应的hash中的key
    # value,name对应的hash中的value
 
# 注:
    # hsetnx(name, key, value),当name对应的hash中不存在当前key时则创建(相当于添加)

5-1-2 hmset(name, mapping) - 批量添加键值对

# 在name对应的hash中批量设置键值对
 
# 参数:
    # name,redis的name
    # mapping,字典,如:{'k1':'v1', 'k2': 'v2'}
 
# 如:
    # r.hmset('xx', {'k1':'v1', 'k2': 'v2'})

# 通过单次设值实现批量设值
for i in range(1000):
    conn.hset('m2','key%s'%i,'value%s'%i)

5-2 取值

5-2-1 hget(name,key) - name表内获取key对应的值

# 在name对应的hash中获取根据key获取value

5-2-2 hmget(name, keys, *args) - 批量获值

# 在name对应的hash中获取多个key的值
 
# 参数:
    # name,reids对应的name
    # keys,要获取key集合,如:['k1', 'k2', 'k3']
    # *args,要获取的key,如:k1,k2,k3
 
# 如:
    # r.mget('xx', ['k1', 'k2'])
    # 或
    # print r.hmget('xx', 'k1', 'k2')

5-2-3 hgetall(name) - 获取name表内所有键值对(慎用,若数据过大易造成异常等)

# 获取name对应hash的所有键值
print(re.hgetall('xxx').get(b'name'))

5-2-4 hlen(name) - 获取name表内键值对个数

# 获取name对应的hash中键值对的个数

5-2-5 hkeys(name) - 获取name表中所有的key

# 获取name对应的hash中所有的key的值

5-2-6 hvals(name) - 获取name表中所有value

# 获取name对应的hash中所有的value的值

5-2-7 hexists(name, key) - name表中是否存入key

# 检查name对应的hash是否存在当前传入的key

5-2-8 hscan_iter(name, match=None, count=None) - 生成器获取数据

# 利用yield封装hscan创建生成器,实现分批去redis中获取数据
 
# 参数:
    # match,匹配指定key,默认None 表示所有的key
    # count,每次分片最少获取个数,默认None表示采用Redis的默认分片个数
 
# 如:
    # for item in r.hscan_iter('xx'):
    #     print item

# 问:我redis中字典有10000w条数据,全部打印出来
for i in range(1000):
    conn.hset('m2','key%s'%i,'value%s'%i)
# 指定每次取10条,直到取完
ret=conn.hscan_iter('m2',count=100)
print(next(ret))
print(next(ret))
for i in ret:
    print(i)
# 错误方式
ret=conn.hgetall('m2')



# ------------源码------------------
def hscan_iter(self, name, match=None, count=None):
	"""
	Make an iterator using the HSCAN command so that the client doesn't
	need to remember the cursor position.

	``match`` allows for filtering the keys by pattern

	``count`` allows for hint the minimum number of returns
	"""
	cursor = '0'
	while cursor != 0:
		cursor, data = self.hscan(name, cursor=cursor,
								  match=match, count=count)
		for item in data.items():
			yield item

5-2-9 hscan(name, cursor=0, match=None, count=None) - 指定游标取数据(类切片)

# 增量式迭代获取,对于数据大的数据非常有用,hscan可以实现分片的获取数据,并非一次性将数据全部获取完,从而放置内存被撑爆
 
# 参数:
    # name,redis的name
    # cursor,游标(基于游标分批取获取数据)
    # match,匹配指定key,默认None 表示所有的key
    # count,每次分片最少获取个数,默认None表示采用Redis的默认分片个数
 
# 如:
    # 第一次:cursor1, data1 = r.hscan('xx', cursor=0, match=None, count=None)
    # 第二次:cursor2, data1 = r.hscan('xx', cursor=cursor1, match=None, count=None)
    # ...
    # 直到返回值cursor的值为0时,表示数据已经通过分片获取完毕

ret = conn.hscan('m2', count=300)
print(len(ret[1]))
print(ret)

# -----------源码-------------
def hscan(self, name, cursor=0, match=None, count=None):
	"""
	Incrementally return key/value slices in a hash. Also return a cursor
	indicating the scan position.

	``match`` allows for filtering the keys by pattern

	``count`` allows for hint the minimum number of returns
	"""
	pieces = [name, cursor]
	if match is not None:
		pieces.extend([Token.get_token('MATCH'), match])
	if count is not None:
		pieces.extend([Token.get_token('COUNT'), count])
	return self.execute_command('HSCAN', *pieces)			

 

5-3 hdel(name,*keys) -  删除name表中的指定值

# 将name对应的hash中指定key的键值对删除
conn.hdel('m2','key1','key2')

def hdel(self, name, *keys):
    "Delete ``keys`` from hash ``name``"
    return self.execute_command('HDEL', name, *keys)

# 可行方式
conn.hdel('m2',*['key1','key2'])
# 错误方式
conn.hdel('m2',['key1','key2'])

5-4 自增自减

5-4-1 hincrby(name, key, amount=1) - 整数自增

# 自增name对应的hash中的指定key的值,不存在则创建key=amount
# 参数:
    # name,redis中的name
    # key, hash对应的key
    # amount,自增数(整数)

应用场景:
统计文章阅读数:key是文章id,value是文章阅读数,有一个阅读者,数字加一。
数据线保存在Redis内,在某一时间点,保存到MySQL等数据库内,进行同步操作。

5-4-2 hincrbyfloat(name, key, amount=1.0) - 浮点自增

# 自增name对应的hash中的指定key的值,不存在则创建key=amount
 
# 参数:
    # name,redis中的name
    # key, hash对应的key
    # amount,自增数(浮点数)
 
# 自增name对应的hash中的指定key的值,不存在则创建key=amount

六、redis模块 - List操作

6-1 设值

6-1-1 lpush(name,values) - name列表中左侧插入values

# 在name对应的list中添加元素,每个新的元素都添加到列表的最左边
 
# 如:
    # r.lpush('oo', 11,22,33)
    # 保存顺序为: 33,22,11
 
# 扩展:
    # rpush(name, values) 表示从右向左操作

 6-1-2 lpushx(name,value) - 仅在name存在时,在列表中左侧插入values

# 在name对应的list中添加元素,只有name已经存在时,值添加到列表的最左边
 
# 更多:
    # rpushx(name, value) 表示从右向左操作

6-1-3 rpush(name,values) - name列表中右侧侧插入values

# 在name对应的list中添加元素,每个新的元素都添加到列表的最左边
 
# 如:
    # r.lpush('oo', 11,22,33)
    # 保存顺序为: 33,22,11
 
# 扩展:
    # rpush(name, values) 表示从右向左操作

 6-1-4 rpushx(name,value) - 仅在name存在时,在列表中右侧插入values

# 在name对应的list中添加元素,只有name已经存在时,值添加到列表的最左边
 
# 更多:
    # rpushx(name, value) 表示从右向左操作

6-1-5 linsert(name, where, refvalue, value)) - 在name列表refvalue前后插入value

# 在name对应的列表的某一个值前或后插入一个新值
 
# 参数:
    # name,redis的name
    # where,BEFORE或AFTER(小写也可以)
    # refvalue,标杆值,即:在它前后插入数据(如果存在多个标杆值,以找到的第一个为准)
    # value,要插入的数据

'''
注意:如果存在多个相同的值,则在获取的第一个值进行前后的插入操作
'''

6-1-6 r.lset(name, index, value) - value覆盖name列表的index位置的值

# 对name对应的list中的某一个索引位置重新赋值
 
# 参数:
    # name,redis的name
    # index,list的索引位置
    # value,要设置的值

6-2 取值

6-2-1 lindex(name, index) - 在name列表中根据index索引获取列表元素

6-2-2 llen(name) - 获取name列表元素个数

6-2-3  lrange(name, start, end) - 获取name列表[start, end]的值

# 在name对应的列表分片获取数据
# 参数:
    # name,redis的name
    # start,索引的起始位置
    # end,索引结束位置  print(re.lrange('aa',0,re.llen('aa')))

# 列表操作,没有getall这个东西,可以通过切片来获取全部
print(conn.lrange('l1',0,conn.llen('l1')))
# 前闭后闭区间
print(conn.lrange('l1',0,1))

6-3 删值

6-3-1 lrem(name, value, num) - 删除name列表,num位置的value值

# 在name对应的list中删除指定的值
 
# 参数:
    # name,redis的name
    # value,要删除的值
    # num,  num=0,删除列表中所有的指定值;
           # num=2,从前到后,删除2个;
           # num=-2,从后向前,删除2个

# 更多:
    # rrem(name) 表示从右向左操作

6-3-2 lpop(name) - name列表删除左侧第一个值,并返回第一个元素 

# 在name对应的列表的左侧获取第一个元素并在列表中移除,返回值则是第一个元素
 
# 更多:
    # rpop(name) 表示从右向左操作

6-3-3 ltrim(name, start, end) - 删除name列表[start, end]的值

# 在name对应的列表中移除没有在start-end索引之间的值
# 参数:
    # name,redis的name
    # start,索引的起始位置
    # end,索引结束位置(大于列表长度,则代表不移除任何)

6-4 其他

6-4-1 rpoplpush(src, dst) - 删除src列表的最右元素,同时dst列表添加元素在最左

# 从一个列表取出最右边的元素,同时将其添加至另一个列表的最左边
# 参数:
    # src,要取数据的列表的name
    # dst,要添加数据的列表的name

6-4-2 brpoplpush(src, dst, timeout=0) -  将列表src的最右元素,添加至,dst列表的最左

# 从一个列表的右侧移除一个元素并将其添加到另一个列表的左侧
 
# 参数:
    # src,取出并要移除元素的列表对应的name
    # dst,要插入元素的列表对应的name
    # timeout,当src对应的列表中没有数据时,阻塞等待其有数据的超时时间(秒),0 表示永远阻塞

6-4-3 blpop(keys, timeout) - 多个列表排序,按照从左到右删除对应列表的元素

# 将多个列表排列,按照从左到右去pop对应列表的元素
 
# 参数:
    # keys,redis的name的集合
    # timeout,超时时间,当元素所有列表的元素获取完之后,阻塞等待列表内有数据的时间(秒), 0 表示永远阻塞
 
# 更多:
    # r.brpop(keys, timeout),从右向左获取数据

应用场景:

爬虫实现简单分布式:多个url放到列表里,往里不停放URL,程序循环取值,但是只能一台机器运行取值,可以把url放到redis中,多台机器从redis中取值,爬取数据,实现简单分布式

'''
注意:如果列表中没有值,会一直hang住,实现简单的分布式
'''
print(conn.blpop('l1',timeout=3))

6-5 自定义增量迭代 - 防止取出数据过大造成内存影响

# 由于redis类库中没有提供对列表元素的增量迭代,如果想要循环name对应的列表的所有元素,那么就需要:
    # 1、获取name对应的所有列表
    # 2、循环列表
# 但是,如果列表非常大,那么就有可能在第一步时就将程序的内容撑爆,所有有必要自定义一个增量迭代的功能:

import redis
conn=redis.Redis(host='127.0.0.1',port=6379)
# conn.lpush('test',*[1,2,3,4,45,5,6,7,7,8,43,5,6,768,89,9,65,4,23,54,6757,8,68])
# conn.flushall()
def scan_list(name,count=2):
    index=0
    while True:
        data_list=conn.lrange(name,index,count+index-1)
        if not data_list:
            return
        index+=count
        for item in data_list:
            yield item
print(conn.lrange('test',0,100))
for item in scan_list('test',5):
    print('---')
    print(item)

七、redis模块 - Set(集合)操作

Set操作,Set集合就是不允许重复的列表

7-1 无序集合 Set

7-1-1 sadd(name,values) - name对应的集合中添加元素


7-1-2 scard(name) - 获取name集合内元素个数

7-1-3 sdiff(keys, *args) - 获取在第一个集合却不在其他集合中的集合对象

7-1-4 sdiffstore(dest, keys, *args) - 获取第一个集合中且不在其他集合中的集合对象,添加到dest集合中

7-1-5 sinter(keys, *args) - 获取多个指定集合的交际

7-1-6 sinterstore(dest, keys, *args) - 获取多个指定集合的交集,并添加到dest集合中

7-1-7 sismember(name, value) - 检查value是否是name集合元素

7-1-8 smembers(name) - 获取name集合内所有成员

7-1-9 srandmember(name, numbers)  - 获取name集合中,随机num个元素

7-1-10 sunion(keys, *args) - 获取多个指定集合的并集,并返回

7-1-11 sunionstore(dest,keys, *args) - 获取多个指定集合的并集,并保存在dest集合内


7-1-12 smove(src, dst, value) - 将某个成员从一个集合中移动到另一个集合

7-1-13 spop(name) - 删除最右元素,并返回

7-1-14 srem(name, values) - 删除name集合所有values元素

7-1-15 sscan(name, cursor=0, match=None, count=None)、sscan_iter(name, match=None, count=None) - 同字符串操作,用于增量迭代分批获取元素,避免内存消耗过大


7-2 有序集合 Zset

有序集合,在集合的基础上,为每元素排序;元素的排序需要根据另外一个值来进行比较。
所以,对于有序集合,每一个元素有两个值,即:值和分数,分数专门用来做排序。

7-2-1 zadd(name, *args, **kwargs) - 添加元素

# 在name对应的有序集合中添加元素
# 如:
     # zadd('zz', 'n1', 1, 'n2', 2)
     # 或
     # zadd('zz', n1=11, n2=22)

7-2-2 zcard(name) - 获取集合元素数量

7-2-3 zcount(name, min, max) - 获取集合[min, max],元素个数

7-2-4 zincrby(name, value, amount) - 自增name集合value的值,amount自增数

7-2-5 r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float) - 获取[start, end]内元素

# 按照索引范围获取name对应的有序集合的元素
 
# 参数:
    # name,redis的name
    # start,有序集合索引起始位置(非分数)
    # end,有序集合索引结束位置(非分数)
    # desc,排序规则,默认按照分数从小到大排序
    # withscores,是否获取元素的分数,默认只获取元素的值
    # score_cast_func,对分数进行数据转换的函数
 
# 更多:
    # 从大到小排序
    # zrevrange(name, start, end, withscores=False, score_cast_func=float)
 
    # 按照分数范围获取name对应的有序集合的元素
    # zrangebyscore(name, min, max, start=None, num=None, withscores=False, score_cast_func=float)
    # 从大到小排序
    # zrevrangebyscore(name, max, min, start=None, num=None, withscores=False, score_cast_func=float)

7-2-6 zrank(name, value) - 获取name集合value的索引值

# 获取某个值在 name对应的有序集合中的排行(从 0 开始)
 
# 更多:
    # zrevrank(name, value),从大到小排序

7-2-7 zrangebylex(name, min, max, start=None, num=None) - 集合排序

# 当有序集合的所有成员都具有相同的分值时,有序集合的元素会根据成员的 值 (lexicographical ordering)来进行排序,而这个命令则可以返回给定的有序集合键 key 中, 元素的值介于 min 和 max 之间的成员
# 对集合中的每个成员进行逐个字节的对比(byte-by-byte compare), 并按照从低到高的顺序, 返回排序后的集合成员。 如果两个字符串有一部分内容是相同的话, 那么命令会认为较长的字符串比较短的字符串要大
 
# 参数:
    # name,redis的name
    # min,左区间(值)。 + 表示正无限; - 表示负无限; ( 表示开区间; [ 则表示闭区间
    # min,右区间(值)
    # start,对结果进行分片处理,索引位置
    # num,对结果进行分片处理,索引后面的num个元素
 
# 如:
    # ZADD myzset 0 aa 0 ba 0 ca 0 da 0 ea 0 fa 0 ga
    # r.zrangebylex('myzset', "-", "[ca") 结果为:['aa', 'ba', 'ca']
 
# 更多:
    # 从大到小排序
    # zrevrangebylex(name, max, min, start=None, num=None)

7-2-8 zscore(name, value) - 获取name集合对应value的对应分数

7-2-9 zinterstore(dest, keys, aggregate=None) - 获取两个有序集合交集

# 获取两个有序集合的交集,如果遇到相同值不同分数,则按照aggregate进行操作
# aggregate的值为:  SUM  MIN  MAX

7-2-10 zunionstore(dest, keys, aggregate=None) - 获取两个有序集合并集

# 获取两个有序集合的并集,如果遇到相同值不同分数,则按照aggregate进行操作
# aggregate的值为:  SUM  MIN  MAX

 7-2-11 zrem(name, values)  - 删除name集合values元素们

# 删除name对应的有序集合中值是values的成员
 
# 如:zrem('zz', ['s1', 's2'])

7-2-12 zremrangebyrank(name, min, max) - 根据排行,删除[min,max]范围内元素

7-2-13 zremrangebyscore(name, min, max) - 根据分数,删除[min,max]范围内元素

7-2-14 zremrangebylex(name, min, max) - 根据值,删除[min,max]范围内元素

7-2-15 zscan(name, cursor=0, match=None, count=None, score_cast_func=float)、zscan_iter(name, match=None, count=None,score_cast_func=float) - 同字符串相似,相较于字符串新增score_cast_func,用来对分数进行操作

八、redis模块 - 其他操作

8-1 delete(*names) - 删除redis中任意数据类型

8-1 exists(name) - 检测redis的name是否存在

8-2 keys(pattern='*') - 根据模型获取redis的name

# 根据模型获取redis的name
 
# 更多:
    # KEYS * 匹配数据库中所有 key 。
    # KEYS h?llo 匹配 hello , hallo 和 hxllo 等。
    # KEYS h*llo 匹配 hllo 和 heeeeello 等。
    # KEYS h[ae]llo 匹配 hello 和 hallo ,但不匹配 hillo 

8-3 expire(name ,time) - 为某个redis的某个name设置超时时间

8-4 rename(src, dst) - 对redis的name重命名

8-5 move(name, db)) - 将redis的某个值移动到指定db下

8-6 randomkey() - 随机获取一个redis的name(不删除)

8-7 type(name) - 获取name对应值的类型

8-8 scan(cursor=0, match=None, count=None)、scan_iter(match=None, count=None) - 同字符串操作,用于增量迭代获取key

九、redis模块 - 管道实现事务操作(仅单机状态,集群无法实现)

redis-py默认在执行每次请求都会创建(连接池申请连接)和断开(归还连接池)一次连接操作。

如果想要在一次请求中指定多个命令,则可以使用pipline实现一次请求指定多个命令,并且默认情况下一次pipline 是原子性操作

import redis
 
pool = redis.ConnectionPool(host='10.211.55.4', port=6379)
r = redis.Redis(connection_pool=pool)
 
# 获取管道对象
# pipe = r.pipeline(transaction=False)
pipe = r.pipeline(transaction=True)

# 开启一次执行多条命令
pipe.multi()
pipe.set('name', 'name')
pipe.set('role', 'hello')
 
# 直接执行命令
pipe.execute()

猜你喜欢

转载自blog.csdn.net/qq_33961117/article/details/85262705