python redis lua 脚本实战一个限流或抢红包等业务

知识点

1.lua是什么
2.redis，lua，python(java)三者的关系
3.用lua承载业务逻辑

为何加入一个lua脚本

减少网络开销。可以将多个请求通过脚本的形式一次发送，减少网络时延
原子操作。redis会将整个脚本作为一个整体执行，中间不会被其他命令插入。因此在编写脚本的过程中无需担心会出现竞态条件，无需使用事务。
复用。客户端发送的脚步会永久存在redis中，这样，其他客户端可以复用这一脚本而不需要使用代码完成相同的逻辑。

lua环境安装

本机测试地址在虚拟机centos-30上
安装请参照Redis安装
ps:安装教程为集群模式，本demo单实例的redis即可，参照前面几步，不使用ruby脚本部分。

安装依赖和Lua：

> yum install -y readline
> yum install -y readline-devel
> wget http://www.lua.org/ftp/lua-5.1.1.tar.gz
> tar -zxvf lua-5.1.1.tar.gz -C /usr/local/
> cd /usr/local/lua-5.1.1
> make linux
> make install

验证

> lua
> print("hello world")
> hello world

Redis 调用Lua脚本三种方式* eval

evalsha
script load
eval用来直接执行lua脚本，使用方式如下

EVAL script numkeys key [key ...] arg [arg ...] > eval "return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}" 2 key1 key2 first second 1) "key1" 2) "key2" 3) "first" 4) "second"

key代表要操作的rediskey
arg可以传自定义的参数
numkeys用来确定key有几个
script就是你写的lua脚本
lua脚本里面使用KEYS[1]和ARGV[1]来获取传递的key和arg

lua语法详见lua教程

local result=0
    local id= redis.call('get',KEYS[1])
if id then
    result= redis.call('sismember',id,KEYS[2])
end
 
if result==1 then
    redis.call('expire',KEYS[1],ARGV[1])
end
  
return result

方式1

redis-cli  --eval 1.lua 2 user1 user:list 1800

方式2

  redis-cli  eval "$(1.lua)" 2 user1 user:list 1800

方式3

  redis-cli  script load "$(cat 1.lua)"
  redis-cli  evalsha 2cfe726fe60678e8ed4d689a3e98727d1e1e2339 1 test 1

脚本Demo 文件名：redis.lua

redis.call('set','age','18')
local age = redis.call('get','age')
return age;

启动Redis

> /usr/local/redis-3.2.9/src/redis-server /usr/local/redis-3.2.9/redis.conf

运行脚本
由于在conf中配置了bind ip ，故下面-h指定了host。使用eval命令执行

> /usr/local/redis-3.2.9/src/redis-cli -h 192.168.1.30 -p 6379 --eval /usr/local/luadir/redis.lua
>"18"     #set了age，并返回了value = 18

此时如果用redis-cli连接redis 。keys * 可看到有age 这个key了。

Redis调用带参数Lua脚本

命令格式：
/redis-cli -h 192.168.1.30 -p 6379 --eval /.lua key1 key2... , value1 value2*
脚本内容：

--获取key1 的值，并赋值给local age
local age = redis.call('get', KEYS[1]);
if age == 18 then
redis.call('set',KEYS[2],ARGV[1])
end

当key1="age"的值为18时，设置key2 ="name" 的value为"mawenxia"

运行脚本

> /usr/local/redis-3.2.9/src/redis-cli -h 192.168.1.30 -p 6379 --eval /usr/local/luadir/redis-arg.lua age name , mawenxia

可看到多了一个key为name，并且内容为"mawenxia"

[图片上传失败...(image-90eef1-1540882227440)]

python 操作redis lua 脚本

import redis
pool = redis.ConnectionPool(host="localhost", port=6379, db=0) r = redis.Redis(connection_pool=pool) lua_2 = """ local ret = redis.call("get", KEYS[1]) return ret """ script_2 = r.register_script(lua_2) print(script_2(keys=["hugo"]))

结果：

image.png

JAVA操作Redis Lua脚本

public class TestSingleRedis {

    private static Jedis jedis; //单实例[] private static ShardedJedis shard; //分片[] private static ShardedJedisPool pool; //池化[apache common - pool2] @BeforeClass public static void setUpBeforeClass() throws Exception { //单个节点 jedis = new Jedis("192.168.1.30", 6379); //分片 List<JedisShardInfo> shards = Arrays.asList( new JedisShardInfo("192.168.1.30",6379)); shard = new ShardedJedis(shards); //池化 GenericObjectPoolConfig goConfig = new GenericObjectPoolConfig(); goConfig.setMaxTotal(100); goConfig.setMaxIdle(20); goConfig.setMaxWaitMillis(-1); goConfig.setTestOnBorrow(true); pool = new ShardedJedisPool(goConfig, shards); } @AfterClass public static void tearDownAfterClass() throws Exception { jedis.disconnect(); shard.disconnect(); pool.destroy(); } /** * <B>方法名称：</B>Redis使用Lua执行应用程序<BR> * <B>概要说明：</B> * 我们可以使用Redis+Lua的方式，实现一个完整的事务、保证事务的原子性。 * 如何使用Redis+Lua? * 我们使用scriptLoad方法，把我们写好的lua脚本加载到Redis的内存中（注意是内存，每次重启则失效）。 * scriptLoad方法会返回一个索引Key，我们只需要通过这个索引Key就可以找到我们之前放到Redis里的脚本。 * 调用evalsha方法，传入索引key，以及操作键、参数值。进行返回 <BR> */ /** * lua script： * local t1 = redis.call('hgetall',KEYS[1]); * if type(t1) == 'table' then * return t1; * end; * * type(t1) == 'table': lua的表类型,redis的hash类型属于这个类型 */ public static final String SCRIPT = "local t1 = redis.call('hgetall',KEYS[1]);" + "\n" + "if type(t1) == 'table' then" + "\n" + "return t1;" + "\n" + "end;" + "\n" ; @Test public void testLua(){ /** * 把string类型的脚本放入redis的scriptLoad中,变成一个可执行的脚本 * 并且会返回一个shakey,使用这个shakey来调用脚本 */ String shakey = jedis.scriptLoad(SCRIPT);//加载脚本，获取sha索引 System.out.println("shakey: " + shakey); //要获取的key值 List<String> keys = new ArrayList<>(); keys.add("myhash"); //传入的参数。这里没有加参数 List<String> args = new ArrayList<>(); // /usr/local/bin/redis-cli -h 192.168.1.115 -p 6379 --eval /usr/local/luadir/03.lua name age , baihezhuo List<String> ret = (List<String>)jedis.evalsha(shakey, keys, args); System.out.println(ret); jedis.close(); } }

注意：由于本脚本取的是key为"myhash"的值，故需要在redis中插入该数据，否则取到的值是空的。

Lua表类型

Lua表类型类似一个数组。跟其他语言不同的是，Lua中可以用任意类型作为下标。

 //定义空表
T1={} 
//赋值 T1["name"] = "mawenxia" T1["age"] = 18 //其他赋值方式 T1.name = "mawenxia" T1.age = 18 //其他赋值方式 T1.person = {name="mawenxia",age=18}

安装Lua的Cjson工具类

> wget http://www.kyne.com.au/~mark/software/download/lua-cjson-2.1.0.tar.gz
> tar -zvxf lua-cjson-2.1.0.tar.gz -C /usr/local/
> cd /usr/local/lua-cjson-2.1.0/
> vim Makefile
> 修改PREFIX 变量为/usr/local  保存
> make install
> cp cjson.so /usr/local/lib/lua/5.1/

Lua的表类型和Cjson结合。可方便的操作redis的hash类型数据

Lua脚本结合Redis实现抢红包场景

主要是利用了Redis+lua脚本的原子性。避免出现同一个用户抢两次的情况。
前提：用户发起红包时，按个数分配好金额，而不是抢的时候再分配。分配结束后存入redis的list中。
基本思路：两个list1（未分配的红包），list2（分配后的红包）和一个set。利用set里的key不能重复用来判断用户是否已抢。
一个Lua脚本下实现三个操作，保证原子性。1：从set中取用户id，判断是否已抢，不存在id，进入步骤2。2：从list1中pop移除一个红包。3：往list2中push一个红包和抢到的用户id。
最后业务系统来读取分配后的list2信息即可

参考:
http://xiaorui.cc/2016/03/27/%E8%AF%A6%E8%A7%A3python%E8%B0%83%E7%94%A8redis-lua%E5%86%85%E5%B5%8C%E8%84%9A%E6%9C%AC%E7%9A%84%E9%AB%98%E7%BA%A7%E7%94%A8%E6%B3%95/

https://www.jianshu.com/p/bec0d7cf0b43

扫描二维码关注公众号，回复： 10416395 查看本文章