skynet服务的缺陷 lua死循环

版权声明：博客将逐步迁移到 http://cwqqq.com https://blog.csdn.net/cwqcwk1/article/details/53191427

skynet是一套多人在线游戏的轻量级服务端框架，使用C+Lua开发。skynet的显著优点是，使用这套框架，大多数时候只是用lua写代码，很少用到c，这在一定程度上提高了开发效率。lua虽然没有C高效，但开发复杂业务却是非常敏捷。不过，skynet文档相对较少，所以这里利用一点时间学习和总结skynet相关内容，文章就讲解下skynet服务出现lua死循环如何处理。

在前面的一篇文章[1]介绍到，skynet服务运行可以霸占调度器，如果lua代码有死循环，那这个服务可以霸占一个skynet调度线程。从cpu层面看到，skynet进程独占了一个cpu核心。

在写上篇文章的时候，没想到生产环境也出现以上的情况，以为代码规范化可以避免这个问题。然而随着项目越来越庞大了，果真出现这样的情况。

这个问题最致命的是，一旦skynet服务lua代码进入了死循环，这个服务无法被kill掉。就是说服务被kill了没效果，实际上服务还在跑，还占用了一个skynet调度线程。

回到文章，skynet服务出现lua死循环后如何处理？

其实，skynet作者博客[2]也说明了这个问题，他也提供了办法来解决，让skynet服务跳出死循环。做法是，在 lua vm 在处理 JMP CALL TAILCALL FORLOOP 这几条 opcode 时，去检查一个全局变量，如果全局变量被设置成和自己的 lua state 相同的指针，就立刻抛出一个异常。

结束lua死循环

说了这么多，到底要怎么做才能结束lua死循环？

方法就是，在skyent控制台输入 signal命令，为 signal <service addr>，例子如下：

signal :0100000e

以上，:0100000e 为某个skynet服务的地址。

如果不了解skynet控制台，可以参考我的这篇文章[3]。

示例lua死循环及处理

现在以一个例子测试这个问题。

# vi examples/main.lua 
local skynet = require "skynet"
local sprotoloader = require "sprotoloader"
local max_client = 64

skynet.start(function()
        skynet.error("Server start")
        skynet.uniqueservice("protoloader")
        if not skynet.getenv "daemon" then
                local console = skynet.newservice("console")
        end
        skynet.newservice("debug_console",8000)
        skynet.newservice("simpledb")
        skynet.newservice("test")  -- 新加了这个服务
        local watchdog = skynet.newservice("watchdog")
        skynet.call(watchdog, "lua", "start", {
                port = 8888,
                maxclient = max_client,
                nodelay = true,
        })
        skynet.error("Watchdog listen on", 8888)
        skynet.exit()
end)

看下 test 服务的代码 test.lua

# vi examples/test.lua
local skynet = require "skynet"

skynet.start(function()
        skynet.fork(function()
                while true do
                        local t={}
                end
        end)
end)

启动skynet进程，跑下这个例子。

# ./skynet examples/config
[:01000001] LAUNCH logger 
[:01000002] LAUNCH snlua bootstrap
[:01000003] LAUNCH snlua launcher
[:01000004] LAUNCH snlua cmaster
[:01000005] LAUNCH snlua cslave
[:01000007] LAUNCH snlua datacenterd
[:01000008] LAUNCH snlua service_mgr
[:01000009] LAUNCH snlua main
[:0100000a] LAUNCH snlua protoloader
[:0100000b] LAUNCH snlua console
[:0100000c] LAUNCH snlua debug_console 8000
[:0100000d] LAUNCH snlua simpledb
[:0100000e] LAUNCH snlua test
[:0100000f] LAUNCH snlua watchdog
[:01000010] LAUNCH snlua gate
[:01000010] Listen on 0.0.0.0:8888
[:01000009] Watchdog listen on 8888
[:01000009] KILL self
[:01000002] KILL self
[:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 33)
[:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 33)
[:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 33)

以上日志看出，skynet有服务陷入了死循环。趁现在试下 signal指令。

# nc 127.0.0.1 8000
Welcome to skynet console
signal :0100000e
OK

看下skynet的运行日志，skynet服务已跳出了死循环，cpu使用恢复了正常。

[:0100000e] recv a signal 0
[:0100000e] lua call [0 to :100000e : 1 msgsz = 0] error : ./lualib/skynet.lua:516: ./lualib/skynet.lua:155: nil
stack traceback:
	./examples/test.lua:6: in upvalue 'func'
	./lualib/skynet.lua:452: in upvalue 'f'
	./lualib/skynet.lua:104: in function <./lualib/skynet.lua:103>
stack traceback:
	[C]: in function 'assert'
	./lualib/skynet.lua:516: in function 'skynet.dispatch_message'

然而，实际线上遇到的复杂环境没有这么简单。

复杂多变的线上问题

假如你的代码是这样，靠上面的方法就无法解决问题了

local skynet = require "skynet"

skynet.start(function()
	skynet.fork(function()
		while true do
			pcall(function()
				while true do
					local t={}
				end
			end)
		end
	end)
end)

以上的例子中，死循环嵌套死循环，中间还有pcall的处理。当然，真正的代码不可能这样写，但由于项目函数调用层次过深，就可能出现这样的问题。

照前面的方法，调用signal指令后，结果却大相径庭：

# ./skynet examples/config
[:01000001] LAUNCH logger 
[:01000002] LAUNCH snlua bootstrap
[:01000003] LAUNCH snlua launcher
[:01000004] LAUNCH snlua cmaster
[:01000005] LAUNCH snlua cslave
[:01000006] LAUNCH harbor 1
[:01000007] LAUNCH snlua datacenterd
[:01000008] LAUNCH snlua service_mgr
[:01000009] LAUNCH snlua main
[:0100000a] LAUNCH snlua protoloader
[:0100000b] LAUNCH snlua console
[:0100000c] LAUNCH snlua debug_console 8000
[:0100000d] LAUNCH snlua simpledb
[:0100000e] LAUNCH snlua test
[:0100000f] LAUNCH snlua watchdog
[:01000010] LAUNCH snlua gate
[:01000009] KILL self
[:01000002] KILL self
[:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 33)
[:0100000e] recv a signal 0
[:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 33)
[:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 33)

skynet服务还健在，收到了signal指令，但是还是没跳出死循环

那么，要怎么处理这个问题？skynet还有方法解决？

答案是否定的，没有了。现在，只能去改skynet的代码了

要怎么修改skynet的代码。方法不复杂，只需要改一处内容。

vi ./3rd/lua/lvm.c
/* Add by skynet */
lua_State * skynet_sig_L = NULL;

LUA_API void
lua_checksig_(lua_State *L) {
  if (skynet_sig_L == G(L)->mainthread) {
    //skynet_sig_L = NULL;   注释掉这行代码
    lua_pushnil(L);
    lua_error(L);
  }
}

保存后，重新编译skynet

# make clean -C 3rd/lua
# make clean
# make linux

现在，再启动下skynet，然后在控制台执行一下命令。

# nc 127.0.0.1 8000
Welcome to skynet console
signal :0100000e
OK
kill :0100000e
:0100000e	snlua test
OK

再看下skynet的运行日志，这个异常的服务已经被kill掉了

# ./skynet examples/config
[:01000001] LAUNCH logger 
[:01000002] LAUNCH snlua bootstrap
[:01000003] LAUNCH snlua launcher
[:01000004] LAUNCH snlua cmaster
[:01000005] LAUNCH snlua cslave
[:01000006] LAUNCH harbor 1 16777221
[:01000007] LAUNCH snlua datacenterd
[:01000008] LAUNCH snlua service_mgr
[:01000009] LAUNCH snlua main
[:01000009] Server start
[:0100000a] LAUNCH snlua protoloader
[:0100000b] LAUNCH snlua console
[:0100000c] LAUNCH snlua debug_console 8000
[:0100000d] LAUNCH snlua simpledb
[:0100000e] LAUNCH snlua test
[:0100000f] LAUNCH snlua watchdog
[:01000010] LAUNCH snlua gate
[:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 35)
[:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 35)
[:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 35)
[:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 35)
[:0100000e] recv a signal 0
[:0100000e] lua call [0 to :100000e : 1 msgsz = 0] error : (no error message)
[:01000003] KILL :100000e

好了，文章到这里就结束了。原理是既然跳出一层死循环无法解决问题，那么就跳出所有的死循环吧。因为标记是全局变量的关系，所以同一时间只能处理一个skynet服务。最后，还是那句话，有问题，欢迎反馈。

参考：

[1] skynet服务的本质与缺陷 没有开花的树

[2] skynet 的 signal 可以中断 lua vm 的运行 云风的blog

[3] skynet 控制台管理使用技巧 没有开花的树