python socket select 错误 Filedescriptor out of range in select 解决方法

今天晚上，有同学给我报了一个内部网络协议包 stpclient 的 bug，如下：

File "/data/apps/column-web/eggs/snow-3.2.1-py2.7.egg/snow/client.py", line 146, in service
  stp_response = self._client.call(stp_request.argv)
File "/data/apps/column-web/eggs/snow-3.2.1-py2.7.egg/snow/client.py", line 51, in call
  self.send_request(request)
File "/data/apps/column-web/eggs/stpclient2-0.0.15-py2.7.egg/stpclient2/client.py", line 221, in send_request
  self._timeout)
ValueError: filedescriptor out of range in select()

这个异常已经发生过好几次了，所以我决定弄清楚原因。

寻找原因

首先，坊间流传的版本是，当 select 中监听的 fd 个数超过 1024 的时候，就会出现这个异常，我分析了一下，这个异常是 stp 的客户端抛出的，因为这个版本的客户端是我写的，所以我清楚的知道，不可能有超过1024个fd，同时被 select，那么问题就来了，到底是因为啥呢？

这个时候，能想到的问题就是，肯定就是坊间的版本有问题，于是首先我看了一下，select 系统调用中的说明，如下：

An fd_set is a fixed size buffer. Executing FD_CLR() or FD_SET() with a value of fd that is negative or is equal to or larger than FD_SETSIZE will result in undefined behavior. Moreover, POSIX requires fd to be a valid file descriptor.

select 的 notes 中写到：

fd_set 是一个固定大小的 buffer，当设置的 fd 为负或者是超过 FD_SETSIZE 的时候，就会产生 undefined behavior，POSIX 要求 fd 是一个合法的 fd

从这面来看，和坊间的传闻是有差别的，并不是同时监听的 fd 超过 FD_SETSIZE 就会有问题，而是 fd 大小超过 FD_SETSIZE 就会有问题，FD_SETSIZE 是定义在 select.h 中的，大小为1024(出问题的机器上)，所以应该是 fd 大小超过 1024 就会有问题.

/usr/include/linux/posix_types.h

#undef __FD_SETSIZE
#define __FD_SETSIZE 1024

但是，到这里，并没有知道我们看到的那行异常是怎么抛出来的

ValueError: filedescriptor out of range in select()

明显，这是 python 抛出来的异常，系统调用只是说会产生 undefined behavior 而已。

这个时候，顺着 python 的 socket 模块，找到了 select 模块的 python 源代码，我们发现了如下几行：

Modules/selectmodule.c

#if defined(_MSC_VER)
    max = 0; /* not used for Win32 */
#else /* !_MSC_VER */
    if (!_PyIsSelectable_fd(v)) {
        PyErr_SetString(PyExc_ValueError,
            "filedescriptor out of range in select()");
        goto finally;
    }
    if (v >= max)
        max = v;
#endif /* _MSC_VER */

然后我们发现，当调用 _PyIsSelectable_fd 返回 false 的时候，会产生我们上面的那个异常，接下来我们看一下 _PyIsSelectable_fd 的实现:

Include/fileobject.h

#ifdef HAVE_SELECT
    #define _PyIsSelectable_fd(FD) (((FD) >= 0) && ((FD) < FD_SETSIZE))
#else
    #define _PyIsSelectable_fd(FD) (1)
#endif /* HAVE_SELECT */

因为 POSIX 里面仅仅规定了 select 系统调用传入的 fd 需要合法，那就需要调用方检测 fd，所以在 python 里面，当 fd 为负，或者是超过 FD_SERSIZE 就会被当做不合法，抛出 ValueError

那么现在问题明确了，肯定是因为执行 select 调用的时候，传入了大于 1024 或者是小于 0 的fd，导致了上面异常的出现，接下来的问题就是需要找到为啥会出现大于1024的 fd 了

解释现象

通过基础架构的同学了解到，我们对于进程最大能开启的进程数做了调整，supervisor 里面每个进程最大能开启的 fd 个数是 655360，所以完全有可能出现 fd 超出 1024 的情况.
这个异常是出现在 web 机器上，因为一部分 zone 的服务使用了短链接，所以会导致单进程拥有的 fd 个数很高，超过 1024.

至此，这个问题算是得到了一个合理的解释，因为大量使用短链接，所以导致单进程的 fd 个数升高，超出了 1024 限制，出现了最开始的异常

解决方法

因为这个值是定义在内核里面，所以如果在维持目前方案不变的前提下，解决这个问题就需要重新编译 Linux-kernel，将这个值提高
修改 stpclient 的客户端，使用epoll，代替比较老旧的 select，当时使用 select 的原因是，fd 个数很少，性能上没有问题，同时 select 在其他平台上也可以得到支持