Python中的select、epoll详解
文章目录
一、select
1、相关概念
-
select是通过一个select()系统调用来监视多个文件描述符的数组(在linux中一切事物皆文件，块设备，socket连接等) - 当select()返回后，该数组中
就绪的文件描述符便会被内核修改标志位（变成ready） - 使得进程可以获得这些文件描述符从而进行后续的读写操作
- select会不断监视网络接口的某个目录下有多少文件描述符变成ready状态。在网络接口中，过来一个连接就会建立一个’文件’
- 变成ready状态后，select就可以操作这个文件描述符了。
为什么要用一个进程实现多并发而不采用多线程实现多并发呢？
答：因为一个进程实现多并发比多线程是实现多并发的效率还要高，因为启动多线程会有很多的开销，而且CPU要不断的检查每个线程的状态，确定哪个线程是否可以执行。这个对系统来说也是有压力的，用单进程的话就可以避免这种开销和给系统带来的压力，
2.select的特性
1.那么单进程是如何实现多并发的呢？？？
答：
- 很巧妙的使用了
生产者和消费者的模式（异步） - 生产者和消费者可以实现非阻塞，一个socketserver通过select接收多个连接过来（之前的socket一个进程只能接收一个连接，当接收新的连接的时候产生阻塞，因为这个socket进程要先和客户端进行通信，二者是彼此互相阻塞等待的
- 这个时候如果再来一个连接，要等之前的那个连接断了，这个才可以连进来。也就是说用基本的socket实现多进程是阻塞的。
- 为了解决这个问题采用每来一个连接产生一个线程，是不阻塞了，但是
当线程数量过多的时候，对于cpu来说开销和压力是比较大的。 - 对于单个socket来说，阻塞的时候大部分的时候都是在等待IO操作(网络操作也属于IO操作)。为了避免这种情况，就出现了异步。
- 客户端发起一个连接，会在服务端注册一个文件句柄，服务端会不断轮询这些文件句柄的列表
-
主进程和客户端建立连接而没有启动线程，这个时候主进程和客户端进行交互，其他的客户端是无法连接主进程的 - 为了实现主进程既能和已连接的客户端收发消息，又能和新的客户端建立连接，就把轮询变的非常快（死循环）去刷客户端连接进来的文件句柄的列表
- 只要客户端发消息了，服务端读取了消息之后，有另一个列表去接收给客户端返回的消息，也不断的去刷这个列表，刷出来后返回给客户端，这样和客户端的这次通信就完成了，但是跟客户端的连接还没有断，但是就进入了下一次的轮询。】
2.select的原理
- 1.从用户空间拷贝fd_set到内核空间（fd_set 过大导致占用空间且慢）；
- 2.注册回调函数__pollwait；
- 3.遍历所有fd，对全部指定设备做一次poll（这里的poll是一个文件操作，它有两个参数，一个是文件fd本身，一个是当设备尚未就绪时调用的回调函数__pollwait，这个函数把设备自己特有的等待队列传给内核，让内核把当前的进程挂载到其中）（遍历数组中所有 fd）；
- 4.
当设备就绪时，设备就会唤醒在自己特有等待队列中的【所有】节点，于是当前进程就获取到了完成的信号。poll文件操作返回的是一组标准的掩码，其中的各个位指示当前的不同的就绪状态（全0为没有任何事件触发），根据mask可对fd_set赋值； - 5.如果所有设备返回的掩码都没有显示任何的事件触发，就去掉回调函数的函数指针，进入有限时的睡眠状态，再恢复和不断做poll，再作有限时的睡眠，直到其中一个设备有事件触发为止。
-
6.只要有事件触发，系统调用返回，将fd_set从内核空间拷贝到用户空间，回到用户态，用户就可以对相关的fd作进一步的读或者写操作了。
3.select 优点
-
select目前几乎在所有的平台上支持，良好跨平台性。 - 单进程实现监视多个文件描述符，节省系统开销
4.select 缺点
-
每次调用select，都需要把fd集合从用户态拷贝到内核态，这个开销在fd很多的时候会很大 - 单个进程能够监视的fd数量存在最大限制，在linux上默认为1024（可以通过修改宏定义或者重新编译内核的方式提升这个限制）
- 并且由于select的fd是放在数组中，并且每次都要线性遍历整个数组，当fd很多的时候，开销也很大
5.python select
调用select的函数为：
readable,writable,exceptional = select.select(rlist, wlist, xlist[, timeout])
前三个参数都分别是三个列表，数组中的对象均为waitable object:均是整数的文件描述符（file descriptor）或者一个拥有返回文件描述符方法fileno()的对象；
- rlist: 等待读就绪的list
- wlist: 等待写就绪的list
- errlist: 等待“异常”的list
select方法用来监视文件描述符，如果文件描述符发生变化，则获取该描述符。
- 1、这三个list可以是一个空的list，但是接收3个空的list是依赖于系统的(在Linux上是可以接受的，但是在window上是不可以的)。
- 2、
当 rlist 序列中的描述符发生可读时（accetp和read），则获取发生变化的描述符并添加到 readable 序列中 - 3、当 wlist 序列中含有描述符时，则将该序列中所有的描述符添加到 writable 序列中
-
4、当 errlist序列中的句柄发生错误时，则将该发生错误的句柄添加到 exceptional 序列中 - 5、当 超时时间 未设置，则select会一直阻塞，直到监听的描述符发生变化当 超时时间 ＝ 1 时，那么如果监听的句柄均无任何变化，则select会阻塞 1 秒，之后返回三个空列表，如果监听的描述符（fd）有变化，则直接执行。
- 6、在list中可以接受Ptython的的file对象(比如sys.stdin，或者会被open()和os.open()返回的object)，socket object将会返回socket.socket()。也可以自定义类，只要有一个合适的fileno()的方法(需要真实返回一个文件描述符，而不是一个随机的整数)。
6.select 示例:
#coding:UTF8
import select
import socket
import sys
import Queue
#创建一个TCP/IP 进程
server = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
server.setblocking(0)
#连接地址和端口
server_address = ('localhost',10000)
print >>sys.stderr,'starting up on %s prot %s' % server_address
server.bind(server_address)
#最大允许链接数
server.listen(5)
inputs = [ server ]
outputs = []
message_queues = {}
while inputs:
print >>sys.stderr,'\nwaiting for the next event'
readable,writable,exceptional = select.select(inputs,outputs,inputs)
# Handle inputs
for s in readable:
if s is server:
# A "readable" server socket is ready to accept a connection
connection, client_address = s.accept()
print >>sys.stderr, 'new connection from', client_address
#connection.setblocking(0)
inputs.append(connection)
# Give the connection a queue for data we want to send
message_queues[connection] = Queue.Queue()
else:
data = s.recv(1024)
if data:
# A readable client socket has data
print >>sys.stderr, 'received "%s" from %s' % (data, s.getpeername())
message_queues[s].put(data) #这个s相当于connection
# Add output channel for response
if s not in outputs:
outputs.append(s)
else:
# Interpret empty result as closed connection
print >>sys.stderr, 'closing', client_address, 'after reading no data'
# Stop listening for input on the connection
if s in outputs:
outputs.remove(s) #既然客户端都断开了，我就不用再给它返回数据了，所以这时候如果这个客户端的连接对象还在outputs列表中，就把它删掉
inputs.remove(s) #inputs中也删除掉
s.close() #把这个连接关闭掉
# Remove message queue
del message_queues[s]
# Handle outputs
for s in writable:
try:
next_msg = message_queues[s].get_nowait()
except Queue.Empty:
# No messages waiting so stop checking for writability.
print >>sys.stderr, 'output queue for', s.getpeername(), 'is empty'
outputs.remove(s)
else:
print >>sys.stderr, 'sending "%s" to %s' % (next_msg, s.getpeername())
s.send(next_msg.upper())
# Handle "exceptional conditions"
for s in exceptional:
print >>sys.stderr, 'handling exceptional condition for', s.getpeername()
# Stop listening for input on the connection
inputs.remove(s)
if s in outputs:
outputs.remove(s)
s.close()
# Remove message queue
del message_queues[s]
import socket
import queue
from select import select
SERVER_IP = ('127.0.0.1', 9999)
# 保存客户端发送过来的消息,将消息放入队列中
message_queue = {}
input_list = []
output_list = []
if __name__ == "__main__":
server = socket.socket()
server.bind(SERVER_IP)
server.listen(10)
# 设置为非阻塞
server.setblocking(False)
# 初始化将服务端加入监听列表
input_list.append(server)
while True:
# 开始 select 监听,对input_list中的服务端server进行监听
stdinput, stdoutput, stderr = select(input_list, output_list, input_list)
# 循环判断是否有客户端连接进来,当有客户端连接进来时select将触发
for obj in stdinput:
# 判断当前触发的是不是服务端对象, 当触发的对象是服务端对象时,说明有新客户端连接进来了
if obj == server:
# 接收客户端的连接, 获取客户端对象和客户端地址信息
conn, addr = server.accept()
print("Client {0} connected! ".format(addr))
# 将客户端对象也加入到监听的列表中, 当客户端发送消息时 select 将触发
input_list.append(conn)
# 为连接的客户端单独创建一个消息队列，用来保存客户端发送的消息
message_queue[conn] = queue.Queue()
else:
# 由于客户端连接进来时服务端接收客户端连接请求，将客户端加入到了监听列表中(input_list)，客户端发送消息将触发
# 所以判断是否是客户端对象触发
try:
recv_data = obj.recv(1024)
# 客户端未断开
if recv_data:
print("received {0} from client {1}".format(recv_data.decode(), addr))
# 将收到的消息放入到各客户端的消息队列中
message_queue[obj].put(recv_data)
# 将回复操作放到output列表中，让select监听
if obj not in output_list:
output_list.append(obj)
except ConnectionResetError:
# 客户端断开连接了，将客户端的监听从input列表中移除
input_list.remove(obj)
# 移除客户端对象的消息队列
del message_queue[obj]
print("\n[input] Client {0} disconnected".format(addr))
# 如果现在没有客户端请求,也没有客户端发送消息时，开始对发送消息列表进行处理，是否需要发送消息
for sendobj in output_list:
try:
# 如果消息队列中有消息,从消息队列中获取要发送的消息
if not message_queue[sendobj].empty():
# 从该客户端对象的消息队列中获取要发送的消息
send_data = message_queue[sendobj].get()
sendobj.sendall(send_data)
else:
# 将监听移除等待下一次客户端发送消息
output_list.remove(sendobj)
except ConnectionResetError:
# 客户端连接断开了
del message_queue[sendobj]
output_list.remove(sendobj)
print("\n[output] Client {0} disconnected".format(addr))
二、poll
1.相关概念
- poll在1986年诞生于System V Release3，它和select在本质上没有多大差别，但是
poll没有最大文件描述符数量的限制。 - poll和select同样存在一个缺点就是，
包含大量文件描述符的数组被整体复制于用户态和内核的地址空间之间，而不论这些文件描述符是否就绪，它的开销随着文件描述符数量的增加而线性增大。
另外，select()和poll()将就绪的文件描述符告诉进程后，如果进程没有对其进行IO操作，那么下次调用select()和poll() 的时候将再次报告这些文件描述符，所以它们一般不会丢失就绪的消息，这种方式称为水平触发（Level Triggered）。
2.poll的原理
在Python中调用poll
select.poll()，返回一个poll的对象，支持注册和注销文件描述符。
poll.register(fd[, eventmask])注册一个文件描述符
注册后，可以通过poll()方法来检查是否有对应的I/O事件发生。fd可以是i 个整数，或者有返回整数的fileno()方法对象。如果File对象实现了fileno()，也可以当作参数使用。
eventmask是一个你想去检查的事件类型，它可以是常量POLLIN, POLLPRI和 POLLOUT的组合。如果缺省，默认会去检查所有的3种事件类型。
| 事件常量 | 意义 |
|---|---|
| POLLIN | 有数据读取 |
| POLLPRT | 有数据紧急读取 |
| POLLOUT | 准备输出:输出不会阻塞 |
| POLLERR | 某些错误情况出现 |
| POLLHUP | 挂起 |
| POLLNVAL | 无效请求:描述无法打开 |
poll.modify(fd, eventmask) 修改一个已经存在的fd，和poll.register
(fd, eventmask)有相同的作用。如果去尝试修改一个未经注册的fd，
会引起一个errno为ENOENT的IOError。
poll.unregister(fd)从poll对象中注销一个fd。尝试去注销一个未经注册的fd，
会引起KeyError。
poll.poll([timeout])去检测已经注册了的文件描述符。会返回一个可能为空的
list，list中包含着(fd, event)这样的二元组。
fd是文件描述符， event是文件描述符对应的事件。如果返回的是一个空的list，
则说明超时了且没有文件描述符有事件发生。timeout的单位是milliseconds，
如果设置了timeout，系统将会等待对应的时间。如果timeout缺省或者是None，
这个方法将会阻塞直到对应的poll对象有一个事件发生。
3.代码
#coding: utf-8
import select, socket
response = b"hello world"
serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
serversocket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
serversocket.bind(('localhost', 10000))
serversocket.listen(1)
serversocket.setblocking(0)
#
poll = select.poll()
poll.register(serversocket.fileno(), select.POLLIN)
connections = {}
while True:
for fd, event in poll.poll():
if event == select.POLLIN:
if fd == serversocket.fileno():
con, addr = serversocket.accept()
poll.register(con.fileno(), select.POLLIN)
connections[con.fileno()] = con
else:
con = connections[fd]
data = con.recv(1024)
if data:
poll.modify(con.fileno(), select.POLLOUT)
elif event == select.POLLOUT:
con = connections[fd]
con.send(response)
poll.unregister(con.fileno())
con.close()
三、epoll
1.相关概念
直到Linux2.6才出现了由内核直接支持的实现方法，那就是epoll，它几乎具备了之前所说的一切优点，被公认为Linux2.6下性能最好的多路I/O就绪通知方法。
epoll可以同时支持水平触发和边缘触发（Edge Triggered，只告诉进程哪些文件描述符刚刚变为就绪状态，它只说一遍，如果我们没有采取行动，那么它将不会再次告知，这种方式称为边缘触发），理论上边缘触发的性能要更高一些，但是代码实现相当复杂。
- epoll同样只告知那些就绪的文件描述符
- 当我们调用epoll_wait()获得就绪文件描述符时，返回的不是实际的描述符，而是一个代表 就绪描述符数量的值
- 你只需要去epoll指定的一个数组中依次取得相应数量的文件描述符即可，这里也
使用了内存映射（mmap）技术，这样便彻底省掉了 这些文件描述符在系统调用时复制的开销。 - 另一个本质的改进在于epoll采用基于事件的就绪通知方式。
-
在select/poll中，进程只有在调用一定的方法后，内核才对所有监视的文件描 述符进行扫描 - 而epoll事先通过epoll_ctl()来注册一个文件描述符，一旦基于某个文件描述符就绪时，内核会采用类似callback的回调 机制，迅速激活这个文件描述符，当进程调用epoll_wait()时便得到通知。
2、epoll原理
调用epoll_create时，做了以下事情：
- 内核帮我们在epoll文件系统里建了个file结点；
-
在内核cache里建了个红黑树用于存储以后epoll_ctl传来的socket； - 建立一个list链表，用于存储准备就绪的事件。
调用epoll_ctl时，做了以下事情：
- 把socket放到epoll文件系统里file对象对应的红黑树上；
-
给内核中断处理程序注册一个回调函数，告诉内核，如果这个句柄的中断到了，就把它放到准备就绪list链表里。
调用epoll_wait时，做了以下事情：
- 观察list链表里有没有数据。有数据就返回，没有数据就sleep，等到timeout时间到后即使链表没数据也返回。
- 通常情况下即使我们要监控百万计的句柄，大多一次也只返回很少量的准备就绪句柄而已，所以，epoll_wait仅需要从内核态copy少量的句柄到用户态而已。
3.优缺点
select
select本质上是通过设置或者检查存放fd标志位的数据结构来进行下一步处理。这样所带来的缺点是(从声明、到系统调用、到扫描、到返回后扫描)：
- 1).单个进程可监视的fd数量被限制
- 2).
需要维护一个用来存放大量fd的数据结构，这样会使得用户空间和内核空间在传递该结构时复制开销大 - 3).对socket进行扫描时是线性扫描
- 4).用户也需要对返回的 fd_set 进行遍历
poll
poll本质上和select没有区别，它将用户传入的数组拷贝到内核空间，然后查询每个fd对应的设备状态，如果设备就绪则在设备等待队列中加入一项并继续遍历，如果遍历完所有fd后没有发现就绪设备，则挂起当前进程，直到设备就绪或者主动超时，被唤醒后它又要再次遍历fd。这个过程经历了多次无谓的遍历。
-
poll没有最大连接数的限制，原因是poll是基于数组来存储的，但是同样有一个缺点： - 大量的fd的数组被整体复制于用户态和内核地址空间之间，而不管这样的复制是不是有意义。
- poll还有一个特点是“
水平触发”，如果报告了fd后，没有被处理，那么下次poll时会再次报告该fd。
3.epoll
epoll支持水平触发和边缘触发，最大的特点在于边缘触发，它只告诉进程哪些fd刚刚变为就需态，并且只会通知一次。在前面说到的复制问题上，epoll使用mmap减少复制开销。还有一个特点是，epoll使用“事件”的就绪通知方式，通过epoll_ctl注册fd，一旦该fd就绪，内核就会采用类似callback的回调机制来激活该fd，epoll_wait便可以收到通知
- 1.支持一个进程所能打开的最大连接数
-
2.select 单个进程所能打开的最大连接数有FD_SETSIZE宏定义，其大小是32个整数的大小（在32位的机器上，大小就是3232，同理64位机器上FD_SETSIZE为3264），当然我们可以对进行修改，然后重新编译内核，但是性能可能会受到影响，这需要进一步的测试。 - 3.epoll本质上和select没有区别，但是它没有最大连接数的限制，原因是它是基于链表来存储的
- 4.epoll 虽然连接数有上限，但是很大，1G内存的机器上可以打开10万左右的连接，2G内存的机器可以打开20万左右的连接
4. FD剧增后带来的IO效率问题
- select 因为每次调用时都会对连接进行线性遍历，所以随着FD的增加会造成遍历速度慢的“线性下降性能问题”。
- poll 同上
-
epoll 因为epoll内核中实现是根据每个fd上的callback函数来实现的，只有活跃的socket才会主动调用callback，所以在活跃socket较少的情况下，使用epoll没有前面两者的线性下降的性能问题，但是所有socket都很活跃的情况下，可能会有性能问题。
5.消息传递方式
- select 内核需要将消息传递到用户空间，都需要内核拷贝动作。
- poll 同上
- epoll epoll通过内核和用户空间共享一块内存来实现的。
下面我们对上面的socket例子进行改造，看一下select的例子：
4.在Python中调用epoll
select.epoll([sizehint=-1])返回一个epoll对象。
| 事件常量 | 意义 |
|---|---|
| EPOLLIN | 读就绪 |
| EPOLLOUT | 写就绪 |
| EPOLLPRI | 有数据紧急读取 |
| EPOLLERR | assoc. fd有错误情况发生 |
| EPOLLHUP | assoc. fd发生挂起 |
| EPOLLRT | 设置边缘触发(ET)（默认的是水平触发） |
| EPOLLONESHOT | 设置为 one-short 行为，一个事件(event)被拉出后，对应的fd在内部被禁用 |
| EPOLLRDNORM | 和 EPOLLIN 相等 |
| EPOLLRDBAND | 优先读取的数据带(data band) |
| EPOLLWRNORM | 和 EPOLLOUT 相等 |
| EPOLLWRBAND | 优先写的数据带(data band) |
| EPOLLMSG 忽视 |
| 方法 | 作用 |
|---|---|
| epoll.close() | 关闭epoll对象的文件描述符。 |
| epoll.fileno | 返回control fd的文件描述符number。 |
| epoll.fromfd(fd) | 用给予的fd来创建一个epoll对象。 |
| epoll.register(fd[, eventmask]) | 在epoll对象中注册一个文件描述符。（如果文件描述符已经存在，将会引起一个IOError） |
| epoll.modify(fd, eventmask) | 修改一个已经注册的文件描述符。 |
| epoll.unregister(fd) | 注销一个文件描述符。 |
| epoll.poll(timeout=-1[, maxevnets=-1]) | 等待事件，timeout(float)的单位是秒（second）。 |
5.例
#coding:Utf8
import socket, select
EOL1 = b'\n\n'
EOL2 = b'\n\r\n'
response = b'HTTP/1.0 200 OK\r\nDate: Mon, 1 Jan 1996 01:01:01 GMT\r\n'
response += b'Content-Type: text/plain\r\nContent-Length: 13\r\n\r\n'
response += b'Hello, world!'
serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
serversocket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
serversocket.bind(('localhost', 10000))
serversocket.listen(1)
serversocket.setblocking(0)
epoll = select.epoll()
epoll.register(serversocket.fileno(), select.EPOLLIN)
try:
connections = {}; requests = {}; responses = {}
while True:
events = epoll.poll(1)
for fileno, event in events:
if fileno == serversocket.fileno():
connection, address = serversocket.accept()
connection.setblocking(0)
epoll.register(connection.fileno(), select.EPOLLIN)
connections[connection.fileno()] = connection
requests[connection.fileno()] = b''
responses[connection.fileno()] = response
elif event & select.EPOLLIN:
requests[fileno] += connections[fileno].recv(1024)
if EOL1 in requests[fileno] or EOL2 in requests[fileno]:
epoll.modify(fileno, select.EPOLLOUT)
print('-'*40 + '\n' + requests[fileno].decode()[:-2])
elif event & select.EPOLLOUT:
byteswritten = connections[fileno].send(responses[fileno])
responses[fileno] = responses[fileno][byteswritten:]
if len(responses[fileno]) == 0:
epoll.modify(fileno, 0)
connections[fileno].shutdown(socket.SHUT_RDWR)
elif event & select.EPOLLHUP:
epoll.unregister(fileno)
connections[fileno].close()
del connections[fileno]
finally:
epoll.unregister(serversocket.fileno())
epoll.close()
serversocket.close()
#!/usr/bin/env python
import select
import socket
response = b''
serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
serversocket.bind(('0.0.0.0', 8080))
serversocket.listen(1)
# 因为socket默认是阻塞的，所以需要使用非阻塞（异步）模式。
serversocket.setblocking(0)
# 创建一个epoll对象
epoll = select.epoll()
# 在服务端socket上面注册对读event的关注。一个读event随时会触发服务端socket去接收一个socket连接
epoll.register(serversocket.fileno(), select.EPOLLIN)
try:
# 字典connections映射文件描述符（整数）到其相应的网络连接对象
connections = {}
requests = {}
responses = {}
while True:
# 查询epoll对象，看是否有任何关注的event被触发。参数“1”表示，我们会等待1秒来看是否有event发生。
# 如果有任何我们感兴趣的event发生在这次查询之前，这个查询就会带着这些event的列表立即返回
events = epoll.poll(1)
# event作为一个序列（fileno，event code）的元组返回。fileno是文件描述符的代名词，始终是一个整数。
for fileno, event in events:
# 如果是服务端产生event,表示有一个新的连接进来
if fileno == serversocket.fileno():
connection, address = serversocket.accept()
print('client connected:', address)
# 设置新的socket为非阻塞模式
connection.setblocking(0)
# 为新的socket注册对读（EPOLLIN）event的关注
epoll.register(connection.fileno(), select.EPOLLIN)
connections[connection.fileno()] = connection
# 初始化接收的数据
requests[connection.fileno()] = b''
# 如果发生一个读event，就读取从客户端发送过来的新数据
elif event & select.EPOLLIN:
print("------recvdata---------")
# 接收客户端发送过来的数据
requests[fileno] += connections[fileno].recv(1024)
# 如果客户端退出,关闭客户端连接，取消所有的读和写监听
if not requests[fileno]:
connections[fileno].close()
# 删除connections字典中的监听对象
del connections[fileno]
# 删除接收数据字典对应的句柄对象
del requests[connections[fileno]]
print(connections, requests)
epoll.modify(fileno, 0)
else:
# 一旦完成请求已收到，就注销对读event的关注，注册对写（EPOLLOUT）event的关注。写event发生的时候，会回复数据给客户端
epoll.modify(fileno, select.EPOLLOUT)
# 打印完整的请求，证明虽然与客户端的通信是交错进行的，但数据可以作为一个整体来组装和处理
print('-' * 40 + '\n' + requests[fileno].decode())
# 如果一个写event在一个客户端socket上面发生，它会接受新的数据以便发送到客户端
elif event & select.EPOLLOUT:
print("-------send data---------")
# 每次发送一部分响应数据，直到完整的响应数据都已经发送给操作系统等待传输给客户端
byteswritten = connections[fileno].send(requests[fileno])
requests[fileno] = requests[fileno][byteswritten:]
if len(requests[fileno]) == 0:
# 一旦完整的响应数据发送完成，就不再关注写event
epoll.modify(fileno, select.EPOLLIN)
# HUP（挂起）event表明客户端socket已经断开（即关闭），所以服务端也需要关闭。
# 没有必要注册对HUP event的关注。在socket上面，它们总是会被epoll对象注册
elif event & select.EPOLLHUP:
print("end hup------")
# 注销对此socket连接的关注
epoll.unregister(fileno)
# 关闭socket连接
connections[fileno].close()
del connections[fileno]
finally:
# 打开的socket连接不需要关闭，因为Python会在程序结束的时候关闭。这里显式关闭是一个好的代码习惯
epoll.unregister(serversocket.fileno())
epoll.close()
serversocket.close()
四、web静态服务器-epool
以下代码，支持http的长连接，即使用了Content-Length
import socket
import time
import sys
import re
import select
class WSGIServer(object):
"""定义一个WSGI服务器的类"""
def __init__(self, port, documents_root):
# 1. 创建套接字
self.server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 2. 绑定本地信息
self.server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
self.server_socket.bind(("", port))
# 3. 变为监听套接字
self.server_socket.listen(128)
self.documents_root = documents_root
# 创建epoll对象
self.epoll = select.epoll()
# 将tcp服务器套接字加入到epoll中进行监听
self.epoll.register(self.server_socket.fileno(), select.EPOLLIN|select.EPOLLET)
# 创建添加的fd对应的套接字
self.fd_socket = dict()
def run_forever(self):
"""运行服务器"""
# 等待对方链接
while True:
# epoll 进行 fd 扫描的地方 -- 未指定超时时间则为阻塞等待
epoll_list = self.epoll.poll()
# 对事件进行判断
for fd, event in epoll_list:
# 如果是服务器套接字可以收数据，那么意味着可以进行accept
if fd == self.server_socket.fileno():
new_socket, new_addr = self.server_socket.accept()
# 向 epoll 中注册 连接 socket 的 可读 事件
self.epoll.register(new_socket.fileno(), select.EPOLLIN | select.EPOLLET)
# 记录这个信息
self.fd_socket[new_socket.fileno()] = new_socket
# 接收到数据
elif event == select.EPOLLIN:
request = self.fd_socket[fd].recv(1024).decode("utf-8")
if request:
self.deal_with_request(request, self.fd_socket[fd])
else:
# 在epoll中注销客户端的信息
self.epoll.unregister(fd)
# 关闭客户端的文件句柄
self.fd_socket[fd].close()
# 在字典中删除与已关闭客户端相关的信息
del self.fd_socket[fd]
def deal_with_request(self, request, client_socket):
"""为这个浏览器服务器"""
if not request:
return
request_lines = request.splitlines()
for i, line in enumerate(request_lines):
print(i, line)
# 提取请求的文件(index.html)
# GET /a/b/c/d/e/index.html HTTP/1.1
ret = re.match(r"([^/]*)([^ ]+)", request_lines[0])
if ret:
print("正则提取数据:", ret.group(1))
print("正则提取数据:", ret.group(2))
file_name = ret.group(2)
if file_name == "/":
file_name = "/index.html"
# 读取文件数据
try:
f = open(self.documents_root+file_name, "rb")
except:
response_body = "file not found, 请输入正确的url"
response_header = "HTTP/1.1 404 not found\r\n"
response_header += "Content-Type: text/html; charset=utf-8\r\n"
response_header += "Content-Length: %d\r\n" % len(response_body)
response_header += "\r\n"
# 将header返回给浏览器
client_socket.send(response_header.encode('utf-8'))
# 将body返回给浏览器
client_socket.send(response_body.encode("utf-8"))
else:
content = f.read()
f.close()
response_body = content
response_header = "HTTP/1.1 200 OK\r\n"
response_header += "Content-Length: %d\r\n" % len(response_body)
response_header += "\r\n"
# 将数据返回给浏览器
client_socket.send(response_header.encode("utf-8")+response_body)
# 设置服务器服务静态资源时的路径
DOCUMENTS_ROOT = "./html"
def main():
"""控制web服务器整体"""
# python3 xxxx.py 7890
if len(sys.argv) == 2:
port = sys.argv[1]
if port.isdigit():
port = int(port)
else:
print("运行方式如: python3 xxx.py 7890")
return
print("http服务器使用的port:%s" % port)
http_server = WSGIServer(port, DOCUMENTS_ROOT)
http_server.run_forever()
if __name__ == "__main__":
main()
原创文章 240
获赞 204
访问量 10万+