IO多路复用
就是我们说的select，poll，epoll，有些地方也称这种IO方式为event driven IO。
select/epoll的好处就在于单个process就可以同时处理多个网络连接的IO。
它的基本原理就是select，poll，epoll这个function会不断的轮询所负责的所有socket，当某个socket有数据到达了，就通知用户进程。
代码如下:
import socket
import re
import select
import time
def service_client(new_socket , request):
# request = new_socket.recv(1024).decode("utf-8")
request_list = request.splitlines()
ret = re.match(r"[^/]+(/[^ ]*)", request_list[0])
if ret:
file_name = ret.group(1)
if file_name == "/":
file_name = "/index.html"
print(file_name)
# print(request)
try:
f = open("./html" + file_name, "rb")
except:
response = "HTTP/1.1 404 NOT FOUND\r\n"
response += "\r\n"
response += "---file not found---"
new_socket.send(response.encode("utf-8"))
else:
html_content = f.read()
f.close()
response = "HTTP/1.1 200 OK\r\n"
response += "Content-Length: %d \r\n" % len(html_content)
print("-----2 = %d " % len(html_content))
response += "\r\n"
new_socket.send(response.encode("utf-8"))
new_socket.send(html_content)
# new_socket.close()
def main():
#
tcp_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
tcp_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
tcp_socket.bind(("" , 8080))
tcp_socket.listen(128)
tcp_socket.setblocking(False)
epl = select.epoll()
epl.register(tcp_socket.fileno() , select.EPOLLIN)
fd_socket_dict = dict()
while True:
print(time.asctime(time.localtime(time.time())))
fd_socket_ls = epl.poll()
print("fd_socket_ls: ",fd_socket_ls)
for fd , event in fd_socket_ls:
if fd == tcp_socket.fileno():
new_socket , client_addr = tcp_socket.accept()
epl.register(new_socket.fileno() , select.EPOLLIN)
fd_socket_dict[new_socket.fileno()] = new_socket
elif event == select.EPOLLIN:
try:
recv_data = fd_socket_dict[fd].recv(1024).decode("utf-8")
except Exception as ex:
pass
else:
if recv_data:
service_client(fd_socket_dict[fd] , recv_data)
else:
fd_socket_dict[fd].close()
epl.unregister(fd)
del fd_socket_dict
top_socket.close()
if __name__ == "__main__":
main()
说明:
- EPOLLIN （可读）
- EPOLLOUT （可写）
- EPOLLET （ET模式）
epoll对文件描述符的操作有两种模式：LT（level trigger）和ET（edge trigger）。LT模式是默认模式，LT模式与ET模式的区别如下：
LT模式：当epoll检测到描述符事件发生并将此事件通知应用程序，应用程序可以不立即处理该事件。下次调用epoll时，会再次响应应用程序并通知此事件。
ET模式：当epoll检测到描述符事件发生并将此事件通知应用程序，应用程序必须立即处理该事件。如果不处理，下次调用epoll时，不会再次响应应用程序并通知此事件。
总结:
I/O 多路复用的特点：
通过一种机制使一个进程能同时等待多个文件描述符，而这些文件描述符（套接字描述符）其中的任意一个进入读就绪状态，epoll()函数就可以返回。 所以, IO多路复用，本质上不会有并发的功能，因为任何时候还是只有一个进程或线程进行工作，它之所以能提高效率是因为select\epoll 把进来的socket放到他们的 '监视' 列表里面，当任何socket有可读可写数据立马处理，那如果select\epoll 手里同时检测着很多socket， 一有动静马上返回给进程处理，总比一个一个socket过来,阻塞等待,处理高效率。
当然也可以多线程/多进程方式，一个连接过来开一个进程/线程处理，这样消耗的内存和进程切换页会耗掉更多的系统资源。 所以我们可以结合IO多路复用和多进程/多线程 来高性能并发，IO复用负责提高接受socket的通知效率，收到请求后，交给进程池/线程池来处理逻辑。