https://blog.csdn.net/u012887259/article/details/102425450

https://www.jianshu.com/p/27a8cd3ec0f2

https://blog.csdn.net/u012887259/article/details/102425450

Python 开发web服务器，多线程




                    原创                                                                                                                                            海洋的渔夫
                    最后发布于2018-12-28 00:16:40
                    阅读数 16


                        收藏


                                发布于2018-12-28 00:16:40





                                版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

                                本文链接：https://blog.csdn.net/u012887259/article/details/102425450





                                                                展开















仅供学习参考，转载请注明出处

前面介绍了使用进程的方式来优化处理http请求
Python 开发web服务器，多进程优化

但是多进程其实也存在一个资源的问题，当一个请求过来就要开启一个子进程的话，那么如果并发来了10万的http请求，那么就可能要开启10万个子进程。
这样是非常消耗服务器资源的。

那么另一个解决的方式就是使用线程。
改写线程的方式如下

运行效果如下：

https://blog.csdn.net/u012887259/article/details/102425450

Python 开发web服务器，多进程优化

仅供学习，转载请注明出处

前情回顾

前面写了两个篇章，主要介绍了使用tcp开发web服务器的功能。
Python 开发Web静态服务器 - 返回固定值：胖子老板，来包槟榔
 Python 开发web服务器，返回HTML页面

但是这服务端是有一个致命的性能问题，那就是采用循环接收http请求。当在处理一个http请求的时候，需要等待这个请求处理完毕了，才会开始处理下一个http请求。

数量少的http请求当时还可以使用。

但是当并发http请求的数量巨大的时候，这样就会导致堵塞的情况，或者访问超时。

那么该怎么去优化这个问题呢？

查看上一篇章代码：使用html页面返回的web服务器

#coding=utf-8
from socket import *
import re

def handle_client(client_socket):
    """为一个客户端服务"""
    # 接收对方发送的数据
    recv_data = client_socket.recv(1024).decode("utf-8") #  1024表示本次接收的最大字节数
    # 打印从客户端发送过来的数据内容
    #print("client_recv:",recv_data)
    request_header_lines = recv_data.splitlines()
    for line in request_header_lines:
        print(line)
     
    # 返回浏览器数据
    # 设置内容body
    # 使用正则匹配出文件路径
    print("------>",request_header_lines[0])
    print("file_path---->","./html/" + re.match(r"[^/]+/([^\s]*)",request_header_lines[0]).group(1))
    ret = re.match(r"[^/]+/([^\s]*)",request_header_lines[0])
    if ret:
       file_path = "./html/" + ret.group(1)
       if file_path == "./html/":
          file_path = "./html/index.html"
       print("file_path *******",file_path)

    try:
       # 设置返回的头信息 header
       response_headers = "HTTP/1.1 200 OK\r\n" # 200 表示找到这个资源
       response_headers += "\r\n" # 空一行与body隔开
       # 读取html文件内容
       file_name = file_path # 设置读取的文件路径
       f = open(file_name,"rb") # 以二进制读取文件内容
       response_body = f.read()
       f.close()   
       # 返回数据给浏览器
       client_socket.send(response_headers.encode("utf-8"))   #转码utf-8并send数据到浏览器
       client_socket.send(response_body)   #转码utf-8并send数据到浏览器
    except:
       # 如果没有找到文件，那么就打印404 not found
       # 设置返回的头信息 header
       response_headers = "HTTP/1.1 404 not found\r\n" # 200 表示找到这个资源
       response_headers += "\r\n" # 空一行与body隔开
       response_body = "<h1>sorry,file not found</h1>"
       response = response_headers + response_body
       client_socket.send(response.encode("utf-8"))

    client_socket.close()

def main():
   # 创建套接字
   server_socket = socket(AF_INET, SOCK_STREAM)
   # 设置当服务器先close 即服务器端4次挥手之后资源能够立即释放，这样就保证了，下次运行程序时 可以立即绑定7788端口
   server_socket.setsockopt(SOL_SOCKET, SO_REUSEADDR, 1)
   # 设置服务端提供服务的端口号
   server_socket.bind(('', 7788))
   # 使用socket创建的套接字默认的属性是主动的，使用listen将其改为被动，用来监听连接
   server_socket.listen(128) #最多可以监听128个连接
   # 开启while循环处理访问过来的请求 
   while True:
      # 如果有新的客户端来链接服务端，那么就产生一个新的套接字专门为这个客户端服务
      # client_socket用来为这个客户端服务
      # server_socket就可以省下来专门等待其他新的客户端连接while True:
      client_socket, clientAddr = server_socket.accept()
      handle_client(client_socket)

if __name__ == "__main__":
   main()

从上面的文字解析可能不够形象，先使用代码实现一下。

将client_socket加入子进程中

    import multiprocessing 
    
      # 设置子进程
      new_process = multiprocessing.Process(target=handle_client,args=(client_socket,))
      new_process.start() # 开启子进程

好了，这里就已经加好了子进程。那么下面来运行一下，看看会有什么结果。

从上面的访问请求中，一直在转圈，说明client_socket在处理完毕请求之后，并无法进行关闭。

其实，这个就是多进程的特性，子进程会从开启之前复制前面的代码，包含了client_socket接口，当子进程运行的时候，并无法关闭，这就需要从主进程来关闭了。

在主进程增加client_socket的关闭

运行看看浏览器还会不会转圈：

好了，那么到这里，就可以采用多进程的访问处理http请求了。

完整代码如下

#coding=utf-8
from socket import *
import re
import multiprocessing

def handle_client(client_socket):
    """为一个客户端服务"""
    # 接收对方发送的数据
    recv_data = client_socket.recv(1024).decode("utf-8") #  1024表示本次接收的最大字节数
    # 打印从客户端发送过来的数据内容
    #print("client_recv:",recv_data)
    request_header_lines = recv_data.splitlines()
    for line in request_header_lines:
        print(line)
     
    # 返回浏览器数据
    # 设置内容body
    # 使用正则匹配出文件路径
    print("------>",request_header_lines[0])
    print("file_path---->","./html/" + re.match(r"[^/]+/([^\s]*)",request_header_lines[0]).group(1))
    ret = re.match(r"[^/]+/([^\s]*)",request_header_lines[0])
    if ret:
       file_path = "./html/" + ret.group(1)
       if file_path == "./html/":
          file_path = "./html/index.html"
       print("file_path *******",file_path)

    try:
       # 设置返回的头信息 header
       response_headers = "HTTP/1.1 200 OK\r\n" # 200 表示找到这个资源
       response_headers += "\r\n" # 空一行与body隔开
       # 读取html文件内容
       file_name = file_path # 设置读取的文件路径
       f = open(file_name,"rb") # 以二进制读取文件内容
       response_body = f.read()
       f.close()   
       # 返回数据给浏览器
       client_socket.send(response_headers.encode("utf-8"))   #转码utf-8并send数据到浏览器
       client_socket.send(response_body)   #转码utf-8并send数据到浏览器
    except:
       # 如果没有找到文件，那么就打印404 not found
       # 设置返回的头信息 header
       response_headers = "HTTP/1.1 404 not found\r\n" # 200 表示找到这个资源
       response_headers += "\r\n" # 空一行与body隔开
       response_body = "<h1>sorry,file not found</h1>"
       response = response_headers + response_body
       client_socket.send(response.encode("utf-8"))

    #client_socket.close()

def main():
   # 创建套接字
   server_socket = socket(AF_INET, SOCK_STREAM)
   # 设置当服务器先close 即服务器端4次挥手之后资源能够立即释放，这样就保证了，下次运行程序时 可以立即绑定7788端口
   server_socket.setsockopt(SOL_SOCKET, SO_REUSEADDR, 1)
   # 设置服务端提供服务的端口号
   server_socket.bind(('', 7788))
   # 使用socket创建的套接字默认的属性是主动的，使用listen将其改为被动，用来监听连接
   server_socket.listen(128) #最多可以监听128个连接
   # 开启while循环处理访问过来的请求 
   while True:
      # 如果有新的客户端来链接服务端，那么就产生一个新的套接字专门为这个客户端服务
      # client_socket用来为这个客户端服务
      # server_socket就可以省下来专门等待其他新的客户端连接while True:
      client_socket, clientAddr = server_socket.accept()
      # handle_client(client_socket)
      # 设置子进程
      new_process = multiprocessing.Process(target=handle_client,args=(client_socket,))
      new_process.start() # 开启子进程

      # 因为子进程已经复制了父进程的套接字等资源，所以父进程调用close不会将他们对应的这个链接关闭的
      client_socket.close()


if __name__ == "__main__":
   main()

关注微信公众号，回复【资料】、Python、PHP、JAVA、web，则可获得Python、PHP、JAVA、前端等视频资料。

推荐阅读更多精彩内容

【转载】一起写一个 Web 服务器（3）

一起写一个 Web 服务器（2）一起写一个 Web 服务器（1） “发明创造时，我们学得最多” —— Piage...

绩重KF 阅读 75评论 0赞 0
[译]Python 中的 Socket 编程（指南）

说明本文翻译自 realpython 网站上的文章教程 Socket Programming in Pytho...

keelii 阅读 842评论 0赞 14
18、python网络编程

网络编程一.楔子你现在已经学会了写python代码，假如你写了两个python文件a.py和b.py，分别去运...

A_Python 阅读 709评论 0赞 6

其实线程对于性能的提升在python中并不会很高，因为GIL这个全局锁的方式会对多线程进行锁定，导致性能损耗偏大。
关于GIL可参考该文章：Python 的 GIL 是什么鬼，多线程性能究竟如何
那么下一步，考虑可以使用协程gevent来优化。
完整代码
#coding=utf-8from socket import *import reimport threading def handle_client(client_socket): """为一个客户端服务""" # 接收对方发送的数据 recv_data = client_socket.recv(1024).decode("utf-8") # 1024表示本次接收的最大字节数 # 打印从客户端发送过来的数据内容 #print("client_recv:",recv_data) request_header_lines = recv_data.splitlines() for line in request_header_lines: print(line) # 返回浏览器数据 # 设置内容body # 使用正则匹配出文件路径 print("------>",request_header_lines[0]) print("file_path---->","./html/" + re.match(r"[^/]+/([^\s]*)",request_header_lines[0]).group(1)) ret = re.match(r"[^/]+/([^\s]*)",request_header_lines[0]) if ret: file_path = "./html/" + ret.group(1) if file_path == "./html/": file_path = "./html/index.html" print("file_path *******",file_path) try: # 设置返回的头信息 header response_headers = "HTTP/1.1 200 OK\r\n" # 200 表示找到这个资源 response_headers += "\r\n" # 空一行与body隔开 # 读取html文件内容 file_name = file_path # 设置读取的文件路径 f = open(file_name,"rb") # 以二进制读取文件内容 response_body = f.read() f.close() # 返回数据给浏览器 client_socket.send(response_headers.encode("utf-8")) #转码utf-8并send数据到浏览器 client_socket.send(response_body) #转码utf-8并send数据到浏览器 except: # 如果没有找到文件，那么就打印404 not found # 设置返回的头信息 header response_headers = "HTTP/1.1 404 not found\r\n" # 200 表示找到这个资源 response_headers += "\r\n" # 空一行与body隔开 response_body = "<h1>sorry,file not found</h1>" response = response_headers + response_body client_socket.send(response.encode("utf-8")) client_socket.close() def main(): # 创建套接字 server_socket = socket(AF_INET, SOCK_STREAM) # 设置当服务器先close 即服务器端4次挥手之后资源能够立即释放，这样就保证了，下次运行程序时可以立即绑定7788端口 server_socket.setsockopt(SOL_SOCKET, SO_REUSEADDR, 1) # 设置服务端提供服务的端口号 server_socket.bind(('', 7788)) # 使用socket创建的套接字默认的属性是主动的，使用listen将其改为被动，用来监听连接 server_socket.listen(128) #最多可以监听128个连接 # 开启while循环处理访问过来的请求 while True: # 如果有新的客户端来链接服务端，那么就产生一个新的套接字专门为这个客户端服务 # client_socket用来为这个客户端服务 # server_socket就可以省下来专门等待其他新的客户端连接while True: client_socket, clientAddr = server_socket.accept() # handle_client(client_socket) # 设置线程 new_thread = threading.Thread(target=handle_client,args=(client_socket,)) new_thread.start() # 开启线程 if __name__ == "__main__": main()

关注微信公众
————————————————
版权声明：本文为CSDN博主「海洋的渔夫」的原创文章，遵循CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u012887259/java/article/details/102425450

Python 开发web服务器，多线程

Python 开发web服务器，多进程优化

前情回顾

查看上一篇章代码：使用html页面返回的web服务器

将client_socket加入子进程中

在主进程增加client_socket的关闭

完整代码如下

推荐阅读更多精彩内容

猜你喜欢