python 协程及socket网络编程

其他 2018-10-19 20:17:24 阅读次数: 0

协程

什么是协程

协程，英文Coroutines，是一种比线程更加轻量级的存在。正如一个进程可以拥有多个线程一样，一个线程也可以拥有多个协程。在这里插入图片描述
最重要的是，协程不是被操作系统内核所管理，而完全是由程序所控制（也就是在用户态执行）。
这样带来的好处就是性能得到了很大的提升，不会像线程切换那样消耗资源。
协程优势：

  • 有较高的执行效率， 始终只有一个线程， 不存在创建线程和销毁线程需要的时间；
  • 也没有线程切换的开销， 任务需要开启线程数越多， 协程的优势越明显；
  • 不需要多线程的锁机制
    在这里插入图片描述

如何实现协程

yiled实现协程
import threading
import time
def producer(c):
    c.__next__()
    n = 0
    while n < 5:
        n += 1
        print("[生产者]生产数据:%s" %(n))
        res = c.send(n)
        print("[消费者的返回值为:%s" %(res))
def consumer():
    r = 'a'
    while True:
        n = yield r
        if not n:
            return
        print("[消费者]运行%s...." %(n))
        time.sleep(1)
        r = '200 ok'
if __name__=='__main__':
    print(threading.active_count())
    c = consumer()
    producer(c)
    print(threading.active_count())

在这里插入图片描述

gevent 实现协程
# 由于切换是在IO操作时自动完成， 所以gevent需要修改python自带的一些标准库；
# gevent提供了patch_*来对于标准库作修改;
import time
from gevent import monkey
monkey.patch_all()
import gevent
def job(n):
    for i in range(n):
        print(gevent.getcurrent(),i)
        time.sleep(1)
def main1():
# 创建三个协程， 并让该协程执行job任务
# 假设多协程执行的任务， 没有IO操作或者等待， 那么协程间是依次运行， 而不是交替运行;
 # 假设多协程执行的任务， IO操作或者等待， 那么协程间是交替运行;
    g1 = gevent.spawn(job,2)
    g2 = gevent.spawn(job,3)
    g3 = gevent.spawn(job,2)
    # 等待所有的协程执行结束， 再执行主程序；
    gevent.joinall([g1,g2,g3])
    print("任务执行结束....")
main1()

在这里插入图片描述

协程案例
import time
from urllib.request import urlopen
from concurrent.futures import ThreadPoolExecutor
import gevent
# 1. 打补丁
from gevent import monkey
from mytimeit import timeit
monkey.patch_all()

def load_url(url):
    with urlopen(url) as conn:
        data = conn.read()
        print("%s网页字节数为%s" %(url,len(data)))

URLS = ['http://httpbin.org', 'http://example.com/']*100
@timeit
def gevent_main():
    gevents = [gevent.spawn(load_url,url) for url in URLS]
    gevent.joinall(gevents)

@timeit
def thread_main():
    with ThreadPoolExecutor(max_workers=100) as f:
        f.map(load_url,URLS)

if __name__=="__main__":
    thread_main()
    gevent_main()

在这里插入图片描述
在这里插入图片描述

socket网络编程

网络通讯三要素

  1. IP
  • 分类:
    IPv4： 172.25.254.100 ===> 32位的二进制格式， 点分十进制法; 2^32-1
    IPv6: ===> 128位的二进制格式 , 冒分十六进制；
  • 查看：
    ip addr show br0
  1. port： 为了标识通信的应用程序(端口)
  • 常见的port和服务的对应关系:/etc/services
  • 已经被分配的port： 0-1024
  • 自定义端口号的范围: 1024-65535
  1. 通信协议: TCP和UDP
import socket
print(socket.gethostname())
# 'www.baiu.com'根据域名获取对应服务器的ip地址
print(socket.gethostbyname('www.baidu.com'))
# 根据IP获取对应的主机名
print(socket.gethostbyaddr('114.114.114.114'))
#获取详细信息
print(socket.getaddrinfo('www.xunlei.com',80),type(socket.getaddrinfo('www.xunlei.com',80)))

# AddressFamily.AF_INET  : ipv4
# socket.AF_INET6  : ipv6

# SOCK_STREAM： TCP协议
# socket.SOCK_DGRAM: UDP协议

在这里插入图片描述

socket实现web简易服务器

TCP工作方式:
在这里插入图片描述

import socket
def handle_request(sockobj):
    sockobj.send(b'HTTP/1.1 200 OK\r\n\r\n')
    with open('hello.html') as f:
        sockobj.send(f.read().encode('utf-8'))

if __name__ == '__main__':
# 1. 创建一个socket对象,默认参数 AddressFamily.AF_INET  : ipv4， SOCK_STREAM： TCP协议
    server = socket.socket()
# 2. 绑定ip和端口    
    server.bind(('172.25.254.78',9001))
# 3. 监听是否有客户端连接
    server.listen(3)
    print("服务器端已经启动9001端口....")
    while True:
    # 4. 接受客户端连接
        sockobj , address = server.accept()
        print(sockobj,address)
   # 5. 接受客户端发送的消息
        recv_data = sockobj.recv(1024)
    # 6. 与客户端进行交互， 返回给客户端信息
        handle_request(sockobj)
        sockobj.close()

TCP 实现客户与服务端聊天

服务端
# 1. 创建一个socket对象
import socket
server = socket.socket()
# 2. 绑定ip和端口
server.bind(('172.25.254.78',9002))
# 3. 监听是否有客户端连接
server.listen()
print("服务端已经启动9002端口.....")
# 4. 接收客户端连接
sockobj , address =server.accept()
while True:
     # 5. 接收客户端发送的消息
    recv_data = sockobj.recv(1024).decode('utf-8')
    print('client>:%s' %(recv_data))
    if recv_data == 'quit':
        break
    # 6. 给客户端回复消息
    send_data = input("server>:")
    sockobj.send(send_data.encode('utf-8'))
    if send_data == 'quit':
        break
# 7. 关闭socket对象
sockobj.close()
server.close()

在这里插入图片描述

客户端
import socket
HOST = '172.25.254.78'
PORT = 9002
# 1. 创建客户端的socket对象
client = socket.socket()
# 2. 连接服务端， 需要指定端口和IP
client.connect((HOST,PORT))
while True:
# 3. 给服务端发送数据
    send_data = input("client>:")
    client.send(send_data.encode('utf-8'))
    if send_data == 'quit':
        break
     # 4. 获取服务端返回的消息
    recv_data = client.recv(1024).decode('utf-8')
    print('server>:%s' %(recv_data))
    if recv_data=='quit':
        break
 # 5. 关闭socket连接
client.close()

在这里插入图片描述

拓展 协程实现服务端对多个客户端（TCP）

服务端:

def handle_request(sockobj):
    while True:
        recv_data = sockobj.recv(1024).decode('utf-8')
        print("client>:%s" %(recv_data))
        if recv_data == 'quit':
            break
        send_data = input("server>:")
        sockobj.send(send_data.encode('utf-8'))
        if send_data == 'quit':
            break

from gevent import monkey
monkey.patch_all()
import gevent
import socket

server = socket.socket()
server.bind(('172.25.254.78',9001))
server.listen()
print("服务已经启动9001端口...")
while True:
    sockobj , address = server.accept()
    #创建协程
    gevent.spawn(handle_request,sockobj)
sockobj.close()
server.close()

在这里插入图片描述

客户端：

import socket
HOST = '172.25.254.78'
PORT = 9001
# 1. 创建客户端的socket对象
client = socket.socket()
# 2. 连接服务端， 需要指定端口和IP
client.connect((HOST,PORT))
while True:
# 3. 给服务端发送数据
    send_data = input("client>:")
    client.send(send_data.encode('utf-8'))
    if send_data == 'quit':
        break
     # 4. 获取服务端返回的消息
    recv_data = client.recv(1024).decode('utf-8')
    print('server>:%s' %(recv_data))
    if recv_data=='quit':
        break
 # 5. 关闭socket连接
client.close()

在这里插入图片描述
在这里插入图片描述

UDP 实现客户与服务端聊天

UDP 工作方式：
在这里插入图片描述

服务端：

import socket
HOST = '172.25.254.78'
PORT = 9001
# 1. 创建socket对象
server = socket.socket(type=socket.SOCK_DGRAM)
# 2. 绑定IP和port
server.bind((HOST,PORT))
print("等待客户端的UDP请求.....")
# 3. 接收客户端发送的消息
data , address = server.recvfrom(1024)
print("接受到客户端的消息:",data.decode('utf-8'))
print("客户端的连接的socket地址:",address)
# 4. 给客户端回复消息
server.sendto(b'hello client',address)
# 5. 关闭socket对象
server.close()

在这里插入图片描述

客户端：

import socket
HOST = '172.25.254.78'
PORT = 9001
# 1. 创建socket对象
client = socket.socket(type=socket.SOCK_DGRAM)
# 2. 发送消息给服务端
client.sendto(b'hello server',(HOST,PORT))
# 3. 接收服务端返回的信息
data, address = client.recvfrom(1024)
print("接收服务端的消息:",data)
# 4. 关闭socket对象
client.close()

在这里插入图片描述

通过socket爬取网页内容
import socket
from urllib.request import urlopen
# 获取网页内容
#print(urlopen('http://www.baidu.com').read())
client = socket.socket()
client.connect(('www.baidu.com',80))
client.send(b'GET / HTTP/1.1\r\nHost: www.baidu.com\r\nConnection: close\r\n\r\n')
recv_data = client.recv(1024*100)
print(recv_data.decode('utf-8'))
client.close()

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/weixin_42635252/article/details/82844397
今日推荐
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
报告：Django 仍然是 74% 开发者的首选
《2024 年一季度互联网投融资运行情况》研究报告
15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
GCC 14.1 发布
周排行
NEFU 117 素数个数的位数
Closest Common Ancestors (Lca,tarjan)
ELK部署
【转载】Hive笔记整理（三）
SQL语句（一）基本表的定义
关于Java web开发中的MySQL的事务语句
MFC创建自定义窗体
如何用一句话激怒程序员？
《逆袭大学》文摘——9.4 基础和应用的平衡中找到大学的节奏
【spring源码分析】@Value注解原理
每日归档
更多
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022