week7：网络编程之基础

一、OSI模型

二、网络通信要素

2.1、IP地址

2.2、端口号

2.3、传输协议

三、socket编程

socket即是一种特殊的文件，一些socket函数就是对其进行的操作（读/写IO、打开、关闭)。

Socket 是任何一种计算机网络通讯中最基础的内容。例如当你在浏览器地址栏中输入 http://www.cnblogs.com/ 时，你会打开一个套接字，然后连接到 http://www.cnblogs.com/ 并读取响应的页面然后显示出来。而其他一些聊天客户端如 gtalk 和 skype 也是类似。任何网络通讯都是通过 Socket 来完成的。Python 官方关于 Socket 的函数请看 http://docs.python.org/library/socket.html

socket和file的区别：

　　1、file模块是针对某个指定文件进行【打开】【读写】【关闭】

　　2、socket模块是针对 服务器端 和 客户端Socket 进行【打开】【读写】【关闭】

Python 提供了两个基本的 socket 模块。

   第一个是 Socket，它提供了标准的 BSD Sockets API。

   第二个是 SocketServer， 它提供了服务器中心类，可以简化网络服务器的开发。

3.1、Socket 类型

套接字格式：

socket(family,type[,protocal]) 使用给定的地址族、套接字类型、协议编号（默认为0）来创建套接字。

socket类型	描述
socket.AF_UNIX	只能够用于单一的Unix系统进程间通信
socket.AF_INET	服务器之间网络通信
socket.AF_INET6	IPv6
socket.SOCK_STREAM	流式socket , for TCP
socket.SOCK_DGRAM	数据报式socket , for UDP
socket.SOCK_RAW	原始套接字，普通的套接字无法处理ICMP、IGMP等网络报文，而SOCK_RAW可以；其次，SOCK_RAW也可以处理特殊的IPv4报文；此外，利用原始套接字，可以通过IP_HDRINCL套接字选项由用户构造IP头。
socket.SOCK_SEQPACKET	可靠的连续数据包服务
创建TCP Socket：	s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
创建UDP Socket：	s=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)

3.2、Socket 函数

注意点:

1）TCP发送数据时，已建立好TCP连接，所以不需要指定地址。UDP是面向无连接的，每次发送要指定是发给谁。

2）服务端与客户端不能直接发送列表，元组，字典。需要字符串化repr(data)。

socket函数		描述
服务端socket函数
s.bind(address)	将套接字绑定到地址, 在AF_INET下,以元组（host,port）的形式表示地址.
s.listen(backlog)	开始监听TCP传入连接。backlog指定在拒绝连接之前，操作系统可以挂起的最大连接数量。该值至少为1，大部分应用程序设为5就可以了。
s.accept()	接受TCP连接并返回（conn,address）,其中conn是新的套接字对象，可以用来接收和发送数据。address是连接客户端的地址。
客户端socket函数
s.connect(address)	连接到address处的套接字。一般address的格式为元组（hostname,port），如果连接出错，返回socket.error错误。
s.connect_ex(adddress)	功能与connect(address)相同，但是成功返回0，失败返回errno的值。
公共socket函数
s.recv(bufsize[,flag])	接受TCP套接字的数据。数据以字符串形式返回，bufsize指定要接收的最大数据量。flag提供有关消息的其他信息，通常可以忽略。
s.send(string[,flag])	发送TCP数据。将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。
s.sendall(string[,flag])	完整发送TCP数据。将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。
s.recvfrom(bufsize[.flag])	接受UDP套接字的数据。与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。
s.sendto(string[,flag],address)	发送UDP数据。将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。
s.close()	关闭套接字。
s.getpeername()	返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。
s.getsockname()	返回套接字自己的地址。通常是一个元组(ipaddr,port)
s.setsockopt(level,optname,value)	设置给定套接字选项的值。
s.getsockopt(level,optname[.buflen])	返回套接字选项的值。
s.settimeout(timeout)	设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如connect()）
s.gettimeout()	返回当前超时期的值，单位是秒，如果没有设置超时期，则返回None。
s.fileno()	返回套接字的文件描述符。
s.setblocking(flag)	如果flag为0，则将套接字设为非阻塞模式，否则将套接字设为阻塞模式（默认值）。非阻塞模式下，如果调用recv()没有发现任何数据，或send()调用无法立即发送数据，那么将引起socket.error异常。
s.makefile()	创建一个与该套接字相关连的文件

四、socket编程思路

TCP服务端：

1 创建套接字，绑定套接字到本地IP与端口

   # socket.socket(socket.AF_INET,socket.SOCK_STREAM) , s.bind()

2 开始监听连接                   #s.listen()

3 进入循环，不断接受客户端的连接请求              #s.accept()

4 然后接收传来的数据，并发送给对方数据         #s.recv() , s.sendall()

5 传输完毕后，关闭套接字                     #s.close()

TCP客户端:

1 创建套接字，连接远端地址

       # socket.socket(socket.AF_INET,socket.SOCK_STREAM) , s.connect()

2 连接后发送数据和接收数据          # s.sendall(), s.recv()

3 传输完毕后，关闭套接字          #s.close()

故事1：一次会话

######服务端##########
import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')

conn, addr = sk.accept()
client_data = conn.recv(1024)
print(str(client_data, "utf8"))

inp = input('>>>')
conn.send(bytes(inp, 'utf8'))

sk.close()

#######客户端##############
import socket

sk = socket.socket()
print(sk)


address = ('127.0.0.1', 8000)
sk.connect(address)

inp = input('>>>')
sk.send(bytes(inp, 'utf8'))

data = sk.recv(1024)
print(str(data, 'utf8'))

sk.close()

故事2：持久会话

##############服务端##############
import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')

conn, addr = sk.accept()
while 1:
    client_data = conn.recv(1024)
    print(str(client_data, "utf8"))

    inp = input('>>>')
    conn.send(bytes(inp, 'utf8'))

sk.close()

#############客户端##############
import socket

sk = socket.socket()
print(sk)


address = ('127.0.0.1', 8000)
sk.connect(address)

while True:
    inp = input('>>>')
    sk.send(bytes(inp, 'utf8'))

    data = sk.recv(1024)
    print(str(data, 'utf8'))

sk.close()

故事3：持久会话，然后再结束

##############服务端##############
import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')

conn, addr = sk.accept()
while 1:
    client_data = conn.recv(1024)
    if not client_data: break
    print('.........', str(client_data, "utf8"))

    inp = input('>>>')
    conn.send(bytes(inp, 'utf8'))

sk.close()

import socket

sk = socket.socket()
print(sk)


address = ('127.0.0.1', 8000)
sk.connect(address)

while True:
    inp = input('>>>')
    if inp == 'exit':
        break
    sk.send(bytes(inp, 'utf8'))

    data = sk.recv(1024)
    print(str(data, 'utf8'))

sk.close()

故事4：持久会话，然后再结束，客户端只发空，然后会出现什么情况

##############服务端##############
import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')

conn, addr = sk.accept()
while 1:
    client_data = conn.recv(1024)
    if not client_data: break
    print('.........', str(client_data, "utf8"))

    inp = input('>>>')
    conn.send(bytes(inp, 'utf8'))

sk.close()

import socket

sk = socket.socket()
print(sk)


address = ('127.0.0.1', 8000)
sk.connect(address)

while True:
    inp = input('>>>')
    if inp == 'exit':
        break
    sk.send(bytes(inp, 'utf8'))

    data = sk.recv(1024)
    print(str(data, 'utf8'))

sk.close()

这样如果客户端发的数据就是空数据的话岂不是也意外退出，那不就bug啦？

其实不用担心，如果客户端send了一个空数据后客户端继续向下执行，而server端的recv方法会继续阻塞，直到接收到一个非空数据才会继续向下执行。

 故事5：持久会话，然后再结束，服务多个客户端

##############服务端##############
import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')


while 1:
    conn, addr = sk.accept()
    while 1:
        client_data = conn.recv(1024)
        print('.........', str(client_data, "utf8"))
        if not client_data:break

        inp = input('>>>')
        conn.send(bytes(inp, 'utf8'))

sk.close()

#############客户端##############
import socket

sk = socket.socket()
print(sk)


address = ('127.0.0.1', 8000)
sk.connect(address)

while True:
    inp = input('>>>')
    if inp == 'exit':
        break
    sk.send(bytes(inp, 'utf8'))

    data = sk.recv(1024)
    print(str(data, 'utf8'))

sk.close()

 另外一种方法：

##############服务端##############
import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')

conn, addr = sk.accept()
while 1:
    client_data = conn.recv(1024)
    print('.........', str(client_data, "utf8"))
    if not client_data:
        conn,addr = sk.accept()
        continue


    inp = input('>>>')
    conn.send(bytes(inp, 'utf8'))

sk.close()

#############客户端##############
import socket

sk = socket.socket()
print(sk)


address = ('127.0.0.1', 8000)
sk.connect(address)

while True:
    inp = input('>>>')
    if inp == 'exit':
        break
    sk.send(bytes(inp, 'utf8'))

    data = sk.recv(1024)
    print(str(data, 'utf8'))

sk.close()

 故事6：持久会话，然后再结束，服务多个客户端，如果按住红色stop_button按钮的退出处理

##############服务端##############
import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')


while 1:
    conn, addr = sk.accept()
    print(addr)
    while 1:
        try:
            client_data = conn.recv(1024)
        except Exception:
            break
        print('.........', str(client_data, "utf8"))
        if not client_data:break

        inp = input('>>>')
        conn.send(bytes(inp, 'utf8'))

sk.close()

#############客户端##############
import socket

sk = socket.socket()
print(sk)


address = ('127.0.0.1', 8000)
sk.connect(address)

while True:
    inp = input('>>>')
    if inp == 'exit':
        break
    sk.send(bytes(inp, 'utf8'))

    data = sk.recv(1024)
    print(str(data, 'utf8'))

sk.close()

 五、远程执行

#############客户端##############
import socket

sk = socket.socket()
print(sk)


address = ('127.0.0.1', 8000)
sk.connect(address)

while True:
    inp = input('>>>')
    if inp == 'exit':
        break
    sk.send(bytes(inp, 'utf8'))
    result_len = int(str(sk.recv(1024)), 'utf8')
    print(result_len)
    data = bytes()

    while len(data) != result_len:
        recv = sk.recv(1024)
        data += recv
    print(str(data, 'gbk'))

sk.close()

##############服务端##############
import subprocess

# subprocess.Popen()


import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')


while 1:
    conn, addr = sk.accept()
    print(addr)
    while 1:
        try:
            client_data = conn.recv(1024)
        except Exception:
            break
        print('.........', str(client_data, "utf8"))
        if not client_data:break

        obj = subprocess.Popen(str(client_data,'utf8'), shell=True, stdout=subprocess.PIPE)
        cmd_result = obj.stdout.read()
        result_len = bytes(str(len(cmd_result)), 'utf8')
        print('>>>>>>>', result_len)
        conn.sendall(result_len)

        conn.sendall(cmd_result)

sk.close()

conclusion:

              sendall会把数据直接全部发送到客户端，客户端将所有的数据都放到缓冲区,每次recv多少字节取决于recv内的参数，理论不应该超过8k。

所以，并不能一次recv()无限大数据，所以这里我们应该通过循环去接收。

六、解决大数据传送和粘包问题

##############服务端##############
import subprocess

# subprocess.Popen()


import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')


while 1:
    conn, addr = sk.accept()
    print(addr)
    while 1:
        try:
            client_data = conn.recv(1024)
        except Exception:
            break
        print('.........', str(client_data, "utf8"))
        if not client_data:break

        obj = subprocess.Popen(str(client_data, 'utf8'), shell=True, stdout=subprocess.PIPE)
        cmd_result = obj.stdout.read()

        result_len = bytes(str(len(cmd_result)), 'utf8')
        print('>>>>>>>', result_len)
        conn.sendall(result_len) #粘包现象

        conn.recv(1024)#解决粘包
        # import time
        # time.sleep(1)

        conn.sendall(cmd_result)

sk.close()

#############客户端##############
import socket

sk = socket.socket()
print(sk)


address = ('127.0.0.1', 8000)
sk.connect(address)

while True:
    inp = input('>>>')
    if inp == 'exit':
        break
    sk.send(bytes(inp, 'utf8'))
    result_len = int(str(sk.recv(1024)), 'utf8')
    sk.sendall('111')
    print(result_len)
    data = bytes()

    while len(data) != result_len:
        recv = sk.recv(1024)
        data += recv
    print(str(data, 'gbk'))

sk.close()

七、文件传送

post_serve

import subprocess
import os

# subprocess.Popen()


import socket
address = ('127.0.0.1', 8000)
sk = socket.socket()
sk.bind(address)
sk.listen(3)
print('server waiting...')
BASE_DIR = os.path.dirname(os.path.abspath(__file__))


while 1:
    conn, addr = sk.accept()
    # print(addr)
    while 1:
        data = conn.recv(1024)
        cmd, filename, filesize = str(data, 'utf8').split('|')
        path = os.path.join(BASE_DIR, 'ma', filename)
        filesize = int(filesize)

        f = open(path, 'ab')
        has_receive = 0
        while has_receive != filesize:
            data = conn.recv(1024)
            f.write(data)
            has_receive += len(data)
        f.close()

post_client

import socket
import os

sk = socket.socket()
print(sk)


address = ('127.0.0.1', 8000)
sk.connect(address)

BASE_DIR = os.path.dirname(os.path.abspath(__file__))

while True:
    inp = input('>>>').strip()  # post\11.png

    cmd,path = inp.split('|')

    path = os.path.join(BASE_DIR, path)

    filename = os.path.basename(path)
    filesize = os.stat(path).st_size

    file_info = 'post|%s|%s' % (filename, filesize)

    sk.sendall(bytes(file_info, 'utf8'))

    f = open(path, 'rb')
    has_sent = 0
    while has_sent != filesize:
        data = f.read(1024)
        sk.sendall(data)
        has_sent += len(data)
    f.close()
    print('上传成功')

八、serve端实现并发聊天

简单例子

##############服务端##############
import socketserver

class MyServer(socketserver.BaseRequestHandler):

    def handle(self):
        print("服务端启动...")
        while True:
            conn = self.request
            print(self.client_address)
            while True:
                client_data=conn.recv(1024)
                print(str(client_data,"utf8"))
                print("waiting...")
                conn.sendall(client_data)
            conn.close()

if __name__ == '__main__':
    server = socketserver.ThreadingTCPServer(('127.0.0.1', 8091), MyServer)
    server.serve_forever()


#############客户端##############
import socket

ip_port = ('127.0.0.1', 8091)
sk = socket.socket()
sk.connect(ip_port)
print("客户端启动：")
while True:
    inp = input('>>>')
    sk.sendall(bytes(inp,"utf8"))
    if inp == 'exit':
        break
    server_response=sk.recv(1024)
    print(str(server_response,"utf8"))
sk.close()

聊天并发实例

import socketserver

class MyServer(socketserver.BaseRequestHandler):

    def handle(self):
        print("服务端启动...")
        while True:
            conn = self.request
            print(self.client_address)
            while True:

                client_data=conn.recv(1024)

                print(str(client_data,"utf8"))
                print("waiting...")
                server_response=input(">>>")
                conn.sendall(bytes(server_response,"utf8"))
                # conn.sendall(client_data)

            conn.close()
            # print self.request,self.client_address,self.server


if __name__ == '__main__':
    server = socketserver.ThreadingTCPServer(('127.0.0.1', 8098), MyServer)
    server.serve_forever()


import socket


ip_port = ('127.0.0.1', 8098)
sk = socket.socket()
sk.connect(ip_port)
print ("客户端启动：")
while True:
    inp = input('>>>')
    sk.sendall(bytes(inp,"utf8"))
    server_response=sk.recv(1024)
    print (str(server_response,"utf8"))
    if inp == 'exit':
        break
sk.close()

九、socketserver模块

它包含了种五种server类，BaseServer(不直接对外服务)。TCPServer使用TCP协议，UDPServer使用UDP协议，还有两个不常使用的，即UnixStreamServer和UnixDatagramServer,这两个类仅仅在unix环境下有用(AF_unix)。

创建一个socketserver 至少分以下几步

1. First, you must create a request handler class by subclassing the BaseRequestHandlerclass and overriding its handle() method; this method will process incoming requests. 　　
2. Second, you must instantiate one of the server classes, passing it the server’s address and the request handler class.
3. Then call the handle_request() orserve_forever() method of the server object to process one or many requests.
4. Finally, call server_close() to close the socket.

让你的socketserver并发起来， 必须选择使用以下一个多并发的类

class socketserver.ForkingTCPServer
class socketserver.ForkingUDPServer
class socketserver.ThreadingTCPServer
class socketserver.ThreadingUDPServer