Python学习笔记_第十四章：网络编程

Python的网络编程解决方案：

• Python内有很多针对常见网络协议的库
• 用Python很容易写出处理各种协议格式的代码（Python非常擅长于处理字节流的各种模式）
  如果想了解更多Python中的网络编程，推荐：Jphn Goerzen 的 The Foundations of Python Network Programming

少数几个网络设计模块

socket模块

网络编程最基本的就是套接字(socket)，它可以说是两个端点程序之间的“信息通道”，Python大部分模块隐藏了套接字的基本细节，不直接和套接字交互。
套接字分：服务器套接字、客户端套接字
可以通过实例化socket模块的socket类来获得一个套接字，需要3个参数，第一个是地址簇：默认为socket.AF_INET，第二个是流：默认为socket.SOCK_STREAM，第三个是使用的协议：默认为0，对于一个普通的套接字不需要任何参数。
获得套接字后可以通过bind方法绑定到一个地址，再调用listen方法去监听，listen方法的唯一参数为服务器未处理连接的长度。
服务器开始监听后就可以通过使用accept方法来接受客户端的连接，这个方法是阻塞的，直到有客户端连接，连接后其返回值为元祖（client, address），服务器处理完一个连接后，再次调用accept来等待下一个连接。
以上描述的服务器编程为阻塞或同步网络编程
套接字对象有两个方法：send和recv
在Linux或UNIX系统中，需要有系统管理员权限才能使用1024以下的端口。这些地域1024的端口被标准服务占用，如：80用于web
一个小型服务器：

import socket
s = socket.socket()

host = socket.gethostname()
print host
prot = 1234

s.bind((host, prot))

s.listen(5)

while True:
    c, address = s.accept()
    print 'Got connection form', address
    c.send('Thank you for connect')
    print c.recv(1024)
    c.close()

一个小型客户端：

import socket
s = socket.socket()
host = socket.gethostname()
port = 1234
s.connect((host, port))
print s.recv(1024)
s.send('hello server')

在Python库参考文档（http://python.org/doc/lib/module_socket.html）和Gordon McMillan的Socket Programming HOWTO（http://doc.python.org/dev/howto/sockets.html）中找到更多socket模块的内容。

urlib和urllib2模块的内容

在能用的各个网络库中，最强大的就数urlib和urllib2了，通过他们调用网络文件如调本地，几乎可以把任何URL指向的东西作为程序的输入。可以想象下将它们和re模块结合的效果。
这俩的功能相近，但urlib2更好点，如果只是简单的下载urlib就够了，如果需要HTTP验证或cookie，或者要为自己的协议编写扩展，那就urlib2更好了。
1.打开远程文件

>>> from urllib import urlopen
>>> webpage = urlopen('www.baidu.com')
>>> webpage = urlopen('http://www.baidu.com')
>>> webpage
<addinfourl at 88157960L whose fp = <socket._fileobject object at 0x00000000053C2E58>

2.获取远程文件

>>> from urllib import urlretrieve
>>> urlretrieve('http://www.python.org', 'C:\U')
>>> urlretrieve('http://www.python.org', r'C:\Users\hcs\Desktop\python_webpage.html')
('C:\\Users\\hcs\\Desktop\\python_webpage.html', <httplib.HTTPMessage instance at 0x000000000542D708>)

以上，如果不指定保存位置，文件就会保存在零时位置，要清理，可以调用urlcleanup函数。
一些功能
处理读取和下载文件，urllib来提供了些函数操作URL本身：

函数	描述
quote(string[, safe])	返回一个字符串，其中所有URL特殊字符都被URL友好的字符代替
quote_plus(string[, safe])	和quote功能差不多，但用+代替空格
unquote(string)	和quote相反
unquote_plus(string)	和unquote_plus相反
urlencode(query[, doseq])	将映射或者包含两个元素的元组的序列转换为URL格式的字符串，这种字符串可以用于CGI查询

其他模块

标准库中一些和网络相关的模块

模块	描述
asynchat	asyncore的增强版（从更高层次处理异步IO的框架）
asyncore	……
cgi	通用网关接口
Cookie	Cookie对象操作，主要用于服务器
cookielib	客户端cookie支持
email	email消息支持
ftplib	FTP客户端模块
gopherlib	gopher客户端模块（Internet提供的采用菜单式驱动的信息查询工具，采用C/S）
httplib	HTTP客户端模块
imaplib	imap4客户端模块
mailbox	读取几种邮箱格式
mailcap	通过mailcap文件访问MIME配置
mhlib	访问MH邮箱
nntplib	NNTP客户端模块
poplib	pop客户端模块
robotparser	支持解析web服务器的robot文件
SimpleXMLRPCServer	一个简单的XML-RPC服务器
smtpd	SMTP服务器端模块
smtplib	SMTP客户端模块
telnetlib	Telnet客户端模块
urlparse	支持解析URL
xmlrpclib	XML-RPC的客户端支持

SocketServer和它的朋友们

SocketServer模块是标准库中很多服务器框架的基础，这些服务器框架包括：BaseHTTPServer、SimpleHTTPServer、CGIHTTPServer、SimpleXMLRPCServer和DocXMLRPCServer，所有的这些服务器框架都为基础服务器增加了特定的功能。
SocketServer包括四个基本的类：针对TCP流式套接字的TCPServer；针对UDP数据报套接字的UDPServer；以及针对性不强的UnixStreamServer和UnixDatagramServer。后三个不常用。
前面小型服务器的SocketServer版本：

from SocketServer import TCPServer, StreamRequestHandler
class handler(StreamRequestHandler):
    def handle(self):
        addr = self.request.getpeername()
        print 'Got connection from', addr
        self.wfile.write('Thank you for connecting')
        print self.rfile.read()
server = TCPServer(('', 1234), handler)
server.serve_forever()

它能和前面小型客户端协同工作
Python参考库(http://python.org/doc/lib/module-SocketServer.html)和John Goerzen的The Foundations of Python Network Programming可以找到关于SocketServer的更多信息。

多个连接

前面的服务器解决方案都是同步的：即一次只能连接一个客户机并处理，为了实现异步可以有三种方法：分叉(forking)、线程(threading)以及异步I/O，分叉在现代UNIX和Linux系统很高效，但是windows不支持分叉。
通过SocketServer服务器使用混入类很容易派生进程和线程。
避免线程和分叉的另外一种方法是转换到Stackless Python(http://stackless.com)，一个为了能够在不同的上下文之间快速、方便切换而设计的Python版本。，它支持一个叫做微线程的类线程的并行形式。

使用Socket Server进行分叉和线程处理

使用分叉技术的服务器（windows不支持）：

from SocketServer import TCPServer, ForkingMixIn, StreamRequestHandler
class server(ForkingMixIn, TCPServer):pass
class handler(StreamRequestHandler):
    def handle(self):
        addr = self.request.getpeername()
        print 'Got connection from', addr
        self.wfile.write('Thank you for connecting')
        self.rfile.read()
server = TCPServer(('', 1234), handler)
server.serve_forever()

使用线程处理的服务器

from SocketServer import TCPServer, ThreadingMixIn, StreamRequestHandler
class server(ThreadingMixIn, TCPServer):pass
class handler(StreamRequestHandler):
    def handle(self):
        addr = self.request.getpeername()
        print 'Got connection from', addr
        self.wfile.write('Thank you for connecting')
        self.rfile.read()
server = TCPServer(('', 1234), handler)
server.serve_forever()

不知道为啥，两种方式实现的效果一样，都不太正常

带有select和poll的异步I/O

这种处理方式只处理在给定的时间内真正要进行通信的客户端，不需要一直监听，只需要监听一会，然后把它放到其他客户端的后面。这个功能的基础是select，如果poll可用，也可以是它，这两个函数都来自select模块。poll只能在UNIX中使用。
select有三个必选的序列参数，还有一个可选的以秒为单位的超时时间作为第四个参数。三个序列为文件描述符整数或者带有可以产生这样整数的fileno方法的对象，这些都是我们等待连接的对象。
三个序列分别用于：输入、输出、异常情况，select函数的输出为三个序列，分别对应这三种输入参数序列的一个活动子集
序列能包含文件对象（在windows中行不通）或者套接字。
简单的select服务器

import socket, select

s = socket.socket()

addr = socket.gethostname()

s.bind((addr, 1234))
s.listen(5)
inputs = [s]
while True:
    rs, ws, es = select.select(inputs, [], [])
    for r in rs:
        if r is s:
            c, addr = s.accept()
            print 'Got connection from', addr
            inputs.append(c)
        else:
            try:
                data = r.recv(1024)
                disconnected = not data
            except:
                disconnected = True
            if disconnected:
                print r.getpeername(), 'disconnected'
                inputs.remove(r)
            else:
                print data

poll方法返回的元组（fd, event）中event的类型（select模块中的polling时间常量类型）有：

事件名	描述
POLLIN	读取来自文件描述符的数据
POLLPRI	读取来自文件描述符的紧急数据
POLLOUT	文件描述符已经准备好数据，写入时不会发生阻塞
POLLERR	与文件描述符有关的错误情况
POLLHUP	挂起，连接丢失
POLLNVAL	无效请求，连接没有打开

使用poll代替select的代码（只有在UNIX有用）

import select, socket

s = socket.socket()
addr = socket.gethostname()
port = 1234
s.bind((addr, port))
s.listen(5)
fdmap = {s.fileno() : s}
p = select.poll()
p.register(s)
while True:
    events = p.poll()
    for fd, event in events:
        if fd == s.fileno():
            c, addr = s.accept()
            print('Got connection from', addr)
            p.register(c)
            fdmap[c.fileno()] = c
        elif event & select.POLLIN:
            data = fdmap[fd].recv(1024)
            if not data:
                print(fdmap[fd].getpeername(), 'disconnected')
                p.unregister(fd)
                del fdmap[fd]
            else:
                print(data)

在Python库参考文档(http://python.org/doc/lib/module-select.html)中可以找到更多关于select和poll的信息。

Twisted

Twisted是一个事件驱动的Python网络框架，它能和几个常见的GUI工具包(Tk, GTK, Qt, wxWidget)协同工作。它相当丰富，支持web服务器、客户机、SSH2、SMTP、POP3、IMAP4、AIM、ICQ、IRC、MSN、Jabber、NNTP和DNS等等。

下载和安装Twisted

windows直接登录网址http://twistedmatrix.com下载Python版本对应的Windows安装程序就好
其他系统：如果有包管理器（APT、RPM、DPKG、Portage、Fink、MacPorts）那么可以用它们直接安装，如果没有用包管理器，则需要下载档案文件，用tar命令解压缩后运行Distutils脚本：python setup.py install

编写Twisted服务器

Twited使用一个事件甚至多个基于事件的方法，要编写基本的服务器就要实现处理比如：新客户端连接、数据到达以及一个客户端断开连接等事件的事件处理程序。下面是个例子：

from twisted.internet import reactor
from twisted.internet.protocol import Protocol, Factory
class SimpleLogger(Protocol):
    def connectionMade(self):
        print 'Got connection from', self.transport.client
    def connectionLost(self, reason):
        print self.transport.client, 'disconnected'
    def dataReceived(self, data):
        print data
factory = Factory()
factory.protocol = SimpleLogger
reactor.listenTCP(1234, factory)
reactor.run()

上面的服务器程序每行之输出了个字符，为了能实现每次输出一行，twisted.protocols.basic模块中包含一个有用的预定义协议，是LineReceiver，请看下面的例子：

from twisted.internet import reactor
from twisted.internet.protocol import Factory
from twisted.protocols.basic import LineReceiver
class SimpleLogger(LineReceiver):
    def connectionMade(self):
        print 'Got connection from', self.transport.client
    def connectionLost(self, reason):
        print self.transport.client, 'disconnected'
    def dataReceived(self, line):
        print line,
factory = Factory()
factory.protocol = SimpleLogger
reactor.listenTCP(1234, factory)
reactor.run()

关于twisted，可以在网站http://twistedmatrix.com上找到