题外话
之前在看Unix环境高级编程的时候,看完高级IO那一章,感觉自己萌萌哒,0.0 ,有点囫囵吞枣的感觉,之后翻了几篇博客,从纯系统的角度理解,稍微有了点概念,以这两篇为例,可以以后参考:
http://www.cnblogs.com/Anker/p/3265058.html
https://segmentfault.com/a/1190000003063859%20
不过还是理解个大概,最近通过阅读python的select模块,以及翻了几篇关于python实现异步IO的例子的博客,对它们有点豁然开朗的感觉,再重新翻看高级IO一章,突然觉得有点意思。
正题:由python引入这里参考了这篇博客的内容: http://www.cnblogs.com/coser/archive/2012/01/06/2315216.html
1、白话select、poll、epoll的区别 selectselect最早于1983年出现在4.2BSD中,它通过一个select()系统调用来监视多个文件描述符的数组,当select()返回后,该数组中就绪的文件描述符便会被内核修改标志位,使得进程可以获得这些文件描述符从而进行后续的读写操作。
select目前几乎在所有的平台上支持,其良好跨平台支持也是它的一个优点,事实上从现在看来,这也是它所剩不多的优点之一。
select的一个缺点在于单个进程能够监视的文件描述符的数量存在最大限制,在linux上一般为1024,不过可以通过修改宏定义甚至重新编译内核的方式提升这一限制。
另外,select()所维护的存储大量文件描述符的数据结构,随着文件描述符数量的增大,其复制的开销也线性增长。同时,由于网络响应时间的延迟使得大量TCP连接处于非活跃状态,但调用select()会对所有socket进行一次线性扫描,所以这也浪费了一定的开销。
pollpoll在1986年诞生于System V Release 3,它和select在本质上没有多大差别,但是poll没有最大文件描述符数量的限制。
poll和select同样存在一个缺点就是,包含大量文件描述符的数组被整体复制于用户态和内核的地址空间之间,而不论这些文件描述符是否就绪,它的开销随着文件描述符数量的增加而线性增大。
另外,select()和poll()将就绪的文件描述符告诉进程后,如果进程没有对其进行IO操作,那么下次调用select()和poll()的时候将再次报告这些文件描述符,所以它们一般不会丢失就绪的消息,这种方式称为水平触发(Level Triggered)。
epoll直到Linux2.6(2003年发布)才出现了由内核直接支持的实现方法,那就是epoll,它几乎具备了之前所说的一切优点,被公认为Linux2.6下性能最好的多路I/O就绪通知方法。
epoll可以同时支持水平触发和边缘触发(Edge Triggered,只告诉进程哪些文件描述符刚刚变为就绪状态,它只说一遍,如果我们没有采取行动,那么它将不会再次告知,这种方式称为边缘触发),理论上边缘触发的性能要更高一些,但是代码实现相当复杂。
epoll同样只告知那些就绪的文件描述符,而且当我们调用epoll_wait()获得就绪文件描述符时,返回的不是实际的描述符,而是一个代表就绪描述符数量的值,你只需要去epoll指定的一个数组中依次取得相应数量的文件描述符即可,这里也使用了内存映射(mmap)技术,这样便彻底省掉了这些文件描述符在系统调用时复制的开销。
另一个本质的改进在于epoll采用基于事件的就绪通知方式。在select/poll中,进程只有在调用一定的方法后,内核才对所有监视的文件描述符进行扫描,而epoll事先通过epoll_ctl()来注册一个文件描述符,一旦基于某个文件描述符就绪时,内核会采用类似callback的回调机制,迅速激活这个文件描述符,当进程调用epoll_wait()时便得到通知。
select实例在python中,select函数是一个对底层操作系统的直接访问的接口,属于c的原生接口函数。它用来监控sockets、files和pipes,等待IO完成(Waiting for I/O completion)。当有可读、可写或是异常事件产生时,select可以很容易的监控到。python的select模块定义的select方法如下:
def select(rlist, wlist, xlist, timeout=None): # real signature unknown; restored from __doc__
pass
select.select(rlist, wlist, xlist[, timeout]) 传递三个参数,一个为输入而观察的文件对象列表,一个为输出而观察的文件对象列表和一个观察错误异常的文件列表。第四个是一个可选参数,表示超时秒数。其返回3个tuple,每个tuple都是一个准备好的对象列表,它和前边的参数是一样的顺序。下面还是用别人的代码理解吧,自己写的太烂。。。。。 server端
# -*- coding:utf-8 -*-
import select
import socket
import Queue
# create a socket
server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server.setblocking(False) #False is equivalent to settimeout(0.0). True ,is equivalent to settimeout(None)
# set option reused
server.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) # SOL_SOCKET = 65535 SO_REUSEADDR = 4
# 相当于closesocket(一般不会立即关闭而经历TIME_WAIT的过程)后想继续重用该socket
server_address = ('192.168.0.104', 10001)
server.bind(server_address)
server.listen(10)
# sockets from which we except to read
inputs = [server]
# sockets from which we expect to write
outputs = []
# Outgoing message queues (socket:Queue)
message_queues = {}
# A optional parameter for select is TIMEOUT
timeout = 20
while inputs:
print "waiting for next event"
readable, writable, exceptional = select.select(inputs, outputs, inputs, timeout)
# When timeout reached , select return three empty lists
if not (readable or writable or exceptional):
print "Time out ! "
break
for s in readable:
if s is server:
# A "readable" socket is ready to accept a connection
connection, client_address = s.accept()
print " connection from ", client_address
connection.setblocking(0)
inputs.append(connection)
message_queues[connection] = Queue.Queue()
else:
data = s.recv(1024)
if data:
print " received ", data, "from ", s.getpeername()
message_queues[s].put(data)
# Add output channel for response
if s not in outputs:
outputs.append(s)
else:
# Interpret empty result as closed connection
print " closing", client_address
if s in outputs:
outputs.remove(s)
inputs.remove(s)
s.close()
# remove message queue
del message_queues[s]
for s in writable:
try:
next_msg = message_queues[s].get_nowait()
except Queue.Empty:
print " ", s.getpeername(), 'queue empty'
outputs.remove(s)
else:
print " sending ", next_msg, " to ", s.getpeername()
s.send(next_msg)
for s in exceptional:
print " exception condition on ", s.getpeername()
# stop listening for input on the connection
inputs.remove(s)
if s in outputs:
outputs.remove(s)
s.close()
# Remove message queue
del message_queues[s]
client端
# -*- coding:utf-8 -*-
import socket
import time
messages = ["This is the message",
"It will be sent",
"in parts "]
print "Connect to the server"
server_address = ("192.168.0.104", 10001)
# Create a TCP/IP sock
socks = []
for i in range(10):
socks.append(socket.socket(socket.AF_INET, socket.SOCK_STREAM)) #创建10个socketTCP连接,加入socks列表
for s in socks:
s.connect(server_address) #与服务器建立连接
counter = 0
for message in messages:
# Sending message from different sockets
for s in socks:
counter += 1 #两层循环,完成对每条消息通过十个建立好的socket发送给服务器
print " %s sending %s" % (s.getpeername(), message + " version " + str(counter))
s.send(message + " version " + str(counter))
time.sleep(0.5) #为了看清楚循环的数据交换过程,加的延时
# Read responses on both sockets
for s in socks:
data = s.recv(1024)
print " %s received %s" % (s.getpeername(), data)
if not data:
print "closing socket ", s.getpeername()
s.close()
#socket._socketobject.close()
使用poll方式完成Server端,这里只能在Linux上运行
# -*- coding:utf-8 -*-
import socket
import select
import Queue
# Create a TCP/IP socket, and then bind and listen
server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server.setblocking(False)
server.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
server_address = ("192.168.0.104", 10001)
print "Starting up on %s port %s" % server_address
server.bind(server_address)
server.listen(5)
message_queues = {}
# The timeout value is represented in milliseconds, instead of seconds.
timeout = 1000
# Create a limit for the event
READ_ONLY = (select.POLLIN | select.POLLPRI | select.POLLHUP | select.POLLERR)
READ_WRITE = (READ_ONLY | select.POLLOUT)
# Set up the poller
poller = select.poll()
poller.register(server, READ_ONLY)
# Map file descriptors to socket objects
fd_to_socket = {server.fileno(): server,}
while True:
print "Waiting for the next event"
events = poller.poll(timeout)
print "*" * 20
print len(events)
print events
print "*" * 20
for fd, flag in events:
s = fd_to_socket[fd]
if flag & (select.POLLIN | select.POLLPRI):
if s is