python socket非阻塞及python队列Queue

一. python非阻塞编程的settimeout与setblocking+select

原文：www.th7.cn/Program/Python/201406/214922.shtml

侧面认证Python的settimeout确实应该是非阻塞，此次使用select+setblocking和settimeout来作个对比，以此来证实。

首先我设置socket为非阻塞的。而后使用select来监控套接字。

#!/usr/bin/env python
# encoding: utf-8
import socket
import threading
import Queue
import time
import select
class worker(threading.Thread):
    def __init__(self,name,queue):
        self.data=queue
        super(worker,self).__init__(name=name)
    def run(self):
        for i in range(10000):
            self.data.put(i)

class customer(threading.Thread):
    def __init__(self,name,queue):
        super(customer,self).__init__(name=name)
        self.data=queue
    def scan(self,ip,port):
        s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
        s.setblocking(False) #non_blocking
        #s.settimeout(0.1)
        results=s.connect_ex((ip,port))
        #print results
        a,b,c=select.select([],[s,],[s,],0.1)#设置超时时间0.1秒，这里我根据前面博文的总结得出来的。
        #当connect链接成功的时候，表明Tcp3次握手完成，此时变成可写状态
        if b:#若是socket可写，表明了端口是开放的
            print port
        s.close()
    def run(self):
        while True:
            try:
                a=self.data.get(1,5)
            except:
                break
            else:
                ip='220.181.136.241'
                self.scan(ip,a)
def main():
    start=time.time()
    queue=Queue.Queue()
    pool=[]
    worke=worker('firebroo',queue)
    worke.start()
    for i in range(100):
        a=customer('firebroo',queue)
        pool.append(a)
    for i in pool:
        i.start()
    worke.join()
    for i in pool:
        i.join()
    print time.time()-start
    del pool[:]

if __name__=='__main__':
    main()

大概花费17.5秒执行完毕。下面我使用settimeout。

#!/usr/bin/env python
# encoding: utf-8
import socket
import threading
import Queue
import time
import select
class worker(threading.Thread):
    def __init__(self,name,queue):
        self.data=queue
        super(worker,self).__init__(name=name)
    def run(self):
        for i in range(10000):
            self.data.put(i)

class customer(threading.Thread):
    def __init__(self,name,queue):
        super(customer,self).__init__(name=name)
        self.data=queue
    def scan(self,ip,port):
        s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
        #s.setblocking(False)
        s.settimeout(0.1)#为了和前面保持一致，固然得设置0.1秒
        results=s.connect_ex((ip,port))
        if results==0:#connect_ex中0表明端口开放，3次握手完成
            print port
        #print results
        #a,b,c=select.select([],[s,],[s,],0.1)#设置超时时间0.1秒，这里我根据前面博文的总结得出来的。
        #当connect链接成功的时候，表明Tcp3次握手完成，此时变成可写状态
        #if b:#若是socket可写，表明了端口是开放的
        #    print port
        s.close()
    def run(self):
        while True:
            try:
                a=self.data.get(1,5)
            except:
                break
            else:
                ip='220.181.136.241'
                self.scan(ip,a)
def main():
    start=time.time()
    queue=Queue.Queue()
    pool=[]
    worke=worker('firebroo',queue)
    worke.start()
    for i in range(100):
        a=customer('firebroo',queue)
        pool.append(a)
    for i in pool:
        i.start()
    worke.join()
    for i in pool:
        i.join()
    print time.time()-start
    del pool[:]

if __name__=='__main__':
    main()

时间大概是17.4。这两个测试结果应该能够说是同样的，不免会有偏差。

总结：由此我能够说Python的settimeout这个API确实是非阻塞。和select+setblocking效果是同样的

 

二. Python Queue的使用

原文：doudouclever.blog.163.com/blog/static/1751123102012111192621448/

python 中，队列是线程间最经常使用的交换数据的形式。Queue模块是提供队列操做的模块，虽然简单易用，可是不当心的话，仍是会出现一些意外。

       1. 阻塞模式致使数据污染

import Queue
       q = Queue.Queue(10)
       for i in range(10):
               myData = 'A'
               q.put(myData)
               myData = 'B'

这 是一段极其简单的代码，但我老是不能得到指望的结果（指望在队列中写入10个A，却老是混杂了B）。原来，Queue.put（）默认有 block = True 和 timeou 两个参数。当  block = True 时，写入是阻塞式的，阻塞时间由 timeou  肯定。正由于阻塞，才致使了后来的赋值污染了处于阻塞状态的数据。Queue.put（）方法加上 block=False 的参数，便可解决这个隐蔽的问题。但要注意，非阻塞方式写队列，当队列满时会抛出 exception Queue.Full 的异常。

2. 没法捕获 exception Queue.Empty 的异常

while True:
                ......
                try:
                        data = q.get()
                except Queue.Empty:
                        break

我 的本意是用队列为空时，退出循环，但实际运行起来，却陷入了死循环。这个问题和上面有点相似：Queue.get（）默认的也是阻塞方式读取数据，队列为 空时，不会抛出 except Queue.Empty ，而是进入阻塞直至超时。 加上block=False 的参数，问题迎刃而解。

3. Queue经常使用方法汇总

Queue.Queue(maxsize=0)   FIFO， 若是maxsize小于1就表示队列长度无限
       Queue.LifoQueue(maxsize=0)   LIFO， 若是maxsize小于1就表示队列长度无限
       Queue.qsize()   返回队列的大小
       Queue.empty()   若是队列为空，返回True,反之False
       Queue.full()   若是队列满了，返回True,反之False
       Queue.get([block[, timeout]])   读队列，timeout等待时间
       Queue.put(item, [block[, timeout]])   写队列，timeout等待时间
       Queue.queue.clear()   清空队列