Python 多进程使用之监控

下面简单写下实现方式，具体代码不会所有贴出来。

须要使用的py库有下面几个

import urllib2
import socket
from multiprocessing import Pool

urllib2用于请求网页

socket用于限制网络请求超时

pool用于设置进程池，这个在数据量很大的状况下采用pool远比使用process要好不少，后者会消耗掉大量服务器资源，甚至致使宕机的风险，在数据量不大的状况下能够考虑后者，好比10条之内的数据。

'''请求指定Url地址'''
def request_url(url):
    '''设置请求超时时间'''
    socket.setdefaulttimeout(5)
    try:
        '''构造 http请求'''
        request=urllib2.Request(url)
        response=urllib2.urlopen(request)
    except Exception,e:
        print '%s|%s|%s'%(url,e,request.get_method())
    else:
        print '%s|%s|%s'%(url,response.code,request.get_method())

获取url的方式能够本身定义，有时候咱们会将数据保留在文件中，但更多的是写在数据库，下面代码提供了很好的灵活性，代码中的内容本身能够再完善

'''从文件或数据库中获取须要监控的网页地址'''
def get_url_list(value):
    if value == '':
        print '该函数须要指定一个参数！'
        return
    if value == 'file':
        file_path='C:\urllist.txt' #文本中的数据一行一条
        try:
            f=open(file_path, 'r')
        except Exception,e:
            print e
        else:
            return f.readlines()
    elif value == 'mysql':
        pass
    else:
        print '传入值错误！'
        print '该函数只接收 file、mysql参数'

尝试执行代码试试效果。

if __name__ == '__main__':
    
    url_list=get_url_list('file')
    if url_list:
        '''定义进程池中最大的进程数'''
        pl=Pool(processes=10)
        
        for url in url_list:
            '''去掉换行符'''
            url=url.strip('\n')
            result=pl.apply_async(request_url,(url,))
        pl.close()
        pl.join()