在过去的五年里,Web开发人员的可用工具实现了跨越式地增加。当技术专家不断推进极限,使Web应用无处不在时,咱们也不得不升级咱们的工具、建立框架以保证构建更好的应用。咱们但愿可以使用新的工具,方便咱们写出更加整洁、可维护的代码,使部署到世界各地的用户时拥有高效的可扩展性。html
这就让咱们谈论到Tornado,一个编写易建立、扩展和部署的强力Web应用的梦幻选择。咱们三个都由于Tornado的速度、简单和可扩展性而深深地爱上了它,在一些我的项目中尝试以后,咱们将其运用到平常工做中。咱们已经看到,Tornado在不少大型或小型的项目中提高了开发者的速度(和乐趣!),同时,其鲁棒性和轻量级也给开发者一次又一次留下了深入的印象。python
本书的目的是对Tornado Web服务器进行一个概述,经过框架基础、一些示例应用和真实世界使用的最佳实践来引导读者。咱们将使用示例来详细讲解Tornado如何工做,你能够用它作什么,以及在构建本身第一个应用时要避免什么。git
在本书中,咱们假定你对Python已经有了粗略的了解,知道Web服务如何运做,对数据库有必定的熟悉。有一些不错的书籍能够为你深刻了解这些提供参考(好比Learning Python,Restful Web Service和MongoDB: The Definitive Guide)。程序员
你能够在Github上得到本书中示例的代码。若是你有关于这些示例或其余方面的任何思想,欢迎在那里告诉咱们。github
因此,事不宜迟,让咱们开始深刻了解吧!web
Tornado是使用Python编写的一个强大的、可扩展的Web服务器。它在处理严峻的网络流量时表现得足够强健,但却在建立和编写时有着足够的轻量级,并可以被用在大量的应用和工具中。正则表达式
咱们如今所知道的Tornado是基于Bret Taylor和其余人员为FriendFeed所开发的网络服务框架,当FriendFeed被Facebook收购后得以开源。不一样于那些最多只能达到10,000个并发链接的传统网络服务器,Tornado在设计之初就考虑到了性能因素,旨在解决C10K问题,这样的设计使得其成为一个拥有很是高性能的框架。此外,它还拥有处理安全性、用户验证、社交网络以及与外部服务(如数据库和网站API)进行异步交互的工具。shell
基于线程的服务器,如Apache,为了传入的链接,维护了一个操做系统的线程池。Apache会为每一个HTTP链接分配线程池中的一个线程,若是全部的线程都处于被占用的状态而且尚有内存可用时,则生成一个新的线程。尽管不一样的操做系统会有不一样的设置,大多数Linux发布版中都是默认线程堆大小为8MB。Apache的架构在大负载下变得不可预测,为每一个打开的链接维护一个大的线程池等待数据极易迅速耗光服务器的内存资源。数据库
大多数社交网络应用都会展现实时更新来提醒新消息、状态变化以及用户通知,这就要求客户端须要保持一个打开的链接来等待服务器端的任何响应。这些长链接或推送请求使得Apache的最大线程池迅速饱和。一旦线程池的资源耗尽,服务器将不能再响应新的请求。浏览器
异步服务器在这一场景中的应用相对较新,但他们正是被设计用来减轻基于线程的服务器的限制的。当负载增长时,诸如Node.js,lighttpd和Tornodo这样的服务器使用协做的多任务的方式进行优雅的扩展。也就是说,若是当前请求正在等待来自其余资源的数据(好比数据库查询或HTTP请求)时,一个异步服务器能够明确地控制以挂起请求。异步服务器用来恢复暂停的操做的一个常见模式是当合适的数据准备好时调用回调函数。咱们将会在第五章讲解回调函数模式以及一系列Tornado异步功能的应用。
自从2009年9月10日发布以来,TornadoTornado已经得到了不少社区的支持,而且在一系列不一样的场合获得应用。除FriendFeed和Facebook外,还有不少公司在生产上转向Tornado,包括Quora、Turntable.fm、Bit.ly、Hipmunk以及MyYearbook等。
总之,若是你在寻找你那庞大的CMS或一体化开发框架的替代品,Tornado可能并非一个好的选择。Tornado并不须要你拥有庞大的模型创建特殊的方式,或以某种肯定的形式处理表单,或其余相似的事情。它所作的是让你可以快速简单地编写高速的Web应用。若是你想编写一个可扩展的社交应用、实时分析引擎,或RESTful API,那么简单而强大的Python,以及Tornado(和这本书)正是为你准备的!
在大部分*nix系统中安装Tornado很是容易--你既能够从PyPI获取(并使用easy_install
或pip
安装),也能够从Github上下载源码编译安装,以下所示[1]:
$ curl -L -O https://github.com/facebook/tornado/archive/v3.1.0.tar.gz $ tar xvzf v3.1.0.tar.gz $ cd tornado-3.1.0 $ python setup.py build $ sudo python setup.py install
Tornado官方并不支持Windows,但你能够经过ActivePython的PyPM包管理器进行安装,相似以下所示:
C:\> pypm install tornado
一旦Tornado在你的机器上安装好,你就能够很好的开始了!压缩包中包含不少demo,好比创建博客、整合Facebook、运行聊天服务等的示例代码。咱们稍后会在本书中经过一些示例应用逐步讲解,不过你也应该看看这些官方demo。
本书中的代码假定你使用的是基于Unix的系统,而且使用的是Python2.6或2.7版本。若是是这样,你就不须要任何除了Python标准库以外的东西。若是你的Python版本是2.5或更低,在安装pycURL、simpleJSON和Python开发头文件后能够运行Tornado。[2]
对于问题、示例和通常的指南,Tornado官方文档是个不错的选择。在tornadoweb.org上有大量的例子和功能缺陷,更多细节和变动能够在Tornado在Github上的版本库中看到。而对于更具体的问题,能够到Tornado的Google Group中咨询,那里有不少活跃的平常使用Tornado的开发者。
既然咱们已经知道了Tornado是什么了,如今让咱们看看它能作什么吧。咱们首先从使用Tornado编写一个简单的Web应用开始。
Tornado是一个编写对HTTP请求响应的框架。做为程序员,你的工做是编写响应特定条件HTTP请求的响应的handler。下面是一个全功能的Tornado应用的基础示例:
import tornado.httpserver import tornado.ioloop import tornado.options import tornado.web from tornado.options import define, options define("port", default=8000, help="run on the given port", type=int) class IndexHandler(tornado.web.RequestHandler): def get(self): greeting = self.get_argument('greeting', 'Hello') self.write(greeting + ', friendly user!') if __name__ == "__main__": tornado.options.parse_command_line() app = tornado.web.Application(handlers=[(r"/", IndexHandler)]) http_server = tornado.httpserver.HTTPServer(app) http_server.listen(options.port) tornado.ioloop.IOLoop.instance().start()
编写一个Tornado应用中最多的工做是定义类继承Tornado的RequestHandler类。在这个例子中,咱们建立了一个简单的应用,在给定的端口监听请求,并在根目录("/")响应请求。
你能够在命令行里尝试运行这个程序以测试输出:
$ python hello.py --port=8000
如今你能够在浏览器中打开http://localhost:8000,或者打开另外一个终端窗口使用curl测试咱们的应用:
$ curl http://localhost:8000/ Hello, friendly user! $ curl http://localhost:8000/?greeting=Salutations Salutations, friendly user!
让咱们把这个例子分红小块,逐步分析它们:
import tornado.httpserver import tornado.ioloop import tornado.options import tornado.web
在程序的最顶部,咱们导入了一些Tornado模块。虽然Tornado还有另一些有用的模块,但在这个例子中咱们必须至少包含这四个模块。
from tornado.options import define, options define("port", default=8000, help="run on the given port", type=int)
Tornado包括了一个有用的模块(tornado.options)来从命令行中读取设置。咱们在这里使用这个模块指定咱们的应用监听HTTP请求的端口。它的工做流程以下:若是一个与define语句中同名的设置在命令行中被给出,那么它将成为全局options的一个属性。若是用户运行程序时使用了--help
选项,程序将打印出全部你定义的选项以及你在define函数的help参数中指定的文本。若是用户没有为这个选项指定值,则使用default的值进行代替。Tornado使用type参数进行基本的参数类型验证,当不合适的类型被给出时抛出一个异常。所以,咱们容许一个整数的port参数做为options.port来访问程序。若是用户没有指定值,则默认为8000。
class IndexHandler(tornado.web.RequestHandler): def get(self): greeting = self.get_argument('greeting', 'Hello') self.write(greeting + ', friendly user!')
这是Tornado的请求处理函数类。当处理一个请求时,Tornado将这个类实例化,并调用与HTTP请求方法所对应的方法。在这个例子中,咱们只定义了一个get方法,也就是说这个处理函数将对HTTP的GET请求做出响应。咱们稍后将看到实现不止一个HTTP方法的处理函数。
greeting = self.get_argument('greeting', 'Hello')
Tornado的RequestHandler类有一系列有用的内建方法,包括get_argument,咱们在这里从一个查询字符串中取得参数greeting的值。(若是这个参数没有出如今查询字符串中,Tornado将使用get_argument的第二个参数做为默认值。)
self.write(greeting + ', friendly user!')
RequestHandler的另外一个有用的方法是write,它以一个字符串做为函数的参数,并将其写入到HTTP响应中。在这里,咱们使用请求中greeting参数提供的值插入到greeting中,并写回到响应中。
if __name__ == "__main__": tornado.options.parse_command_line() app = tornado.web.Application(handlers=[(r"/", IndexHandler)])
这是真正使得Tornado运转起来的语句。首先,咱们使用Tornado的options模块来解析命令行。而后咱们建立了一个Tornado的Application类的实例。传递给Application类__init__方法的最重要的参数是handlers。它告诉Tornado应该用哪一个类来响应请求。立刻咱们讲解更多相关知识。
http_server = tornado.httpserver.HTTPServer(app) http_server.listen(options.port) tornado.ioloop.IOLoop.instance().start()
从这里开始的代码将会被反复使用:一旦Application对象被建立,咱们能够将其传递给Tornado的HTTPServer对象,而后使用咱们在命令行指定的端口进行监听(经过options对象取出。)最后,在程序准备好接收HTTP请求后,咱们建立一个Tornado的IOLoop的实例。
让咱们再看一眼hello.py示例中的这一行:
app = tornado.web.Application(handlers=[(r"/", IndexHandler)])
这里的参数handlers很是重要,值得咱们更加深刻的研究。它应该是一个元组组成的列表,其中每一个元组的第一个元素是一个用于匹配的正则表达式,第二个元素是一个RequestHanlder类。在hello.py中,咱们只指定了一个正则表达式-RequestHanlder对,但你能够按你的须要指定任意多个。
Tornado在元组中使用正则表达式来匹配HTTP请求的路径。(这个路径是URL中主机名后面的部分,不包括查询字符串和碎片。)Tornado把这些正则表达式看做已经包含了行开始和结束锚点(即,字符串"/"被看做为"^/$")。
若是一个正则表达式包含一个捕获分组(即,正则表达式中的部分被括号括起来),匹配的内容将做为相应HTTP请求的参数传到RequestHandler对象中。咱们将在下个例子中看到它的用法。
例1-2是一个咱们目前为止看到的更复杂的例子,它将介绍更多Tornado的基本概念。
import textwrap import tornado.httpserver import tornado.ioloop import tornado.options import tornado.web from tornado.options import define, options define("port", default=8000, help="run on the given port", type=int) class ReverseHandler(tornado.web.RequestHandler): def get(self, input): self.write(input[::-1]) class WrapHandler(tornado.web.RequestHandler): def post(self): text = self.get_argument('text') width = self.get_argument('width', 40) self.write(textwrap.fill(text, int(width))) if __name__ == "__main__": tornado.options.parse_command_line() app = tornado.web.Application( handlers=[ (r"/reverse/(\w+)", ReverseHandler), (r"/wrap", WrapHandler) ] ) http_server = tornado.httpserver.HTTPServer(app) http_server.listen(options.port) tornado.ioloop.IOLoop.instance().start()
如同运行第一个例子,你能够在命令行中运行这个例子使用以下的命令:
$ python string_service.py --port=8000
这个程序是一个通用的字符串操做的Web服务端基本框架。到目前为止,你能够用它作两件事情。其一,到/reverse/string
的GET请求将会返回URL路径中指定字符串的反转形式。
$ curl http://localhost:8000/reverse/stressed desserts $ curl http://localhost:8000/reverse/slipup pupils
其二,到/wrap
的POST请求将从参数text中取得指定的文本,并返回按照参数width指定宽度装饰的文本。下面的请求指定一个没有宽度的字符串,因此它的输出宽度被指定为程序中的get_argument的默认值40个字符。
$ http://localhost:8000/wrap -d text=Lorem+ipsum+dolor+sit+amet,+consectetuer+adipiscing+elit. Lorem ipsum dolor sit amet, consectetuer adipiscing elit.
字符串服务示例和上一节示例代码中大部分是同样的。让咱们关注那些新的代码。首先,让咱们看看传递给Application构造函数的handlers参数的值:
app = tornado.web.Application(handlers=[ (r"/reverse/(\w+)", ReverseHandler), (r"/wrap", WrapHandler) ])
在上面的代码中,Application类在"handlers"参数中实例化了两个RequestHandler类对象。第一个引导Tornado传递路径匹配下面的正则表达式的请求:
/reverse/(\w+)
正则表达式告诉Tornado匹配任何以字符串/reverse/开始并紧跟着一个或多个字母的路径。括号的含义是让Tornado保存匹配括号里面表达式的字符串,并将其做为请求方法的一个参数传递给RequestHandler类。让咱们检查ReverseHandler的定义来看看它是如何工做的:
class ReverseHandler(tornado.web.RequestHandler): def get(self, input): self.write(input[::-1])
你能够看到这里的get方法有一个额外的参数input。这个参数将包含匹配处理函数正则表达式第一个括号里的字符串。(若是正则表达式中有一系列额外的括号,匹配的字符串将被按照在正则表达式中出现的顺序做为额外的参数传递进来。)
如今,让咱们看一下WrapHandler的定义:
class WrapHandler(tornado.web.RequestHandler): def post(self): text = self.get_argument('text') width = self.get_argument('width', 40) self.write(textwrap.fill(text, int(width)))
WrapHandler类处理匹配路径为/wrap
的请求。这个处理函数定义了一个post方法,也就是说它接收HTTP的POST方法的请求。
咱们以前使用RequestHandler对象的get_argument方法来捕获请求查询字符串的的参数。一样,咱们也可使用相同的方法来得到POST请求传递的参数。(Tornado能够解析URLencoded和multipart结构的POST请求)。一旦咱们从POST中得到了文本和宽度的参数,咱们使用Python内建的textwrap模块来以指定的宽度装饰文本,并将结果字符串写回到HTTP响应中。
到目前为止,咱们已经了解了RequestHandler对象的基础:如何从一个传入的HTTP请求中得到信息(使用get_argument和传入到get和post的参数)以及写HTTP响应(使用write方法)。除此以外,还有不少须要学习的,咱们将在接下来的章节中进行讲解。同时,还有一些关于RequestHandler和Tornado如何使用它的只是须要记住。
截止到目前讨论的例子,每一个RequestHandler类都只定义了一个HTTP方法的行为。可是,在同一个处理函数中定义多个方法是可能的,而且是有用的。把概念相关的功能绑定到同一个类是一个很好的方法。好比,你可能会编写一个处理函数来处理数据库中某个特定ID的对象,既使用GET方法,也使用POST方法。想象GET方法来返回这个部件的信息,而POST方法在数据库中对这个ID的部件进行改变:
# matched with (r"/widget/(\d+)", WidgetHandler) class WidgetHandler(tornado.web.RequestHandler): def get(self, widget_id): widget = retrieve_from_db(widget_id) self.write(widget.serialize()) def post(self, widget_id): widget = retrieve_from_db(widget_id) widget['foo'] = self.get_argument('foo') save_to_db(widget)
咱们到目前为止只是用了GET和POST方法,但Tornado支持任何合法的HTTP请求(GET、POST、PUT、DELETE、HEAD、OPTIONS)。你能够很是容易地定义上述任一种方法的行为,只须要在RequestHandler类中使用同名的方法。下面是另外一个想象的例子,在这个例子中针对特定frob ID的HEAD请求只根据frob是否存在给出信息,而GET方法返回整个对象:
# matched with (r"/frob/(\d+)", FrobHandler) class FrobHandler(tornado.web.RequestHandler): def head(self, frob_id): frob = retrieve_from_db(frob_id) if frob is not None: self.set_status(200) else: self.set_status(404) def get(self, frob_id): frob = retrieve_from_db(frob_id) self.write(frob.serialize())
从上面的代码能够看出,你可使用RequestHandler类的set_status()方法显式地设置HTTP状态码。然而,你须要记住在某些状况下,Tornado会自动地设置HTTP状态码。下面是一个经常使用状况的纲要:
Tornado会在HTTP请求的路径没法匹配任何RequestHandler类相对应的模式时返回404(Not Found)响应码。
若是你调用了一个没有默认值的get_argument函数,而且没有发现给定名称的参数,Tornado将自动返回一个400(Bad Request)响应码。
若是传入的请求使用了RequestHandler中没有定义的HTTP方法(好比,一个POST请求,可是处理函数中只有定义了get方法),Tornado将返回一个405(Methos Not Allowed)响应码。
当程序遇到任何不能让其退出的错误时,Tornado将返回500(Internal Server Error)响应码。你代码中任何没有捕获的异常也会致使500响应码。
若是响应成功,而且没有其余返回码被设置,Tornado将默认返回一个200(OK)响应码。
当上述任何一种错误发生时,Tornado将默认向客户端发送一个包含状态码和错误信息的简短片断。若是你想使用本身的方法代替默认的错误响应,你能够重写write_error方法在你的RequestHandler类中。好比,代码清单1-3是hello.py示例添加了常规的错误消息的版本。
import tornado.httpserver import tornado.ioloop import tornado.options import tornado.web from tornado.options import define, options define("port", default=8000, help="run on the given port", type=int) class IndexHandler(tornado.web.RequestHandler): def get(self): greeting = self.get_argument('greeting', 'Hello') self.write(greeting + ', friendly user!') def write_error(self, status_code, **kwargs): self.write("Gosh darnit, user! You caused a %d error." % status_code) if __name__ == "__main__": tornado.options.parse_command_line() app = tornado.web.Application(handlers=[(r"/", IndexHandler)]) http_server = tornado.httpserver.HTTPServer(app) http_server.listen(options.port) tornado.ioloop.IOLoop.instance().start()
当咱们尝试一个POST请求时,会获得下面的响应。通常来讲,咱们应该获得Tornado默认的错误响应,但由于咱们覆写了write_error,咱们会获得不同的东西:
$ curl -d foo=bar http://localhost:8000/ Gosh darnit, user! You caused a 405 error.