ubuntu下python+tornado+supervisor+nginx部署

因为项目须要，老师让我写一个小web系统，以前都是用java写web，想到本身最近学机器学习要用python，因此用python来写一下，此外，由于想用点新东西，也介于程序比较小，因此考虑用mongodb来存储（没有必要，只是为了接触一下）。

基本架构是这样：（后台语言）python +（web框架和web服务器）tornado + （数据库）mongodb  +（进程管理）supervisor　+  （反向代理）nginx

 

（1）python：我是看廖学峰的python教程　http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000

学了一些基本的语句，而后作的时候不懂再查。

 

（2）tornado：我是看这个教程开始学的http://docs.pythontab.com/tornado/introduction-to-tornado/，英文的官方文档为http://www.tornadoweb.org/en/stable/

tornado用起来特别快，它既能够像spring里转发器那样直接映射请求，又能够像tomcat那样直接监听某个端口的http请求，这些东西tornado都帮咱们作好了，咱们只须要书写get和post方法就能够了。

其它的就和java web里面差很少了。没有springMVC和hibernate的框架，能够本身在python包里面分层controller, service, dao。

 

（3）mongodb：非关系型数据库，对于一张表（mongodb里叫collection集合）的每一行数据（mongodb里叫document文档）没有要求统一相同的字段名，可多可少，良莠不齐。还有一点就是不支持事务，在python中执行多条读写语句的时候无法回滚，因此要本身想办法在程序中防止并发致使的问题。

好比我须要从collection中find一个status为0的document出来并update成1，表明用户正在查看，用户进行修改后，而后设置status为2以后再放回去，在这里0表明未浏览，１表明正在浏览，２表明已修改。这个时候可能不少个用户同时取到了这个status为0的数据，这就违背了咱们的意愿，让不少人对同一个数据进行了修改。能够考虑直接update_one：某个document的status由0改成1而且增多一个惟一字段来标识这个document。而后用这个惟一字段来find到document。这个时候别的用户是没法取到该document的，由于update_one的时候会上锁，别人取不到这条数据。

 

（4）supervisor：supervisor是用python开发的进程管理程序，能够将普通的命令变成后台的守护进程，并监控进程状态。

由于只是简单用一下，因此安装的挺顺利，若是遇到一些棘手问题，建议看看原始文档http://supervisord.org/index.html

1） supervisor-服务启动版

51服务器上，用apt-get install安装后，主配置文件在/etc/supervisor/supervisord.conf下

在/etc/supervisor/conf.d目录下添加子配置文件printprescription.conf，配置示例以下。

[program:printprescription] #设置守护进程名
command = python /home/liaohuqiang/Code/printprescription/main2.py #设置执行命令
autorstart = true #设置随supervisor的启动而启动
stdout_logfile = /home/liaohuqiang/Code/printprescription/printprescription.log　#设置日志路径

 配置完成后，能够开启，关闭和重启supervisor服务。能够用supervisorctl status查看进程状态，还能够在相关日志文件查看错误信息

sudo /etc/init.d/supervisor start sudo /etc/init.d/supervisor stop sudo /etc/init.d/supervisor restart sudo supervisorctl status printprescripton cat /var/log/supervisor/xxx.log

2）supervisor-指令启动版

228和105服务器上supervisor没有配成服务，应该是用easy_install安装的supervisor（官方推荐的安装方式），要本身导入配置文件，经过echo_supervisord_conf >> /etc/supervisor/supervisord.conf创建一个配置文件的样例，而后作相应修改。

没法经过服务来启动关闭，那么须要使用以下指令来开启和关闭，能够用supervisord -h和supervisorctl进入交互式界面后输入help来查看对应的帮助。

supervisord和supervisorctl其实就是python文件，通常装好后都放在python环境的bin目录下，而python的bin通常都被设在环境变量中，因此能够直接在命令行中输入supervisord来执行。能够经过which supervisord找到所在的目录。

启动和关闭supervisor
supervisord
supervisorctl shutdown

查看，启动和关闭进程
supervisorctl status/start/stop/restart 设置的守护进程名

supervisorctl 进入交互模式，能够查看运行的进程状态

3）浏览器控制

另外，在配置文件中添加[inet_http_server]选项组，能够在浏览器中控制supervisor

[inet_http_server]
port=127.0.0.1:9001
username=liaohuqiang
password=123456

4） 启动报错“unix:///tmp/supervisor.sock no such file”

缘由：默认配置中，启动的sock等会放到tmp目录，而tmp目录会自动清理致使没法使用supervisorctl命令，好比重启机子以后。

解决方法：修改配置文件supervisord.conf，全部的/tmp改为/var/run。建立sock而后受权（touch /var/run/supervisor.sock，chmod 777）。最后重启（supervisorctl shutdown而后supervisord）。

 

（5）nginx：nginx用于反向代理，能够监控80端口，把相应的请求转发到别的主机以及别的端口上，这里咱们显示的图片的路径不在tornado的static中（static用来存放js和css等前端静态资源），而是在服务器另外的位置，因此能够经过nginx的转发来获取图片。另外一方面，通常不会暴露其它端口（好比tornado监听的8001端口）给用户，因此用nginx来转发。此外，location /static/指令告诉nginx直接提供静态目录文件，而再也不代理请求到tornado，nginx能够比tornado更高效地提供静态文件。

1）nginx-服务启动版

安装好nginx后，查看相关配置文件，51服务器放在/etc/nginx/nginx.conf中，在里面发现这一句：include /etc/nginx/sites-enabled/*，因而能够在这个目录下新建子配置文件进行配置

cat /etc/nginx/nginx.conf
sudo touch /etc/nginx/sites-enabled/default2

 

配置示例以下，须要注意的是最下面的http://127.0.0.1:8001/　这里最后一个斜杠若是不打，实际上会加上上面的printprescription，用户访问”主机/printprescription"就至关于访问"主机:8001/printprescription“了，因为本身在tornado上映射的是主机:8001/的请求，因此这个时候会出现404。

配置完成后sudo service nginx restart从新加载配置

  upstream frontends {
      server 222.222.222.222:8000;
      server 222.222.222.222:8001;
  }
  
  server {
      listen 80;
  
      location / {
         proxy_read_timeout 1800;
         proxy_pass_header Server;
         proxy_set_header Host $http_host;
         proxy_redirect off;
         proxy_set_header X-Real-IP $remote_addr;
         proxy_set_header X-Scheme $scheme;
         proxy_pass http://frontends;
     }
 
    location /doctorAfter/ {　　#配置图片路径
         root /home/wenserver;
    }
 
    location /static/ {　　#配置前端静态资源路径
         root /home/xxx/Code/printprescription/view;
    }
 
    location /printprescription/ {
         proxy_read_timeout 1800;
         proxy_pass_header Server;
         proxy_set_header Host $http_host;
         proxy_redirect off;
         proxy_set_header X-Real-IP $remote_addr;
         proxy_set_header X-Scheme $scheme;
         proxy_pass http://127.0.0.1:8001/;
     }
 
 }

 

2）nginx-指令启动版

105服务器上的nginx放在/usr/local/nginx/下

主配置文件放在/usr/local/nginx/conf/nginx.conf下，查看里面的include来肯定子配置文件位置

子配置文件的配置同上，不过启动服务的时候要cd到/usr/local/nginx/sbin下来启动nginx

./nginx              启动（默认以nginx目录下conf/nginx.conf配置文件启动)

./nginx -s reload    重载配置文件
./nginx -s stop      马上中止
./nginx -s quit      完整有序地中止
./nginx -s reopen    重开nginx


./nginx -h             查看指令帮助
./nginx -c 配置文件位置  根据指定位置的配置文件，进行启动
./nginx -t             检查配置文件是否有问题

 

（6）日志文件

日志文件通常放在/var/log下。

1）像supervisor的主日志放在/var/log/supervisor/supervisord.log

2）配置的tornado日志放在/var/log/tornado/tornado.log

（51服务器上设在了别的位置，当时只是写个小程序，没考虑规范和统一，具体位置看supervisor的配置文件就知道了）

（228服务器，师兄放在了/var/log/tornado.log，由于tornado.log会在本目录产生不少备份日志，这么放会致使/var/log下太多乱七八糟的日志，估计是当初都没考虑太多随意放了）

3）配置的ngnix日志放在了/var/log/nginx/access.log和/var/log/nginx/error.log

 

（7）opencv：一个计算机视觉库，实现了图像处理和计算机视觉方面的不少通用算法。因为以前采集数据的时候在处方图片数据中混杂了人脸图片，因此采用oepncv里的算法检测人脸，若是是人脸则删除该记录。然而仍是会残留一些人脸图片，须要人工清洗，这个数据以前有师兄清洗过，到时候拿过来重构一下数据库。