CentOS 下部署Nginx+Gunicorn+Supervisor部署Flask项目

时间  2019-11-21
标签 centos 部署 nginx+gunicorn+supervisor nginx gunicorn supervisor flask 项目 栏目 CentOS 繁體版
原文   原文链接
本来以前有一部分东西是在Windows Server，可是因为Gunicorn不支持Windows部署起来颇为麻烦。最近转战CentOS,折腾一段时间，终于简单部署成功。CentOS新手，做为一个总结和整理，错漏不免。
 
首先，须要明确上述几个模块各自的 做用（由于之前在windows的IIS就颇为简单，只须要在IIS建站，经过fastCGI处理php文件便可，因此对于CentOS部署中的各个package，理解其各自的做用尤其关键）：
  1. 在Flask框架下，直接运行app便可利用localhost进行访问，可是该解析器仅仅适用于调试, 能够说比较简陋，不能直接在生产环境中使用。由于其实单线程处理，一个请求没有结束，其余的请求全都进不来，因此须要Gunicorn的多进程来提高处理能力. 关于Flask的调试，我利用Chrome的Advanced Rest clien进行api调试
         2. Gunicorn:基于Python的WSGI Server（UNIX） 可以处理请求并交给Flask的app去处理而后进行返回。
  1. Nginx: 其实刚看到Gunicorn，已经可以处理http请求了，为何还须要它呢？一句话：性能和可拓展性。可能你只是一台server，只是简单的套一个Nginx而且不进行配置，可能用处真的不大，不过考虑到 （参考：https://www.zhihu.com/question/38528616）：
    • 静态文件： Nginx能够直接处理静态文件请求，那么经过配置让Nginx直接处理静态文件。
    • Hold住并发：Nginx可能并不能提高处理能力，可是在一些高并发的场景下，经过nginx保持住请求能够为后端处理赢取时间而不是直接挂掉。由Nginx来缓存发起的请求直到请求接收彻底再交给Gunicorn去处理，避免Gunicorn处理请求和响应到客户端的时间消耗，提高Gunicorn的处理能力。
    • 负载均衡：这个在单服务器下可能用处不大，可是谁保不会拓展到多服务器，那么利用Nginx对请求进行分发实现反向负载均衡就意义重大了。
    • 多域名处理：经过Nginx的分发，能够在一台服务器上挂多个域名，以避免80端口冲突：即Nginx占用80并分发不一样的请求到不一样的内部端口。
    • 访问控制，限流等，我暂时没有用到
  2. Supervisor: 利用它，对Gunicorn的进程进行管理。例如CentOS重启的状况，咱们天然须要Gunicorn自动开始运行提供服务而不是每次重启都要手动输入再去启动一遍。
 
部署流程：
 
1.根据须要，在CentOS上利用yum安装你的服务所须要的基本环境而且进行配置, 对我来说:
  • Mysql: 数据持久化和一致性的存储的关系数据库
  • Redis:  我只是利用其作cache（以前用的Memcached）
  • Git: 用来作版本控制，同时方便本机开发的东西从hub上clone和pull
  • Anaconda: 我利用conda来进行虚拟环境管理 （能够利用virtualenv， 总之就是为了防止你不一样的项目（不一样的版本）之间不一样的python库的相互干扰，利用conda/virtualenv来隔离不一样的运行环境）
  • 各类环境的安装细节我就不表了，善用搜索引擎。
这一步中可能出现的bugs比较多，善用系统反馈给你的提示和搜索引擎。
 
2.从Git中心Clone你本身的项目到服务器本地, 而后利用你的project中的model生成数据库，同时配置你的配置文件（例如数据库参数，redis参数等等），同时创建项目的Vitualenv，而后安装项目的依赖项到该虚拟环境！！（不要全局安装） 
#for conda
source activate my_project_env
conda install -r requirements.txt
 
#for virtualenv
activate my_project_env
pip install -r requirements.txt
安装完项目须要的环境，配合数据库和缓存都作好，这个时候应该已经能够利用 python app.py (激活了my_project_env的状况下)来经过Flask本身的server提供测试级别的服务，就像在本地测试那样测试你的项目是否OK.
此步中若是requirements.txt中可能没有包含的packages, 直接安装解决冲突就行了。
 
3.安装Gunicorn （安装细节不表）， 安装了Gunicorn后，利用
  
gunicorn -w 4 -b 0.0.0.0:8080 run:app
# -w： worker 表示能够处理的进程数 至关于 --worker=4
# -b: bind 就是绑定到哪一个屁和端口，0.0.0.0表示能够用服务器的ip访问
# run: 表示run.py app表示Flask application. 
# 此条命令须要在run.py目录下执行，不然须要指明run的路径例如/home/leslie/flask_proj/run:app
 
能够利用服务器或者Advanced RESTFul  client 进行测试了， your-IP:8080
 
4.Nginx的配置
这一步是比较麻烦的，此前的步骤无非就是package的缺失和冲突。而Nginx的配置就须要手动改一些参数了，须要理解。
Nginx的配置文件，存在CentOS的 /etc/nginx/nginx.conf: （关于CentOS下怎么改文档，能够用VIM（ https://coolshell.cn/articles/5426.html）或者nano，若是利用windows生成的文档可能会形成换行符的错误，请利用notepad++先转成Unix格式文档再上传）
server {
    listen       80;     # nginx监听的端口
    server_name  _;   
    location / {
        proxy_pass http://127.0.0.1:8080;    # 表名nginx接收到请求去哪里找gunicorn的服务
        proxy_redirect off;
        proxy_set_header Host $host:80;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}
注意：该配置文件中有 include：  /etc/nginx/conf.d/default.conf  # 因此配置哪一个应该都是能够的。 
service nginx start/stop/restart/reload/status   

#check status: ps -aux | grep nginx
Nginx配置完毕并开启后，应该就能够直接用ip访问了，不须要再指定端口8080了，
至关于 request----->nginx------>gunicorn---->Flask
Flask + Gunicorn + Nginx 部署这位同窗的例子很形象：
(nginx收到客户端发来的请求，根据nginx中配置的路由，将其转发给WSGI)
 
nginx："WSGI，找你的来了！"
 
(WSGI服务器根据WSGI协议解析请求，配置好环境变量，调用start_response方法呼叫flask框架)
 
WSGI服务器："flask,快来接客，客户资料我都给你准备好了！"
 
(flask根据env环境变量，请求参数和路径找到对应处理函数，生成html)
 
flask："!@#$%^......WSGI，html文档弄好了，拿去吧。"
 
(WSGI拿到html，再组装根据env变量组装成一个http响应，发送给nginx)
 
WSGI服务器："nginx,刚才谁找我来着？回他个话，!@#$%^....."
 
(nginx再将响应发送给客户端)
 
5. Supervisor
最后是经过基于python的supervisor来管理gunicorn的开机启动了（固然nginx也要开机启动），首先利用conda或者pip安装Supervisor （注意Supervisor目前不支持python3，可能须要创建2.7的环境来安装）：
Supervisor的配置有几个步骤：
  • 配置supervisor启动Gunicorn来提供Flask的服务
  • 配置Supervisor的开机启动，从而实现重启后你的web继续提供服务
具体步骤主要参考这两篇，不过在个人实践中，这两篇各有一些小问题，不过综合起来就差很少了：
  • 安装supervisor(pip or conda)
###生成一个supervisord服务的配置文件
echo_supervisord_conf > supervisord.conf
###将配置文件统一放在/etc下
cp  supervisord.conf  /etc/supervisord .conf
 
###  修改配置文件
vi  /etc/supervisord .conf
 
##加入如下配置信息,
[include]
files =  /etc/supervisord .d/*.conf  
 
###为了避免将全部新增配置信息全写在一个配置文件里
### 每一个配置信息新增一个配置文件，都会被上面那个include添加进去
mkdir  /etc/supervisord .d/
 
### 在此目录下增长本app的conf
sudo vi /etc/supervisord.d/my_flask.conf
 
#加入, 注意其中的路径和用户名：
[program:my_flask_app]
directory=/home/leslie/flask-project-directory 
command=/your-gunicorn-whole-path-here/gunicorn app:app -b 127.0.0.1:8080 --workers 8 --max-requests 1000
user=leslie
autostart=true
autorestart=true
redirect_stderr=True
  • 建立supervisor做为一个service的启动脚本（ 位置/etc/init.d/supervisord ）：
#!/bin/sh
#
# /etc/init.d/supervisord
#
# Supervisor is a client/server system that
# allows its users to monitor and control a
# number of processes on UNIX-like operating
# systems.
#
# chkconfig: - 64 36
# description: Supervisor Server
# processname: supervisord
 
# Source init functions
.  /etc/rc .d /init .d /functions
 
prog= "supervisord"
 
prefix= "/usr/leslie"
exec_prefix= "${prefix}"
prog_bin= "${exec_prefix}/your-path-of-supervisor/bin/supervisord"
# PIDFILE= "/var/run/$prog.pid"  # 博客推荐的这个设置对我来讲不行，我检查本身的supervisord.conf发现pidfile在tmp
PIDFILE="/tmp/$prog.pid"    
CONF= "/etc/supervisord.conf"   # 让启动的时候知道去哪里找配置文件 文章2没有这个
 
start()
{
        echo  -n $ "Starting $prog: "
        ###注意下面这一行必定得有-c /etc/supervisord.conf 
        daemon $prog_bin -c $CONF  --pidfile $PIDFILE
        [ -f $PIDFILE ] && success $ "$prog startup"  || failure $ "$prog startup"
        echo
}
 
stop()
{
        echo  -n $ "Shutting down $prog: "
        [ -f $PIDFILE ] && killproc $prog || success $ "$prog shutdown"
        echo
}
 
case  "$1"  in
 
  start)
    start
  ;;
 
  stop)
    stop
  ;;
 
  status)
        status $prog
  ;;
 
  restart)
    stop
    start
  ;;
 
  *)
    echo  "Usage: $0 {start|stop|restart|status}"
  ;;
 
esac
  • 而后加入该service到centos的启动项并启动
sudo chmod +x /etc/rc.d/init.d/supervisord 
sudo chkconfig --add supervisord
sudo chkconfig supervisord on 
sudo service supervisord start
  • 就能够查看了：
ps -ef | grep supervisord
## 同时也能够有service supervisord restart/stop/stats

 

此步中可能出现的问题： 
ps -ef | grep supervisord   # 经过这个来得到supervisord的进程pid 而后杀掉以前的进程后再启动。
kill (-s SIGTERM) pid
---- supervisor须要python2的环境，而项目多是不一样的环境，因此在较多配置的时候都须要显式的指定路径。
---- syntax error near unexpected token 之类的问题极可能是脚本的问题（好比以前提到window上编辑形成的行位标识符的区别）
---- service supervisord start 时候出现 “No such file or directory error”:
   a.请不要太相信你本身的输入，请多检查！！我由于吧directory写成了derectory（对vi不太熟的时候）这个问题困扰了好久。
   b.此问题也可能来源与/etc/init.d/service_script的符号，例如windows建立的问题。。 详细可见：（ Starting service on Linux throws a No such file or directory error  
 
 
 
6 TODO: 
----利用fabric部署？
----http--->https
 
 
更多参考：
相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程