项目部署html
http://blog.51cto.com/ljmict前端
项目部署流程:python
买服务器, 服务器租用mysql
选择操做系统的版本,安装系统nginx
在开发环境中把项目须要的pip包写到一个文件 pip freeze . requirementsweb
.txtredis
把项目上传到服务器sql
部署项目, 安装须要的环境docker
服务器shell
nginx
mysql
redis
uwsgi
celery
docker
网站流量参考
网站流量度量
pv:独立访客
ip:独立ip
uv:独立访客
并发:
每秒响应的最大链接数
web服务器每秒可以接受的用户链接数
web服务器每秒能接受最大用户链接数
web服务器单位时间可以处理的最大链接数
技术栈 Nginx+uwsgi+celery+supervisor
本教程 实现了负载均衡、反向代理、动静分离,还实现了根据客户端设备user-agent进行转发,也就是移动端和PC端访问的页面不同。
服务器:6台VM
操做系统:CentOS7
LB、www、wap:安装Nginx
uwsgi一、uwsgi2:安装nfs-utils、Python3解释器、virtualenv
NFS:安装NFS
MRCS:安装MySQL、Redis、virtualenv
镜像下载地址 http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1804.iso
进入目录
cd /etc/sysconfig/network-scripts/
输入ls查看文件列表, 找到网卡配置文件,以下图,我虚拟机的网卡名称为ens33
编辑
vi
按i进入编辑模式, 编辑ifcfg-ens33文件的最后一行,将ONBOOT=no改成ONBOOT=yes,
按esc退出编辑模式, 输入:wq保存退出
重启network:
$ server network restart
pingi下百度能不能ping通
$ ping www.baidu.com
若是能ping通, 说明网络已经能够链接了
全新安装centos的时候,运行ifconfig准备查看服务器IP的时候, 发现会报错
-bash:command not found
网上搜了下, 缘由多是最小化安装centos等Linux发行版的时候会默认不安装ifconfig等命令
解决的办法: yum安装ifconfig这个包
首先搜索下
$ yum search ifconfig
发现ifconfig所属的命令包是net-tools.x86_64
安装
$ yum install net-tools.x86_64
中途会询问“Is this os [y/d/n]”,按y回车,Complete完成安装。
安装完以后就能够输入ifconfig查看网卡信息了
远程链接centos服务器的时候, 发现有些字符会乱码
在网上搜了下, 发现是默认语言设置的问题. 输入echo $LANG
和locale
查询, 结果以下
修改默认语言, 编辑配置文件
$ vi /etc/locale.conf
添加下面字段, wq保存
LANG=”zh_CN.UTF-8”
应用配置文件, 使其生效
$ source /etc/locale.conf
问题解决
# 更换YUM源,centos默认源是国外的网站,下载会比较慢 curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo yum makecache # 安装编译环境,若是安装过了,就不须要再安装了 yum -y install gcc*
# 查询pcre库是否安装 rpm -qa|grep pcre yum -y install pcre pcre-devel # 安装完以后查询一下是否安装成功,若是可以看到pcre和pcre-devel包就能够了 rpm -qa|grep pcre
# 建立一个software/目录用来放软件包 mkdir -p /opt/software # 建立安装目录 mkdir -p /application/nginx-1.14.0 # 下载nginx安装包 cd /opt/software wget -q http://nginx.org/download/nginx-1.14.0.tar.gz # 建立一个nginx用户 useradd nginx -s /sbin/nologin -M //建立一个nginx用户 # 解压 tar xvf nginx-1.14.0.tar.gz cd nginx-1.14.0 # 安装 ./configure --user=nginx --group=nginx --prefix=/application/nginx-1.14.0 --with-http_stub_status_module --with-http_ssl_module # 若是安装报./configure: error: SSL modules require the OpenSSL library 须要安装openssl-devel,安装完以后再执行一下上一条命令 yum -y install openssl-devel make && make install # 建立软连接是为了之后若是要升级,应用程序中若是有引用Nginx路径,不须要作任何更改,访问的仍是原来的路径/application/nginx ln -s /application/nginx-1.14.0/ /application/nginx # 查看连接状态 ls -l /application/nginx
注意:编译安装Nginx软件时,还可使用./configure --help
查看相关参数帮助
# 启动nginx服务 /application/nginx/sbin/nginx netstat -lntup|grep 80
发现并无成功,缘由是被centos防火墙拦截了, 这个时候, 咱们须要关闭防火墙
CentOS7版本后防火墙默认使用firewalld,所以在CentOS7中关闭防火墙使用如下命令,
# 临时关闭 $ systemctl stop firewalld # 禁止开机启动 $ systemctl disable firewalld Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service. Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.123456
固然,若是安装了iptables-service,也可使用下面的命令,
$ yum install -y iptables-services # 关闭防火墙 $ service iptables stop Redirecting to /bin/systemctl stop iptables.service # 检查防火墙状态 $ service iptables status Redirecting to /bin/systemctl status iptables.service iptables.service - IPv4 firewall with iptables Loaded: loaded (/usr/lib/systemd/system/iptables.service; disabled; vendor preset: disabled) Active: inactive (dead)
从新访问就能成功访问了
0.准备工做
在以前安装好的服务器克隆一个副本
先把CentOS关机, 而后如图所示, 建立完整的克隆, 克隆一个副本
安装NFS服务,须要安装nfs-utils和rpcbind,NFS的RPC服务,在Centos5.X下名称为portmap,在Centos6.X下名称为rcpbind。
1.查询nfs服务和rpc服务是否安装
[root@localhost ~]# rpm -qa|grep nfs [root@localhost ~]# rpm -qa|grep rpcbind
2.使用YUM安装nfs和rpcbind
[root@localhost ~]# yum install -y nfs-utils
3.启动nfs服务,在启动nfs服务以前,必定要先启动rpcbind,而后再启动nfs
[root@localhost ~]# service rpcbind start Redirecting to /bin/systemctl start rpcbind.service
查看rpc信息
[root@localhost ~]# rpcinfo -p localhost program vers proto port service 100000 4 tcp 111 portmapper 100000 3 tcp 111 portmapper 100000 2 tcp 111 portmapper 100000 4 udp 111 portmapper 100000 3 udp 111 portmapper 100000 2 udp 111 portmapper
[root@localhost ~]# service nfs start Starting NFS services: [ OK ] Starting NFS quotas: [ OK ] Starting NFS mountd: [ OK ] Starting NFS daemon: [ OK ] Starting RPC idmapd: [ OK ]
启动nfs服务之后,再查看rpcinfo信息。
[root@localhost ~]# rpcinfo -p program vers proto port service 100000 4 tcp 111 portmapper 100000 3 tcp 111 portmapper 100000 2 tcp 111 portmapper 100000 4 udp 111 portmapper 100000 3 udp 111 portmapper 100000 2 udp 111 portmapper 100011 1 udp 875 rquotad 100011 2 udp 875 rquotad 100011 1 tcp 875 rquotad 100011 2 tcp 875 rquotad 100005 1 udp 35606 mountd 100005 1 tcp 38238 mountd 100005 2 udp 33761 mountd 100005 2 tcp 41083 mountd 100005 3 udp 47608 mountd 100005 3 tcp 35056 mountd 100003 2 tcp 2049 nfs 100003 3 tcp 2049 nfs 100003 4 tcp 2049 nfs 100227 2 tcp 2049 nfs_acl 100227 3 tcp 2049 nfs_acl 100003 2 udp 2049 nfs 100003 3 udp 2049 nfs 100003 4 udp 2049 nfs 100227 2 udp 2049 nfs_acl 100227 3 udp 2049 nfs_acl 100021 1 udp 34627 nlockmgr 100021 3 udp 34627 nlockmgr 100021 4 udp 34627 nlockmgr 100021 1 tcp 46375 nlockmgr 100021 3 tcp 46375 nlockmgr 100021 4 tcp 46375 nlockmgr
4.配置共享目录/share,容许192.168.25.*访问
[root@localhost ~]# mkdir /share //建立共享目录 [root@localhost ~]# ll -d /share/ //查看目录信息 drwxr-xr-x. 2 root root 4096 Dec 30 13:55 /share/ [root@localhost ~]# chown -R nfsnobody:nfsnobody /share/ //更改目录所属用户和所属组 [root@localhost ~]# ll -d /share/ drwxr-xr-x. 2 nfsnobody nfsnobody 4096 Dec 30 13:55 /share/ [root@localhost ~]# vi /etc/exports /share 192.168.25.*(rw,sync) # 添加此字段 wq保存 ///share 192.168.25.* 本机IP网段
5.查看NFS共享目录信息
[root@localhost ~]# showmount -e 192.168.25.231 //本机IP Export list for 192.168.25.231: /share 192.168.25.*
6.NFS客户端挂载共享目录/share
[root@localhost ~]# mount -t nfs 192.168.25.231:/share /mnt [root@localhost ~]# df -h 文件系统 容量 已用 可用 已用% 挂载点 /dev/mapper/centos-root 17G 1.8G 16G 11% / devtmpfs 476M 0 476M 0% /dev tmpfs 488M 0 488M 0% /dev/shm tmpfs 488M 7.9M 480M 2% /run tmpfs 488M 0 488M 0% /sys/fs/cgroup /dev/sda1 1014M 130M 885M 13% /boot tmpfs 98M 0 98M 0% /run/user/0 192.168.25.231:/share 17G 1.8G 16G 11% /mnt
7.NFS客户端排错思路
试客户端与服务端网络是否能否,如在客户端使用ping IP地址
在服务端本身挂载看看是否可以正常挂载
检查服务端防火墙规则,初学者能够选择直接关闭防火墙
8.管理NFS共享目录
exportfs命令能够导出NFS服务器上的共享目录、显示共享目录,或者不导出共享目录。
命令语法:
exportfs [选项][目录]
选项 | 含义 |
---|---|
-a | 导出或不导出全部的目录 |
-v | 显示导出列表的同时,也显示导出选项的列表 |
-u | 不导出指定的目录。当和-a选项一块儿时,不导出全部的目录 |
-f | 指定一个新的导出文件,而不是/etc/exports文件 |
-r | 从新导出全部的目录 |
-o <选项> | 指定导出选项列表 |
查看NFS共享目录信息
showmount [选项][NFS服务器]
选项 | 含义 |
---|---|
-a | 同时显示客户端的主机名或IP地址以及所挂载的目录 |
-e | 显示NFS服务器的导出列表 |
-d | 只显示已经被挂载的NFS共享目录信息 |
9.NFS配置文件权限参数说明
参数名称 | 参数用途 |
---|---|
rw | 共享目录具备读写权限 |
ro | 共享目录具备只读权限 |
sync | 请求或写入数据时,数据同步写入到NFS Server硬盘中。数据安全不会丢,缺点,性能比不启用该参数要差。 |
async | 请求或写入数据时,先返回请求,再将数据写入到内存缓存和硬盘中,即异步写入数据。此参数能够提高NFS性能,可是会下降数据的安全。所以,通常状况下建议不用,若是NFS处于瓶颈状态,而且容许数据丢失的话能够打开此参数提高NFS性能。写入时数据会先到内存缓冲区,等硬盘有空档再写入磁盘,这样能够提高写入效率!风险为若服务器宕机或不正常关机,会损失缓冲区未写入硬盘的数据(解决办法:服务器主板电池或加UPS不间断电源)! |
root_squash | root用户的全部请求映射成如nfsnobody(匿名)用户同样的权限 |
no_root_squash | 关闭root_squash |
all_squash | 映射全部的UID和GID为匿名用户 |
no_all_squash | 保留共享文件的UID和GID(默认) |
anonuid | 指定NFS服务器/etc/passwd文件中匿名用户的UID |
anongid | 指定NFS服务器/etc/passwd文件中匿名用户的GID |
secure | NFS经过1024如下的安全TCP/IP端口发送 |
insecure | NFS经过1024以上的端口发送 |
wdelay | 若是多个用户要写入NFS目录,则归组写入(默认) |
no_wdelay | 若是多个用户要写入NFS目录,则当即写入,当使用async时,不须要设置 |
subtree_check | 若是共享/usr/bin之类的子目录时,强制NFS检查父目录的权限 |
no_subtree_check | 和subtree_check相对,不检查父目录权限 |
hide | 在NFS共享目录中不共享其子目录 |
nohide | 共享NFS目录的子目录 |
mp | 若是它已经成功挂载,那么使得它只导出一个目录 |
fsid | NFS须要可以识别每一个它导出的文件系统。一般状况下它会为文件系统使用一个UUID,或者该设备保持文件系统的设备号 |
在LB(负载均衡)服务器上面配置
(就是第一个建立的那个服务器)
编辑nginx.conf
vi /application/nginx/conf/nginx.conf
文件更改成
若是要写注释, 中文乱码的话, 能够临时配为utf8编码. 在vim的命令模式下输入
:set encoding=utf8
, 就能够输入中文了建议下载下来使用vscode装nginx插件进行编辑会比较方便
# 配置文件内容 worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; # 静态请求服务器池 upstream static_pools { server 192.168.25.150:80 weight=1; } # 动态请求服务器池 upstream dynamic_pool { server 192.168.25.151:8001 weight=1; server 192.168.25.152:8001 weight=1; } # 移动端服务器池 upstream mobile_pools { server 192.168.25.160:80 weight=1; } # 后端api服务器 server { listen 8080; server_name api.meiduo.site; location / { include uwsgi_params; uwsgi_pass dynamic_pool; } access_log off; error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } # 提供前端页面访问 server { listen 80; server_name www.meiduo.site; # 若是访问url为:http://www.meiduo.site/xadmin就交给meiduo池 location /xadmin{ include uwsgi_params; uwsgi_pass dynamic_pool; } # 若是请求url为:http://www.meiduo.site/cheditor就交给meiduo池 location /cheditor{ include uwsgi_params; uwsgi_pass dynamic_pool; } # 请求uri以/开头就交给这个location区块进行处理,例如:/static location / { # 若是客户端设备user_agent为iphone,就交给iphone_pools池 if ($http_user_agent ~* "iphone") { proxy_pass http://mobile_pools; } # PC端访问就交给static_pools池处理 proxy_pass http://static_pools; } access_log off; } }
启动nginx服务
/application/nginx/sbin/nginx
mkdir /project # 配置挂载目录 cat /etc/exports # 配置内容 /share 192.168.25.*(rw,sync) # 重启NFS服务 systemctl restart rpcbind systemctl restart nfs
配置完成以后把项目上传到/project目录里面
在uwsgi1和uwsig2服务器上操做:
# 建立虚拟环境 mkvirtualenv -p python3 meiduo # 切换到meiduo虚拟环境 workon mediuo # 安装uwsgi包 pip install uwsgi mkdir /project # 挂载NFS服务器/project目录到uwsgi服务器的/project mount -t nfs 172.16.1.14:/project /project # 查看当前服务器挂载状况 df -h # 输出 文件系统 容量 已用 可用 已用% 挂载点 /dev/mapper/centos-root 36G 2.4G 33G 7% / devtmpfs 226M 0 226M 0% /dev tmpfs 237M 0 237M 0% /dev/shm tmpfs 237M 8.8M 228M 4% /run tmpfs 237M 0 237M 0% /sys/fs/cgroup /dev/sda1 1014M 143M 872M 15% /boot tmpfs 48M 0 48M 0% /run/user/0 172.16.1.14:/project 17G 1.8G 16G 11% /project # 安装项目中用到的pip包 cd /project/meiduo/meiduo_mall pip install -r requirements.txt # 这个文件是在开发环境中经过pip freeze >requirements.txt生成的 cd /root # 建立uwsgi.ini文件 touch uwsgi.ini
uwsgi1配置
[uwsgi] #使用nginx链接时使用,Django程序所在服务器地址 socket=172.16.1.11:8001 #直接作web服务器使用,Django程序所在服务器地址 #http=172.16.1.11:8000 #项目目录 chdir=/project/meiduo/meiduo_mall #项目中wsgi.py文件的目录,相对于项目目录 wsgi-file=meiduo_mall/wsgi.py # 进程数 processes=4 # 线程数 threads=2 # uwsgi服务器的角色 master=True # 存放进程编号的文件 pidfile=uwsgi.pid # 日志文件,由于uwsgi能够脱离终端在后台运行,日志看不见。咱们之前的runserver是依赖终端的 daemonize=uwsgi.log # 指定依赖的虚拟环境 virtualenv=/root/.virtualenvs/meiduo
uwsgi2配置
[uwsgi] #使用nginx链接时使用,Django程序所在服务器地址 socket=172.16.1.12:8001 #直接作web服务器使用,Django程序所在服务器地址 #http=172.16.1.12:8000 #项目目录 chdir=/project/meiduo/meiduo_mall #项目中wsgi.py文件的目录,相对于项目目录 wsgi-file=meiduo_mall/wsgi.py # 进程数 processes=4 # 线程数 threads=2 # uwsgi服务器的角色 master=True # 存放进程编号的文件 pidfile=uwsgi.pid # 日志文件,由于uwsgi能够脱离终端在后台运行,日志看不见。咱们之前的runserver是依赖终端的 daemonize=uwsgi.log # 指定依赖的虚拟环境 virtualenv=/root/.virtualenvs/meiduo
uwsgi启动命令
# 启动uwsgi服务器 uwsgi --ini uwsgi.ini # 中止uwsgi服务器 uwsgi stop uwsgi.ini
处理PC端静态文件请求
cat nginx.conf # 配置文件 worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; sendfile on; keepalive_timeout 65; server { listen 80; server_name www.meiduo.site; location / { root html/front_end_pc; # 相对路径,把前端文件夹放到Nginx安装路径下html目录下,我这里的路径是/application/nginx/html index index.html index.htm; } access_log logs/access_www.log main; } }
启动nginx服务
/application/nginx/sbin/nginx
处理移动端静态文件请求
cd /application/nginx/html # 由于没有移动端前端页面,因此这里简单建立了一个测试页面 mkdir wap echo "mobile_page" > wap/index.html
Nginx配置
cat nginx.conf worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; sendfile on; keepalive_timeout 65; server { listen 80; server_name www.meiduo.site; location / { root html/wap; # 相对路径,把前端文件夹放到Nginx安装路径下html目录下,我这里的路径是/application/nginx/html index index.html index.htm; } access_log logs/access_www.log main; } }
启动nginx服务
/application/nginx/sbin/nginx
mkdir /project # 挂载NFS服务器/project目录到uwsgi服务器的/project mount -t nfs 172.16.1.14:/project /project # 查看当前服务器挂载状况 df -h # 输出 文件系统 容量 已用 可用 已用% 挂载点 /dev/mapper/centos-root 36G 2.4G 33G 7% / devtmpfs 226M 0 226M 0% /dev tmpfs 237M 0 237M 0% /dev/shm tmpfs 237M 8.8M 228M 4% /run tmpfs 237M 0 237M 0% /sys/fs/cgroup /dev/sda1 1014M 143M 872M 15% /boot tmpfs 48M 0 48M 0% /run/user/0 172.16.1.14:/project 17G 1.8G 16G 11% /project # 建立虚拟环境 mkvirtualenv -p python3 meiduo # 切换到meiduo虚拟环境 workon mediuo # 安装项目中用到的pip包 cd /project/meiduo/meiduo_mall pip install -r requirements.txt # 这个文件是在开发环境中经过pip freeze >requirements.txt生成的
配置supervisor
mkvirtualenv -p python2 supervisor # 这里建立python2的虚拟环境,由于supervisor不支持python3 workon supervisor pip install supervisor # 生成supervisor配置文件 echo_supervisord_conf > /etc/supervisord.conf # 建立日志目录 mkdir /var/log/celery
建立celery.ini文件
cat /etc/celery.ini # 配置内容 [program:celery] # celery命令的绝对路径 command=/root/.virtualenvs/meiduo/bin/celery -A celery_tasks.main worker -l info # 项目路径 directory=/project/meiduo/meiduo_mall # 日志文件路径 stdout_logfile=/var/log/celery/celery.log # 自动重启 autorestart=true # 若是设置为true,进程则会把标准错误输出到supervisord后台的标准输出文件描述符 redirect_stderr=true
修改/etc/supervisord.conf文件
[include] files = celery.ini
supervisor命令
# 以守护进程的形式运行一组应用程序。 supervisord # 更新新的配置到supervisord supervisorctl update # 查看正在守护的进程 supervisorctl
在hosts文件里面添加本地解析
windows系统hosts文件路径:系统盘\windows\system32\drivers\etc
Linux系统和MAC系统hosts文件路径:/etc/hosts
172.16.1.10 www.meiduo.site api.meiduo.site
PC端访问效果