线上问题排查，这些命令你必定用获得！

原文： 线上问题排查，这些命令你必定用获得！

1、了解机器链接数状况

问题：1.2.3.4的sshd的监听端口是22，如何统计1.2.3.4的sshd服务各类链接状态(TIME_WAIT/ CLOSE_WAIT/ ESTABLISHED)的链接数。

常见方法：

• netstat -n | grep 1.2.3.4:22 | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’
• netstat -lnpta | grep ssh | egrep “TIME_WAIT | CLOSE_WAIT | ESTABLISHED”
• n [仅限于阿里云]

说明：netstat是追查网络链接问题经常使用工具，和grep/awk结合更是神器，固然若是在阿里云上，还有更方便的方法。

2、从已经备份好的日志中查询数据

问题：从已备份的suyun.2019-06-26.log.bz2日志中，找出包含关键字1.2.3.4的日志有多少条。

常见方法：

• bzcat suyun.2019-06-26.log.bz2 | grep '1.2.3.4' | wc -l
• bzgrep '1.2.3.4' suyun.2019-06-26.log.bz2 | wc -l
• less suyun.2019-06-26.log.bz2 | grep '10.37.9.11' | wc -l

说明：线上日志文件通常以bz2 压缩以后保留，若是解压查询，很是耗空间与时间，bzcat和bzgrep是研发同窗必须掌握的工具。

3、备份服务的技巧

问题：打包备份/opt/web/suyun_web目录，排除掉目录中的logs和目录，打包好的文件存放在/opt/backup目录下。

常见方法： tar -zcvf /opt/backup/shenjian.tar.gz \ -exclude /opt/web/suyun_web/logs \ /opt/web/suyun_web

说明：这个命令线上应用较为频繁，在项目须要打包迁移时，经常须要排除掉日志目录，exclude是须要掌握的参数。

4、查询线程数

问题：查询服务器运行服务的总线程数，当机器线程数超报警阀值时，能快速查出相关进程及线程信息。

参考答案：

• ps -eLf | wc -l
• pstree -p | wc -l

5、磁盘报警，清空最大文件

问题：找出服务器上，某个正在运行的tomcat产生的大量异常日志，找出该文件，并释放空间。不妨设该文件包含log关键字，而且大于1G。

常见方法：

第一步，找到该文件

• find / -type f -name "*log*" | xargs ls -lSh | more
• du -a / | sort -rn | grep log | more
• find / -name '*log*' -size +1000M -exec du -h {} \;

第二步，将文件清空

假设找到的文件为a.log 正确的状况方式应该为： echo "">a.log 文件空间会马上释放。

不少同窗会使用： rm -rf a.log 这样文件虽然删除，可是因tomcat服务仍在运行，空间不会马上释放，须要重启tomcat才能将空间释放。

6、显示文件，过滤注释

问题：显示server.conf 文件，屏蔽掉#号开头的注释行

常见方法：

• sed -n '/^[#]/!p' server.conf
• sed -e '/^#/d' server.conf
• grep -v "^#" server.conf

7、磁盘IO异常排查

问题：磁盘IO异常如何排查，相似写入慢或当前使用率较高，请查出致使磁盘IO异常高的进程ID。

常见方法：

第一步：

iotop -o 查看当前正在写磁盘操做的全部进程ID信息。

第二步：若是此时各项写入指标都很低，基本没有大的写入操做，则须要排查磁盘自身。能够查看系统

dmesg 或 cat /var/log/message 看看是否有相关的磁盘异常报错，同时能够在写入慢的磁盘上touch一个空文件看看，是否磁盘故障致使没法写入。

但愿对常常进行线上操做的同窗有帮助，若是有更好的实践，也欢迎分享。