关于Linux运维常见故障排查和处理的33个技巧汇总

做为linux运维，多多少少会遇见这样那样的问题或故障，从中总结经验，查找问题，汇总并分析故障的缘由，这是一个Linux运维工程师良好的习惯。每一次技术的突破，都经历着苦闷，伴随着快乐，可咱们仍是执着的继续努力，从中也积累了更多的经验，这就是实践给予咱们的丰厚回报。

下面汇总了我作项目过程可能出现的故障及解决方法，看看是否与你有共鸣，并对你有帮助？

第一：常见问题解决集锦

1.shell脚本不执行

问题：某天研发某同事找我说帮他看看他写的shell脚本，死活不执行，报错。我看了下，脚本很简单，也没有常规性的错误，报“:badinterpreter:Nosuchfileordirectory”错。

看这错，我就问他是否是在windows下编写的脚本，而后在上传到linux服务器的……果真。

缘由：在DOS/windows里，文本文件的换行符为rn，而在*nix系统里则为n，因此DOS/Windows里编辑过的文本文件到了*nix里，每一行都多了个^M。

解决：

1）从新在linux下编写脚本；

2）vi:%s/r//g:%s/^M//g（^M输入用Ctrl+v,Ctrl+m）

附：sh-x脚本文件名，能够单步执行并回显结果，有助于排查复杂脚本问题。

2.crontab输出结果控制

问题：

/var/spool/clientmqueue目录占用空间超过100G

缘由：

cron中执行的程序有输出内容，输出内容会以邮件形式发给cron的用户，而sendmail没有启动因此就产生了/var/spool/clientmqueue目录下的那些文件，日积月累可能撑破磁盘。

解决：

1）直接手动删除：ls|xargsrm-f；

2）完全解决：在cron的自动执行语句后加上>/dev/null2>&1

3.telnet很慢/ssh很慢

问题：

某天研发某同事说10.50访问10.52memcached服务异常，让咱们检查下看网络/服务/系统是否有异常。检查发现系统正常，服务正常，10.50ping10.52也正常，但10.50telnet10.52很慢。同时发现该机器的namesever是不起做用的。

缘由：

becauseyourPCdoesn’tdoareverseDNSlookuponyourIPthen…whenyoutelnet/ftpintoyourlinuxbox,it’lldoadnslookuponyou。

解决：

1)修改/etc/hosts使hostname和ip对应；

2）在/etc/resolv.conf注释掉nameserver或者找一个“活的”nameserver。

4.Read-onlyfilesystem

问题：

同事在mysql里建表建不成功，提示以下：

mysql>createtablewosontest(colddname1char(1));  ERROR1005(HY000):Can’tcreatetable‘wosontest’(errno:30） 复制代码

经检查mysql用户权限以及相关目录权限没问题；用perror30提示信息为：OSerrorcode30:Read-onlyfilesystem

可能缘由：

1）文件系统损坏；

2）磁盘又坏道；

3）fstab文件配置错误，如分区格式错误错误(将ntfs写成了fat)、配置指令拼写错误等。

解决：

1）因为是测试机，重启机器后恢复；

2）网上说用mount可解决。

5.文件删了磁盘空间没释放

问题：

某天发现某台机器df-h已用磁盘空间为90G，而du-sh/*显示全部使用空间加起来才30G，囧。

缘由：

可能某人直接用rm删除某个正在写的文件，致使文件删了但磁盘空间没释放的问题

解决：

1）最简单重启系统或者重启相关服务。

2）干掉进程

/usr/sbin/lsof|grepdeleted  ora25575data33uREG65,654294983680/oradata/DATAPRE/UNDOTBS009.dbf(deleted) 复制代码

从lsof的输出中，咱们能够发现pid为25575的进程持有着以文件描述号（fd）为33打开的文件/oradata/DATAPRE/UNDOTBS009.dbf。在咱们找到了这个文件以后能够经过结束进程的方式来释放被占用的空间：echo>/proc/25575/fd/33

3）删除正在写的文件通常用cat/dev/null>file

6.find文件提高性能

问题：

在tmp目录下有大量包含picture_*的临时文件，天天晚上2:30对一天前的文件进行清理。以前在crontab下跑以下脚本，可是发现脚本效率很低，每次执行时负载猛涨，影响到其余服务。

#!/bin/sh find/tmp-name“picture_*”-mtime+1-execrm-f{}; 复制代码

缘由：

目录下有大量文件，用find很耗资源。

解决：

#!/bin/sh cd/tmp time=`date-d“2dayago”“+%b%d”` ls-l|grep“picture”|grep“$time”|awk‘{print$NF}’|xargsrm-rf 复制代码

7.获取不了网关mac地址

问题：

从2.14到3.65（映射地址2.141）网络不通，可是从3端的其余机器到3.65网络OK。

缘由：

#arp AddressHWtypeHWaddressFlagsMaskIface 192.168.3.254etherincompletCMbond0 复制代码

表面现象是机器自动获取不了网关MAC地址，网络工程师说是网络设备的问题，具体不清。

解决：

arp绑定，arp-ibond0-s192.168.3.25400:00:5e:00:01:64

8.http服务没法启动一例

问题：某天研发某同事说网站前端环境http没法启动，我上去看了下。报以下错：

/etc/init.d/httpdstart  Startinghttpd:[SatJan2917:49:002011][warn]moduleantibot_moduleisalreadyloaded,skipping  Useproxyforwardasremoteip:true.  Antibotexcludepattern:.*.[(js|css|jpg|gif|png)]  Antibotseedcheckpattern:login  (98)Addressalreadyinuse:make_sock:couldnotbindtoaddress[::]:7080  (98)Addressalreadyinuse:make_sock:couldnotbindtoaddress0.0.0.0:7080  nolisteningsocketsavailable,shuttingdown  Unabletoopenlog[FAILED] 复制代码

缘由：

1）端口被占用：表面看是7080端口被占用，因而netstat-npl|grep7080看了下发现7080没有占用；

2）在配置文件中重复写了端口，若是在如下两个文件同时写了Listen7080

/etc/httpd/conf/http.conf  /etc/httpd/conf.d/t.10086.cn.conf 复制代码

解决：

注释掉/etc/httpd/conf.d/t.10086.cn.conf的Listen7080，重启，OK。

9.toomanyopenfile

问题：

报toomanyopenfile错误

解决：

终极解决方案

echo“”>>/etc/security/limits.conf  echo“*softnproc65535″>>/etc/security/limits.conf  echo“*hardnproc65535″>>/etc/security/limits.conf  echo“*softnofile65535″>>/etc/security/limits.conf  echo“*hardnofile65535″>>/etc/security/limits.conf  echo“”>>/root/.bash_profile  echo“ulimit-n65535″>>/root/.bash_profile  echo“ulimit-u65535″>>/root/.bash_profile 复制代码

最后重启机器或者执行ulimit-u655345&&ulimit-n65535

10.ibdata1和mysql-bin致磁盘空间问题

问题：

2.51磁盘空间报警，经查发现ibdata1和mysql-bin日志占用空间太多（其中ibdata1超过120G，mysql-bin超过80G）

缘由：

ibdata1是存储格式，在INNODB类型数据状态下，ibdata1用来存储文件的数据和索引，而库名的文件夹里的那些表文件只是结构而已。

innodb存储引擎有两种表空间的管理方式，分别是：

1）共享表空间（可拆分为多个小的表空间文件），这个是咱们目前多数数据库使用的方法；

2）独立表空间，每个表有一个独立的表空间（磁盘文件）

对于两种管理方式，各有优劣，具体以下：

①共享表空间：

优势：能够将表空间分红多个文件存放到不一样的磁盘上（表空间文件大小不受表大小的限制，一个表能够分布在不一样步的文件上）

缺点：全部数据和索引存放在一个文件中，则随着数据的增长，将会有一个很大的文件，虽然能够把一个大文件分红多个小文件，可是多个表及索引在表空间中混合存储，这样若是对于一个表作了大量删除操做后表空间中将有大量空隙。对于共享表空间管理的方式下，一旦表空间被分配，就不能再回缩了。当出现临时建索引或是建立一个临时表的操做表空间扩大后，就是删除相关的表也没办法回缩那部分空间了。

②独立表空间：在配置文件（my.cnf）中设置：innodb_file_per_table

特色：每一个表都有自已独立的表空间；每一个表的数据和索引都会存在自已的表空间中。

优势：表空间对应的磁盘空间能够被收回（Droptable操做自动回收表空间，若是对于删除大量数据后的表能够经过:altertabletbl_nameengine=innodb;回缩不用的空间。

缺点：若是单表增长过大，如超过100G，性能也会受到影响。在这种状况下，若是使用共享表空间能够把文件分开，但有一样有一个问题，若是访问的范围过大一样会访问多个文件，同样会比较慢。若是使用独立表空间，能够考虑使用分区表的方法，在必定程度上缓解问题。此外，当启用独立表空间模式时，须要合理调整innodb_open_files参数的设置。

解决:

1）ibdata1数据太大：只能经过dump，导出建库的sql语句，再重建的方法。

2）mysql-binLog太大：

①手动删除：

删除某个日志：mysql>PURGEMASTERLOGSTO‘mysql-bin.010′;

删除某天前的日志：mysql>PURGEMASTERLOGSBEFORE’2010-12-2213:00:00′;

②在/etc/my.cnf里设置只保存N天的bin-log日志

expire_logs_days=30//BinaryLog自动删除的天数

2、故障排查汇总表

序号	故障点	分析与解决
1	Linux系统安装初始状态时，找不到硬盘，并没有法进入下一步安装	进入COMS设置，找到硬盘设置的相关选项，并设置为兼容模式
2	Linux系统安装时，在硬盘分区完成后，没法继续安装	硬盘分区不符合安装要求，你可能忘记建立根分区或swap交换分区了，这一点与Windows系统的安装有区别
3	Linux系统安装时，制定安装中，软件包的选择感受困惑，安装完成后发现不符合咱们的要求，有些组件没有安装，而不须要的组件却装上了	对Linux系统的了解还太少，反复安装屡次后，天然掌握自如
4	代理服务器的配置过程当中，发现有些过滤规划未起做用	（1）先检查对应的功能模块是否加载成功（2）默认策略是否设置恰当（3）iptables命令语法是否有错（4）过滤规划顺序可能不当，需调整
5	代理服务器和防火墙的配置完成后，启动服务，能够访问Internet，但不能访问DMZ区的服务	（1）关闭iptables服务，看是否能够访问，若是不能，检查连通性，若能访问，说明iptables规则有问题，集中检查过滤规则的配置与顺序
6	再次配置好iptables过滤规则后，重启iptables服务后，发现原有的规则所有丢失	（1）修改/etc/sysconfig/iptables-config配置文件，将IPTABLES_SAVE_ON_RESTART=”no”改成yes（2）用iptables-save > /etc/sysconfig/iptables命令保存
7	在交换机上划分VLAN后，不能访问外网	VLAN的网关未设置或设置不正确
8	在配置DNS服务中，named服务没法启动	形成问题可能性：（1）/etc/named目录下缺乏必要文件（2）/var/named目录下缺乏必要文件（3）named帐户权限问题。解决方法：缺乏的文件必须复制到位，启动文件必须将权限设置为named帐户和组帐户
9	在配置DNS服务中，没法正确解析域名或IP地址	（1）检查并修改/var/named下的正向解析区文件和反向解析区文件中的语法与记录设置（2）检查/etc/named.conf配置中的zone区域声明编写是否有误（3）检查是否安装了bind-chroot软件包，如安装了，区域数据库文件应在/var/named/chroot/var/named目录中（4）检查/etc/resolv.conf配置文件是否设定了正确的nameserver
10	dhcpd服务启动时，提示“No subnet declaration for eth0(10.10.10.2)”	说明eth0的IP地址设置不对，不在dhcp服务的做用域范围内，必须将eth0的IP设置为做用域范围内的IP地址
11	在配置DHCP服务时，配置了多个做用域，结果只有一个做用域的地址能够分配，其余不能分配成功	说明主机的网络接口卡只有一个，若有3个做用域，需配置3个网卡接口eth0、eth1和eth2，分别对应3个做用域。这是使用超级做用域的一种配置方法
12	MySQL数据库的安装不能成功，老是提示软件的依赖关系，形成所要安装的软件包不能顺利安装	说明所要安装的软件包须要其余组件或共享库的支持，MySQL的rpm包安装方式自己就繁琐一些，要求安装的软件包比较多，包之间的依赖关系很是明显，根据提示找到须要的组件包并安装，安装时要注意软件包顺序
13	测试Web服务，访问主站点时，无网页出现，但已经链接上服务器	在httpd.conf主配置文件中的“DocumentRoot”选项的设置不当，如/var/www/html/，最后的“/”不能加
14	远程客户端没法访问samba共享目录，共享目录在本地测试成功	关闭iptables服务
15	Samba的smb服务已经启动成功，访问samba某个共享目录时，提示错误信息“NT_STATUS_BAD_NETWORK_NAME”	说明共享目录没有建立或不存在
16	Samba的smb服务已经启动成功，提示错误信息“NT_STATUS_ACCESS_DENIED”	提示访问被拒绝，多是登陆的用户名或密码有误，或是iptables启动了，关闭防火墙
17	Samba的smb服务已经启动成功，提示错误信息“NT_STATUS_LOGON_FAILURE”	不容许当前用户访问当前共享目录，说明此共享目录设置只容许特定用户访问
18	FTP服务配置了本地用户上传，但在上传数据到对应目录时，提示被拒绝	可能该用户帐户对上传目录没有写权限
19	配置容许本地帐户登陆FTP后，root帐户没法登陆，并提示“500 OOPS：cannot change directory:/root”的错误信息，而其余本地帐户能够登陆FTP	检查是否启用了SELinux安全系统，并禁止SELinux，能够编辑/etc/selinux/config文件，将配置项SELINUX=enforcing改成disabled
20	使用邮件客户端能够发送邮件，但不能接收邮件	检查pop3服务是否启动
21	mount命令挂载NFS服务的共享目录，好久也没有响应，NFS服务是正常的	portmap服务没有启动，必须启动该服务
22	本地测试mount挂载NFS共享成功，但在其余客户主机mount链接时不成功	关闭iptables服务，再测试

文章收集于网络