环境:linux 5.4服务器,ORACLE 10.0.2.4数据库linux
案情:上周某数据库DBA作迁移操做时说忽然连不上了,向可能有ROOT权限的人确认是否忽然修改了密码。可也太诡异了,这台数据库服务器所在的区域安全等级较高,并且运行了若干年历来没有任何问题。刚刚root放给新入职的DBA就出了问题。还好有堡垒主机,因而当即确认堡垒主机的动做,没有发现有修改ROOT密码的命令。惊了一声冷汗,难不成被***了。数据库
19:30,赶到IDC机房,用显示器介入发现界面停留在RADHAT登陆界面,但输入密码均提示认证失败;安全
19:45,尝试软关机,但长时间停留在一个界面上半个多小时不动;服务器
20:30,尝试强制关机,重启后系统初始化异常;ide
20:45,尝试linux单用户模式修改密码,结果单用户模式也进进不了系统,提示错误同上;spa
22:00,怀疑底层文件被删除,要求二线准备LINUX5.4操做系统光盘赶往机房;操作系统
23:00,咱们安装完一台和故障机一样操做系统和数据库的虚拟机,以备万一故障机恢复不了,咱们导出数据文件直接恢复数据库;blog
02:00,经过光盘引导linux进入救援模式,咱们登陆系统后发现关键的数据库文件目录还在,顿时放心不少;get
02:30,咱们发现文件系统底层文件有被移动的迹象,经过堡垒主机的录像分析瞬间得出结论,应该是操做员用FTP操做时不当心拖动了底层文件/lib64到/media目录下,而因为/sbin/init是动态连接的,形成的表面显现是/sbin/init不存在;虚拟机
教训:root权限必定要收紧,特别是对于新环境不熟悉的老手。
经验:linux救援模式很重要,必要时能够救人一命,你们要学好。