服务器被疑似挖矿程序植入107.174.47.156，发现以及解决过程（建议全部使用sonatype/nexus3镜像的用户清查一下）

　　这次服务器被植入挖矿程序发现起来较为巧合，首先是上周三开始，我经过sonatype/nexus3搭建的仓库间歇性崩溃，可是每次从新start一下也能直接使用因此没有完全清查，去docker logs里查看发现是执行bash命令和powershell命令出错，没有想明白是什么缘由。

　　后来刚好ES更新7.0版本了，我一看“呦呵，7.0里面连type都没有了？”赶忙跟个风，因而把我运行很长时间的ES5.6+kibana5.6的镜像删除了，去官网pull了最新的ES和kibana镜像。在启动的过程当中ES始终没法启动，我以为彷佛是nofile和nproc设置的问题，众所周知，ES建立进程和打开文件仍是很是多的，也许默认值nproc=1024不太够？因而将limits.conf中的nproc改成64000，nofile改成102400，sudo reboot。ES7启动！

　　以后两天相安无事，第三天忽然ES程序崩了，因为我ES镜像设置的always restart，因此这就奇怪了，想连上服务器排查问题，发现ssh服务器被拒绝。

　　ssh_exchange_identification: read: connection reset by peer

　　这就奇怪了，好好的服务器怎么ssh不上去了呢，当时觉得是ssh_server崩了，因而重启服务器，重启后一切正常。直到2天后复现了此错误。

　　搜索以后发现此问题常出现于fork bomb，无限建立进程致使系统资源被占满，因此链接时没有资源才拒绝访问，过了一段时间，忽然ssh上去了，执行ps -aux 发现了大量的bash任务

　　bash -c "107.174.47.156/xxxxxxx.sh"

　　搜索此IP，发现已经被几我的标记为：

       

Reported on 25 Mar, 2019 12:07:35 PM

This Server spreads mining malware and hacked our Server.

This Server spreads mining malware and hacked our Server. http://107.174.47.156/mr.sh http://107.174.47.156/2mr.sh http://107.174.47.156/11 I Think this is proof enough

Reported on 01 Apr, 2019 03:29:43 PM

Server is hacking and mining crypto on hacked nodes

Server is hacking and mining crypto on hacked nodes

Reported on 04 Apr, 2019 09:05:35 AM

Mining Hacker

Mining Hacker

　　肯定中招了，侥幸的是，虽然此台服务器提供了不少的服务，可是除了kubernetes以及docker之外，全都是经过容器来提供的，那么就给我排查提供了不小的帮助。在服务器运行过程当中，这些容器中绝大部分都是经过official认证的官方镜像下载的，小部分是经过dockerfile本身建立的，其中包含es，kibana，mysql，centos，ubuntu等等，还有少许几个是直接pull曾被至少1K人下载过的容器。其中包含pause以及sonatype/nexus3。

　　先说pause，我在9台服务器上部署了kubernetes集群，只有提供服务的这台节点出现了此问题，因此应当不是pause容器的问题，那么只剩sonatype/nexus3了。说到这个镜像，此镜像其实比较活跃，每次nexus3版本更新都会更新，而且用户名就是sonatype，虽然没有official认证的字眼，但我本人一直以为应该比较靠谱。

可是有两个疑点：

一、此镜像不提供Dockerfile，也就是说它要么是经过docker commit实现的，要么就是Dockerfile引用了某些不能被人所知的东西不肯意公开。（后来在我本身从新打包nexus3镜像的过程当中，发现打包此镜像并不须要多复杂的shell命令，若是熟练的话彻底能够经过dockerfile的方式进行建立，这样不提供Dockerfile就显得更加可疑了。）

二、经过docker logs查看日志时发现，此容器在不停的尝试执行bash命令和powershell命令。而其余容器都没有此问题。

三、这个容器启动时在不停的更新插件，这些插件不清楚是干什么的，若是某个插件的定位被篡改，那么很容易被植入某些奇怪的代码。

因此我以为应当是此镜像的问题。加上这个用户一直未被official认证，因此我放弃使用此镜像构建maven仓库，改成手动容器构建。1天内仍未复现挖矿问题，待观察几天后能够下定论了。这个容器我使用了很长时间，可是直到上周三前还没出现过问题，因此我怀疑是它更新插件的代码早就被篡改了，新下下来的插件包含挖矿程序。我到如今依旧不认为pull次数超过10M的镜像有这么大问题会没人发现，因此我以为多是刚好我下载镜像的版本插件更新的IP有问题？原本没问题可是IP卖给别人了？DNS出错了？可是我建议使用此镜像的都清查一下，反正执行个 ps -aux | grep bash也不是什么麻烦事。

总结：下载非official的镜像需谨慎即便是这个pull了超过10M次的镜像，建议限制其内存以及CPU使用量。而且按期查看系统资源占用，及时发现问题。

 

更新：自建的mvn仓库并无持续更新插件以及频繁建立powershell和bash，目前第三天使用良好，系统也没有其余程序建立挖矿程序，基本肯定是那个container的问题了。极其建议没有官方镜像的功能使用团队或者自建镜像，尽可能不要下载非official认证的镜像！

PS：我这个容器好像没有上报给Docker hub就被我删了，也没留什么图，如今去报告好像没啥证据，若是有人复现了此问题建议去Docker Hub官方提供截图证据。