TiDB | 那些容易被忽视的集群扩缩容操作步骤

系统管理员 2023-10-02 22:03 106阅读 0赞

#### 目录 ####

*  关于是否保留监控数据？
 *   *  监控数据存放位置查看方法
     *  备份历史数据
 *  缩容监控节点
 *   *  确认节点
     *  确认节点信息
     *  缩容前备份数据
     *  执行缩容操作
     *  确认缩容符合预期
 *  扩容集群监控节点
 *   *  编辑扩容文件
     *  执行扩容命令
     *  查看集群扩容后节点信息
     *  导入备份好的历史数据至新集群中
     *  在新集群中加载导入的数据
     *  检查文件导入是否生效

--------------------

最近在扒官方文档的时候，发现只有扩缩容tikv/pd/tidb/tiflash/ticdc的步骤，并没有讲扩缩容Prometheus/alertmanger/grafana的操作步骤。

就想到凭借自己的经验写一篇文章出来，供大家参考~

内容难免会有疏漏或错误的地方，还望大家多多赐教！

## 关于是否保留监控数据？ ##

缩容监控节点，会涉及到一个问题：是否保留监控数据。

至于监控数据存放位置、怎么保留这部分内容我先单独拿出来讲讲，以防后续在看具体操作步骤的时候会有很凌乱的感觉！

### 监控数据存放位置查看方法 ###

数据存放位置（因为我集群是默认部署，所以存放位置也是默认位置。如果自定义部署目录的话，数据存放位置也会变，不同的集群会有很大的区别，所以这里主要是讲方法）：

**1、查看Prometheus部署路径：**  
![在这里插入图片描述][7daf7fbc7bdc4c6aa8bae25b7355c314.png]

**2、进入Prometheus部署目录，可以看到一个scripts目录，存放了Prometheus启动脚本：**  
![在这里插入图片描述][01e0de5ebb0e41cc9a65d394ecc1bac0.png]

**3、查看脚本，可以看到其中有–storage.tsdb.path这一项，对应的目录就是监控数据存放地址：**  
![在这里插入图片描述][61cf828012b64b4981d566e162cf08be.png]

还有另一种方法：在进程中查看监控历史数据存放位置  
![在这里插入图片描述][c23469017ef047f4b6253e255154f1c5.png]

对应目录为监控历史数据存放位置。  
![在这里插入图片描述][ea875b7705784f098bcf3fee4ff26e90.png]

### 备份历史数据 ###

**1、进入该目录（这一步也是决定缩容监控节点后历史监控数据是否保留的操作），备份历史监控数据：**  
![在这里插入图片描述][25a3c229307d48b8b55f61032e22fe59.png]

**2、因历史数据量较大（默认保留30天的历史数据：–storage.tsdb.retention=“30d”，因为我的测试集群新搭建不久，也没什么数据量，所以数据并不是很多），所以进行压缩：**  
![在这里插入图片描述][fc2679b77c364144884da0e891d1364c.png]

**3、将压缩文件拷贝到备份目录，至此完成Prometheus历史数据备份：**  
![在这里插入图片描述][95b68bf2db0b46c98ff40a95f21e4410.png]

上边完成了Prometheus历史数据存放位置及备份的讲解，**接下来就该进入正题：缩容监控节点操作。**

--------------------

## 缩容监控节点 ##

### 确认节点 ###

查看集群现有节点，确认需要缩容节点（自己部署用于测试的小集群，受限于硬件资源，只能单节点部署）：  
![在这里插入图片描述][7ded7a48b49a45ceba778816b95661a6.png]

### 确认节点信息 ###

172.21.0.8:9093、172.21.0.8:3000、172.21.0.8:9090三个节点  
![在这里插入图片描述][0c254ce6451b4d5f8d787beb74c7f53d.png]

### 缩容前备份数据 ###

（参考文章开头的操作步骤）（如无需保留历史数据，则忽略这一步操作）

### 执行缩容操作 ###

![在这里插入图片描述][7339965c7f5c4e8187cc2f3377dfefbd.png]

### 确认缩容符合预期 ###

查看缩容后集群节点信息，尝试访问grafana，并确认是否符合预期：  
![在这里插入图片描述][47da74829c34437e804696dd9306c8a6.png]

可以看到集群中现在只有tidb、tikv、pd节点，监控节点已经缩容掉。

尝试访问grafana：  
![在这里插入图片描述][4c4ee1ad2f7841e5882108d937f2d732.png]

可以看到grafana已经无法访问，至此缩容操作完成！

至于扩容集群监控节点，与其他扩容操作步骤类似，区别就在于多了导入监控数据这一步。

--------------------

## 扩容集群监控节点 ##

### 编辑扩容文件 ###

![在这里插入图片描述][4be750b6acd84e389152eb7c353a1cbe.png]  
![在这里插入图片描述][ce335cdd95724382953bcdadcd4a3d72.png]

### 执行扩容命令 ###

![在这里插入图片描述][b533779c1ef94bc891bc2bcb89a5e35a.png]  
![在这里插入图片描述][ded4ba0d91044cca8ffe2303c68b58ee.png]

### 查看集群扩容后节点信息 ###

*  监控节点已扩容完成

![在这里插入图片描述][0ff6280f8ada41bbaf97584cdc4db1e1.png]

*  尝试访问grafana![在这里插入图片描述][66976510373d480a8e8e3e411ef34c15.png]

grafana已经能够访问，但是只有集群监控节点扩容完成后的监控数据，并没有历史监控数据。

这时候就需要我们文章开头备份的集群历史监控数据了。

### 导入备份好的历史数据至新集群中 ###

因为我们只需要集群的历史数据，所以将备份中历史数据文件导入新集群的监控数据存放目录即可。

**1、将备份历史数据解压缩：**  
![在这里插入图片描述][e336f51272ee48eb8b3cd69dc4dbe312.png]

**2、将数据文件拷贝到新集群的监控数据存放目录：**  
![在这里插入图片描述][fbf44113d324433684b92c0531011097.png]

### 在新集群中加载导入的数据 ###

reload集群，使新集群加载导入的历史数据文件。  
![在这里插入图片描述][06864e649d3f43578de017f58da20d8e.png]

### 检查文件导入是否生效 ###

尝试访问grafana监控，时间选择7day，检验历史数据文件导入是否生效。  
![在这里插入图片描述][f9b27dbf84974d1bb1cd8eee3f9ce6b5.png]

历史数据导入成功，至此扩容集群监控节点及历史数据导入完成！

**回顾整个缩容过程，最容易出现问题的步骤就是：不会考虑到保留历史数据。**

这一步其实是很重要重要的。比如说集群需要调整new\_collations\_enabled\_on\_first\_bootstrap这个参数，只能考虑重新部署集群（version<=6.0）。

这时就需要在销毁集群前，将历史监控数据备份，集群重新部署完成后，将历史监控数据再恢复。

**如果没有备份历史监控数据，可能就会有问题。**

就备份历史数据而言，操作起来其实很容易，只需将数据备份，导入到监控数据存放目录，然后reload即可。

以上就是缩容监控节点及历史监控数据备份恢复的操作步骤，希望对大家有所帮助~

**版权声明**:本文由神州数码云基地团队整理撰写，若转载请注明出处。  
公众号搜索神州数码云基地，后台回复TiDB，加入TiDB技术交流群！

[7daf7fbc7bdc4c6aa8bae25b7355c314.png]: https://img-blog.csdnimg.cn/7daf7fbc7bdc4c6aa8bae25b7355c314.png
[01e0de5ebb0e41cc9a65d394ecc1bac0.png]: https://img-blog.csdnimg.cn/01e0de5ebb0e41cc9a65d394ecc1bac0.png
[61cf828012b64b4981d566e162cf08be.png]: https://img-blog.csdnimg.cn/61cf828012b64b4981d566e162cf08be.png
[c23469017ef047f4b6253e255154f1c5.png]: https://img-blog.csdnimg.cn/c23469017ef047f4b6253e255154f1c5.png
[ea875b7705784f098bcf3fee4ff26e90.png]: https://img-blog.csdnimg.cn/ea875b7705784f098bcf3fee4ff26e90.png
[25a3c229307d48b8b55f61032e22fe59.png]: https://img-blog.csdnimg.cn/25a3c229307d48b8b55f61032e22fe59.png
[fc2679b77c364144884da0e891d1364c.png]: https://img-blog.csdnimg.cn/fc2679b77c364144884da0e891d1364c.png
[95b68bf2db0b46c98ff40a95f21e4410.png]: https://img-blog.csdnimg.cn/95b68bf2db0b46c98ff40a95f21e4410.png
[7ded7a48b49a45ceba778816b95661a6.png]: https://img-blog.csdnimg.cn/7ded7a48b49a45ceba778816b95661a6.png
[0c254ce6451b4d5f8d787beb74c7f53d.png]: https://img-blog.csdnimg.cn/0c254ce6451b4d5f8d787beb74c7f53d.png
[7339965c7f5c4e8187cc2f3377dfefbd.png]: https://img-blog.csdnimg.cn/7339965c7f5c4e8187cc2f3377dfefbd.png
[47da74829c34437e804696dd9306c8a6.png]: https://img-blog.csdnimg.cn/47da74829c34437e804696dd9306c8a6.png
[4c4ee1ad2f7841e5882108d937f2d732.png]: https://img-blog.csdnimg.cn/4c4ee1ad2f7841e5882108d937f2d732.png
[4be750b6acd84e389152eb7c353a1cbe.png]: https://img-blog.csdnimg.cn/4be750b6acd84e389152eb7c353a1cbe.png
[ce335cdd95724382953bcdadcd4a3d72.png]: https://img-blog.csdnimg.cn/ce335cdd95724382953bcdadcd4a3d72.png
[b533779c1ef94bc891bc2bcb89a5e35a.png]: https://img-blog.csdnimg.cn/b533779c1ef94bc891bc2bcb89a5e35a.png
[ded4ba0d91044cca8ffe2303c68b58ee.png]: https://img-blog.csdnimg.cn/ded4ba0d91044cca8ffe2303c68b58ee.png
[0ff6280f8ada41bbaf97584cdc4db1e1.png]: https://img-blog.csdnimg.cn/0ff6280f8ada41bbaf97584cdc4db1e1.png
[66976510373d480a8e8e3e411ef34c15.png]: https://img-blog.csdnimg.cn/66976510373d480a8e8e3e411ef34c15.png
[e336f51272ee48eb8b3cd69dc4dbe312.png]: https://img-blog.csdnimg.cn/e336f51272ee48eb8b3cd69dc4dbe312.png
[fbf44113d324433684b92c0531011097.png]: https://img-blog.csdnimg.cn/fbf44113d324433684b92c0531011097.png
[06864e649d3f43578de017f58da20d8e.png]: https://img-blog.csdnimg.cn/06864e649d3f43578de017f58da20d8e.png
[f9b27dbf84974d1bb1cd8eee3f9ce6b5.png]: https://img-blog.csdnimg.cn/f9b27dbf84974d1bb1cd8eee3f9ce6b5.png