ceph_osd_down时间和osd_donw后数据同步完成时间查看

谁践踏了优雅 2023-01-07 14:29 357阅读 0赞

### 文章目录 ###

*  前提准备
 *  查看osd\_down时间
 *   *  登录上新down的存储服务器
     *  查看down的时间
     *   *  服务器down查看方法【如果不是服务器宕机，略过】
         *  方法一
         *  方法二
     *  验证该时间
 *  查看数据恢复时间
 *   *  查看现在ceph集群mon节点
     *  查看数据恢复时间
     *  验证该时间

# 前提准备 #

首先定位新down的osd序号。  
如，现在新down了存储主机stor17上的osd.130  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70]

# 查看osd\_down时间 #

## 登录上新down的存储服务器 ##

进入目录：`cd /var/log/ceph` ，`ls`可以看到 新down的osd序号  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 1]

## 查看down的时间 ##

### 服务器down查看方法【如果不是服务器宕机，略过】 ###

*  敲黑板，注意：  
    如果是存储服务器宕机，是无法通过下面查看日志的方式看到任何osd时间信息的，日志中没有任何记录！！！
 *  stor19这台服务器之前宕机了，于`09：48`进入操作系统，所以可以看到该服务器下所有osd都有一个 统一时间【这个时间是系统启动后时间，并非osd\_down的时间】  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 2]
 *  查看osd\_down的时间也就相当于知道了服务器down的时间，这种情况查看方法是：  
    在mon节点目录：`/var/log/ceph`中执行下面命令

[root@stor02 ceph]# cat ceph-mon.stor19.log | grep HEALTH_WARN|more 【如果这个日子中没有，用下面命令看】
    [root@stor02 ceph]# zcat ceph-mon.stor19.log-20210411.gz | grep HEALTH_WARN|more

执行这个命令以后找到第一个有同步进度的日志行，前面的时间便是osd\_down的时间了。【注：服务器上的时间不一定是北京时间，得到日志中的时间以后，在服务器上执行`date`，和当前北京时间对比一下，就能知道具体的down时间了。 】

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 3]

### 方法一 ###

*  最简单的方法就是直接去osd\_down的存储主机上，进入`/var/log/ceph`目录，直接`ll`查看down的osd的log盘创建时间即可，但这种不严谨【如果是服务器宕机，这个方法是不准确的，ll看到的是服务器启动后创建的日志，并非osd\_down时创建的日志】，还是建议通过下面的命令过滤精确时间。  
    ![在这里插入图片描述][20210121101235929.png]

### 方法二 ###

*  查看新down的osd序号log日志过滤`Caught signal`，这时前面有一个日期，这个日期便是该osd\_down的日期了：注：Caught signal后面括号里的关键字非固定参数，如 Segmentation fault 或 Aborted

[root@stor17 ceph]# cat ceph-osd.130.log | grep "Caught signal"

注：下图是其他down的osd信息，用来展示；  
![在这里插入图片描述][20210121100904361.png]

如果上述log盘这里面没有信息，就去已打包的最新gz日志里面查找（如下）。

*  查看最新gz日志包，用命令zcat可直接查看，如下，今天是15号，就查看15号的gz日志文件：

[root@stor17 ceph]# zcat ceph-osd.130.log-20210115.gz | egrep -B 6 "Caught signal"

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 4]

## 验证该时间 ##

*  有上述信息以后，我们用接着用下面命令,找到最新的一个写入osd序号（也可以使用：`zcat ceph-osd.130.log-20210115.gz|tail -n 200`命令自己找到下面白色框中这种关键osd信息）：

[root@stor17 ceph]# zcat ceph-osd.130.log-20210115.gz | grep "<==" | tail -n 5

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 5]

*  如上看到最新写入的为osd.50，下面我们就登录到`osd.50`所属存储主机，并进入到ceph目录：`ce /var/log/ceph`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 6]
 *  查看新down的osd序号log日志过滤上一步查到的时间，这里面有reply返回失败的信息：

[root@stor17 ceph]# cat ceph-osd.50.log | grep 19:55:19 | more

注：下图是其他down的osd信息，用来展示；  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 7]

如果上述log盘这里面没有信息，就去已打包的最新gz日志里面查找（如下）。

*  查看最新gz日志包，用命令`zcat`可直接查看，如下，今天是15号，就查看15号的gz日志文件，这里面有reply返回失败的信息：

[root@stor07 ceph]# zcat ceph-osd.50.log-20210115.gz |grep 19:55:19 | more

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 8]

# 查看数据恢复时间 #

## 查看现在ceph集群mon节点 ##

*  任意存储主机上均可以执行该命令：

[root@stor07 ceph]# cat /etc/ceph/ceph.conf

*  下面中mon\_host后面的就是所有mon节点了。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 9]

## 查看数据恢复时间 ##

*  登录任意一个mon节点主机（极端情况可能会导致登录的mon节点里面没信息，这时候换个mon节点尝试即可）  
    进入ceph日志目录：`cd /var/log/ceph`,`ls`以后可以看到下面日志多了一个mon开头的日志文件  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 10]
 *  查看mon日志过滤`HEALTH_OK`

[root@stor17 ceph]# cat ceph-mon.stor02.log | grep HEALTH_OK

*  找到down的osd的日期以后的第一个`HEALTH_OK` 文件，前面的日期便是恢复日期了 （如果该mon节点没信息，换一个mon节点尝试即可）【注：服务器上的时间不一定是北京时间，得到日志中的时间以后，在服务器上执行`date`，和当前北京时间对比一下，就能知道具体的down时间了。 】  
    注：下图是其他down的osd信息，用来展示；  
    ![在这里插入图片描述][2021012110300520.png]

如果上述log盘这里面没有信息，就去已打包的最新gz日志里面查找（如下）。

*  查看最新gz日志包，用命令`zcat`可直接查看，如下，今天是15号，就查看15号的gz日志文件，这里面有reply返回失败的信息：
 *  使用`zcat`查看最新的gz日志包，执行命令如下：

[root@stor02 ceph]# zcat ceph-mon.stor02.log-20210115.gz | grep HEALTH_OK

找到down的osd的日期以后的第一个`HEALTH_OK` 文件，前面的日期便是恢复日期了，如上面看到osd.130是19：55分down的，所以在这个时间以后的第一个时间是22：28，所以可以知道osd.130down后数据同步完成时间为22：28 （如果该mon节点没信息，换一个mon节点尝试即可）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 11]

## 验证该时间 ##

继续在mon节点目录：`/var/log/ceph`中执行下面命令【日志盘和查看数据恢复时间的盘相同，仅grep的关键字变了而已】

[root@stor02 ceph]# zcat ceph-mon.stor02.log-20210115.gz | grep HEALTH_WARN|more

执行这个命令以后找到通过上一步看到的同步完成时间，然后可以看到这个时间段内有一个同步进度，为0%则表示同步完成。【注：服务器上的时间不一定是北京时间，得到日志中的时间以后，在服务器上执行`date`，和当前北京时间对比一下，就能知道具体的down时间了。】

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 12]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70]: /images/20221119/c7b4a36be0e24f859d757e5e747e03b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 1]: /images/20221119/69fb64f6cc8c4412bc67232086c61b4e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210412115635396.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210412115945665.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[20210121101235929.png]: https://img-blog.csdnimg.cn/20210121101235929.png
[20210121100904361.png]: https://img-blog.csdnimg.cn/20210121100904361.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20210118111205958.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20210118112330303.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20210118112418343.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20210121101742541.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20210118112712129.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/2021011811282347.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20210118112858850.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[2021012110300520.png]: https://img-blog.csdnimg.cn/2021012110300520.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20210118113048117.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20210118113118231.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu,size_16,color_FFFFFF,t_70