CDH CM元数据梳理，包括HIVE

ゞ浴缸里的玫瑰 2021-12-15 13:01 430阅读 0赞

** **

**一、Schema SCM 表结构梳理（对应生产BAOFOO\_SCM）**

<table> 
 <tbody> 
 <tr> 
 <td> AUDITS &nbsp; </td> 
 <td> 登录信息、服务，角色重启、配置更改 </td> 
 </tr> 
 <tr> 
 <td> PROCESSES </td> 
 <td> 进程信息。这里面有很多信息。开放的web端口。 </td> 
 </tr> 
 <tr> 
 <td> HOSTS </td> 
 <td> 主机信息，包括IP地址，所在机架，内存，CPU等信息 </td> 
 </tr> 
 <tr> 
 <td> CLIENT_CONFIGS </td> 
 <td> 客户端配置，里面有下载客户端配置的路径。 </td> 
 </tr> 
 <tr> 
 <td> CONFIGS_AUD </td> 
 <td> 配置审计表。 </td> 
 </tr> 
 <tr> 
 <td> CLIENT_CONFIGS_TO_HOSTS </td> 
 <td> 客户端配置文件与节点的对应关系 </td> 
 </tr> 
 <tr> 
 <td> CLUSTERS </td> 
 <td> 群集信息，CM管理多少个群集，就会有多条记录。 </td> 
 </tr> 
 <tr> 
 <td> CM_VERSION </td> 
 <td> CM版本，服务安装时间，服务所在主机。 </td> 
 </tr> 
 <tr> 
 <td> COMMANDS </td> 
 <td> 命令记录，其中包括系统内部执行的命令。 </td> 
 </tr> 
 <tr> 
 <td> COMMANDS_DETAIL </td> 
 <td> 命令的详细内容。关联COMMANDS表。 </td> 
 </tr> 
 <tr> 
 <td> COMMAND_SCHEDULES </td> 
 <td> CM内部命令执行调度元信息。 </td> 
 </tr> 
 <tr> 
 <td> CONFIGS </td> 
 <td> 配置表，改的配置，改之后的值，服务ID等。 </td> 
 </tr> 
 <tr> 
 <td> CONFIGS_AUD </td> 
 <td> 配置更改记录。 </td> 
 </tr> 
 <tr> 
 <td> CREDENTIALS </td> 
 <td> Kerberos认证授权表，包含keytab文件 </td> 
 </tr> 
 <tr> 
 <td> DIAGNOSTICS_EVENTS </td> 
 <td> 诊断事件，关于parcels的激活，分发，停用有记录。 </td> 
 </tr> 
 <tr> 
 <td> GLOBAL_SETTINGS </td> 
 <td> 全局配置，包括自定义仪表盘信息 </td> 
 </tr> 
 <tr> 
 <td> HOST_TEMPLATES </td> 
 <td> 主机模板，模板名，所在主机。线上有hbase node和hdfs-yarn的模板。 </td> 
 </tr> 
 <tr> 
 <td> HOST_TEMPLATE_TO_ROLE_CONF_GRP </td> 
 <td> 主机模板和角色配置组的对应信息。 </td> 
 </tr> 
 <tr> 
 <td> METRICS </td> 
 <td> 各服务的监控项 </td> 
 </tr> 
 <tr> 
 <td> PARCELS </td> 
 <td> parcels信息，是否可用，远程地址等等。 </td> 
 </tr> 
 <tr> 
 <td> PARCEL_COMPONENTS </td> 
 <td> parcels名称与组件之间的映射关系。 </td> 
 </tr> 
 <tr> 
 <td> REVISIONS </td> 
 <td> 版本信息，CM变更之后，会产生一个新的版本。 </td> 
 </tr> 
 <tr> 
 <td> ROLES </td> 
 <td> 群集中的角色信息 </td> 
 </tr> 
 <tr> 
 <td> ROLE_CONFIG_GROUPS </td> 
 <td> 角色对应的角色组信息 </td> 
 </tr> 
 <tr> 
 <td> SERVICES </td> 
 <td> 服务名，页面显示的一些信息。 </td> 
 </tr> 
 <tr> 
 <td> SNAPSHOT_POLICIES </td> 
 <td> 快照策略（用户备份以及灾难恢复方面） </td> 
 </tr> 
 <tr> 
 <td> USERS </td> 
 <td> CM群集中的用户信息（启用认证时） </td> 
 </tr> 
 <tr> 
 <td> USER_AUTH_ROLES </td> 
 <td> 用户与认证角色对应关系 </td> 
 </tr> 
 </tbody> 
</table>

该库记录了关于CM服务中的元数据、操作记录、用户登录、监控项采集、kerberos认证等等信息。

REVISIONS 每一次通过CM产生的变更都会产生一条记录。包括重启服务、修改服务、角色配置、修改CM配置。

AUDITS以及\*\_AUD为审计相关的信息记录。包括类如HOSTS，ROLES的元数据表。

AUDITS （审计表，登陆日志，重启服务，群集，激活、停用parcels等操作）。

1、监控有没有暴力登录

示例：以下SQL查询五分钟内登录失败次数超过10次的用户名，以及登录IP。

<table> 
 <tbody> 
 <tr> 
 <td> SELECT * FROM ( SELECT SUBSTRING_INDEX(MESSAGE, ':' ,- 1) user_name, IP_ADDRESS ip_addr, count(1) AS login_counts FROM AUDITS WHERE AUDIT_TYPE = 'AUTHENTICATION' AND ALLOWED = 0 AND TIMESTAMPDIFF( MINUTE, FROM_UNIXTIME(LEFT(CREATED_INSTANT, 10)), CURRENT_TIMESTAMP () ) &lt; 5 GROUP BY user_name, ip_addr ) b WHERE b.login_counts &gt; 10; &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

2、监控配置修改

<table> 
 <tbody> 
 <tr> 
 <td> SELECT t3.DISPLAY_NAME, t1.ATTR, t1.`VALUE` FROM CONFIGS_AUD t1 LEFT JOIN REVISIONS t2 ON t1.REV = t2.REVISION_ID LEFT JOIN SERVICES t3 ON t1.SERVICE_ID = t3.SERVICE_ID WHERE TIMESTAMPDIFF( MINUTE, FROM_UNIXTIME(LEFT(t2.`TIMESTAMP`, 10)), CURRENT_TIMESTAMP () ) &lt; 5; &nbsp; HUE的http端口属性被改成8898 </td> 
 </tr> 
 </tbody> 
</table>

3、监控服务重启，重启impala服务。

<table> 
 <tbody> 
 <tr> 
 <td> SELECT SUBSTRING_INDEX(t3.message, ':' ,- 1), t2.INFO, t2.IP_ADDRESS FROM ( SELECT GROUP_CONCAT( MESSAGE ORDER BY CREATED_INSTANT SEPARATOR ' 结果:' ) INFO, GROUP_CONCAT(IP_ADDRESS) IP_ADDRESS FROM AUDITS t1 WHERE CREATED_INSTANT &gt; REPLACE ( UNIX_TIMESTAMP( DATE_ADD(NOW(3), INTERVAL - 50 MINUTE) ), '.', '' ) AND AUDIT_TYPE = 'COMMAND_SERVICE' ) t2 LEFT JOIN ( SELECT message, IP_ADDRESS, CREATED_INSTANT FROM AUDITS WHERE AUDIT_TYPE = 'AUTHENTICATION' ) t3 ON t3.IP_ADDRESS = t2.IP_ADDRESS ORDER BY t3.CREATED_INSTANT DESC LIMIT 1; </td> 
 </tr> 
 </tbody> 
</table>

**二、HIVE元数据表（对应生产BAOFOO\_HIVE）**

与上述不同，这不属于Cloudera 公司Hadoop发行版独有的。

<table> 
 <tbody> 
 <tr> 
 <td> DBS </td> 
 <td> 数据库信息，DB名，所在位置。 </td> 
 </tr> 
 <tr> 
 <td> COLUMNS_V2 </td> 
 <td> 表的列信息，注释，列名，列的数据类型，列在表中的位置。通过CD_ID与CDS表关联 </td> 
 </tr> 
 <tr> 
 <td> TBL_PRIVS </td> 
 <td> 表的授权信息。 </td> 
 </tr> 
 <tr> 
 <td> TABLE_PARAMS </td> 
 <td> 表的基本信息，最后更改时间，总大小，原生数据大小，行数，文件数量 </td> 
 </tr> 
 <tr> 
 <td> SERDE_PARAMS </td> 
 <td> 字符分隔符，虚拟化格式信息。通过SERDE_ID与SERDES关联 </td> 
 </tr> 
 <tr> 
 <td> SDS </td> 
 <td> 表的属性信息，输入格式（表存储类型），是否压缩，所在位置，占桶的数量，等。通过SERDE_ID与SERDES关联 </td> 
 </tr> 
 <tr> 
 <td> SERDES </td> 
 <td> 虚拟化和反虚拟化的信息。 </td> 
 </tr> 
 <tr> 
 <td> CDS </td> 
 <td> 只有一列，表的唯一ID </td> 
 </tr> 
 <tr> 
 <td> TBLS </td> 
 <td> 存储Hive表、视图、索引表的基本信息。创建时间，上次访问时间，所有者、表名，视图HQL语句 </td> 
 </tr> 
 <tr> 
 <td> PARTITION_KEYS </td> 
 <td> 表的分区信息，表名，分区键注释，分区键名，类型，联合分区所在位置 </td> 
 </tr> 
 <tr> 
 <td> PARTITION_KEY_VALS </td> 
 <td> 已有分区信息。 </td> 
 </tr> 
 <tr> 
 <td> PARTITION_PARAMS </td> 
 <td> 分区属性信息，某个分区的文件数量，总代小，最后访问时间等。 </td> 
 </tr> 
 <tr> 
 <td> PARTITIONS </td> 
 <td> 分区的基本信息，分区ID，分区创建时间，最后访问时间，分区名，分区存储ID，表ID </td> 
 </tr> 
 <tr> 
 <td> VERSION </td> 
 <td> 存储Hive版本的元数据表，如果该表不存在，启动hive-cli的时候会报Table ‘hive.version’ doesn’t exist” </td> 
 </tr> 
 </tbody> 
</table>

1、HIVE中库表数据量统计。

<table> 
 <tbody> 
 <tr> 
 <td> SELECT d.`NAME` "库",count(1) "表数量" from TBLS t RIGHT &nbsp;JOIN DBS d ON t.DB_ID = d.DB_ID group BY d.DB_ID &nbsp;; </td> 
 </tr> 
 </tbody> 
</table>

2、表大小统计

<table> 
 <tbody> 
 <tr> 
 <td> &nbsp; SELECT round(CAST(a.PARAM_VALUE AS SIGNED)/1024/1024/1024,0) v, b.TBL_NAME, c.`NAME` FROM TABLE_PARAMS a LEFT JOIN TBLS b ON a.TBL_ID = b.TBL_ID LEFT JOIN DBS c ON b.DB_ID = c.DB_ID WHERE a.PARAM_KEY = 'totalSize' -- AND c.`NAME` NOT like 'tmp%' ORDER BY v DESC; </td> 
 </tr> 
 </tbody> 
</table>

转载于:https://www.cnblogs.com/xiangerfer/p/10530347.html