hbase 列族版本数，TTL和二级索引

迈不过友情╰ 2022-05-22 00:28 389阅读 0赞

###  ###

## 版本数量 ##

### 最大版本数量 ###

通过[HColumnDescriptor][]为每个列族配置要存储的最大行数版本。为最大版本默认值为1。这是因为在所描述的一个重要参数，[数据模型][Link 1]部分的HBase也没有覆盖行的值，但每行而存储不同的值按时间（和限定）。在重要的压缩过程中删除多余的版本。最大版本的数量可能需要根据应用需求增加或减少。

不建议将最高版本数设置为极高的级别（例如，数百或更多），除非这些旧值对您非常重要，因为这会大大增加StoreFile大小。

### 最小版本数量 ###

像行版本的最大数量一样，通过[HColumnDescriptor][]为每个列族配置要保留的最小行数版本。min版本的默认值为0，这意味着该功能被禁用。行版本参数的最小数量与生存时间参数一起使用，并且可以与行版本数量参数组合，以允许诸如“保留最后T分钟值数据，最多N个版本，但是至少保留M个版本 “（其中M是最小行数的值，M <N）。此参数只应在为列族启用生存时间时设置，并且必须小于行版本的数量。

## 生存时间（TTL） ##

ColumnFamilies可以以秒为单位设置TTL长度，一旦达到到期时间，HBase将自动删除行。这适用于所有版本的行 - 即使是当前版本。在该行的HBase中编码的TTL时间以UTC指定。

存储仅包含过期行的文件将在小型压缩中删除。设置`hbase.store.delete.expired.storefile`为`false`禁用此功能。将最小版本数设置为0以外的值也会禁用此功能。

最近的HBase版本也支持设置时间以每个单元为基础生存。

单元TTL处理和ColumnFamily TTL之间有两个显着的区别：

*  单元TTL以毫秒为单位而不是秒。
 *  单元TTL不能将一个单元的有效生命周期延长超过ColumnFamily级TTL设置。

## 二级索引 ##

### 过滤查询 ###

根据具体情况，可能适合使用[客户端请求过滤器][Link 2]。在这种情况下，不会创建二级索引。但是，请不要在应用程序（如单线程客户端）上对这样的大表进行全面扫描。

### 定期更新二级索引 ###

二级索引可以在另一个通过MapReduce作业定期更新的表中创建。该工作可以在一天内执行，但根据加载策略，它可能仍然可能与主数据表不同步。

### 双写二次索引 ###

另一种策略是在将数据发布到集群时构建二级索引（例如写入数据表，写入索引表）。如果这是在数据表已经存在之后采取的方法，那么对于具有MapReduce作业的二级索引将需要引导

### 汇总表 ###

在时间范围非常广泛的情况下（例如，长达一年的报告）以及数据量大的地方，总结表是一种常见的方法。这些将通过MapReduce作业生成到另一个表中。

[HColumnDescriptor]: https://hbase.apache.org/apidocs/org/apache/hadoop/hbase/HColumnDescriptor.html
[Link 1]: http://hbase.apache.org/2.0/book.html#datamodel
[Link 2]: http://hbase.apache.org/2.0/book.html#client.filter

发表评论取消回复

表情：

评论列表（有 0 条评论，389人围观）

还没有评论，来说两句吧...

相关阅读

相关 HBase最佳实践－列族设计优化

着大数据的越来越普及，HBase也变得越来越流行。会用HBase现在已经变的并不困难，然而，怎么把它用的更好却并不简单。那怎么定义‘用的好’呢？很简单，在保证系统稳定性、...

小灰灰/ 2024年04月17日 06:03/ 0 赞/ 167 阅读

相关 Hbase 的二级索引

Table of Contents 最终使用协处理器实现一致的二级索引使用乐观并发控制的二级索引 hbase-transactional-tableindexed -

刺骨的言语ヽ痛彻心扉/ 2023年03月13日 05:25/ 0 赞/ 79 阅读

相关 HBase 列族属性配置

一、创建表及属性查看创建一个测试表 test，列族为 cf： create 'test', {NAME => 'cf'} 默认属性如下： hbas

今天药忘吃喽~/ 2023年02月28日 08:52/ 0 赞/ 192 阅读

相关【HBase】列族属性详解

HBase Table 的每个列族都可以设置 VERSION，TTL、BLOOMFLTER 等很多属性； create 'test:user', {NAME => '

末蓝、/ 2023年01月11日 16:21/ 0 赞/ 286 阅读

相关 HBase 列族属性

一、创建表及属性查看创建一个测试表 test，列族为 cf： create 'test', { NAME => 'cf'} 默认属性如下： hba

- 日理万妓/ 2022年11月18日 01:51/ 0 赞/ 390 阅读

相关 HBase phoenix二级索引

1. 为什么需要用二级索引? 对于HBase而言，如果想精确地定位到某行记录，唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据，就必须逐行地比较每一列

素颜马尾好姑娘i/ 2022年07月10日 14:59/ 0 赞/ 464 阅读

相关 HBase最佳实践－列族设计优化

问题导读： 1.BLOCKSIZE属性在不同场景下应该如何设置？ 2.COMPRESSION属性和DATA\_BLOCK\_ENCODING属性的区别是什么？ 3.Hba

冷不防/ 2022年06月14日 08:42/ 0 赞/ 345 阅读

相关 hbase 列族版本数，TTL和二级索引

版本数量最大版本数量通过[HColumnDescriptor][]为每个列族配置要存储的最大行数版本。为最大版本默认值为1。这是因为在所描述的一个重要参

迈不过友情╰/ 2022年05月22日 00:28/ 0 赞/ 390 阅读

相关 Hbase 二级索引

Hbase 使用二级索引原因：目前 HBase 主要应用在结构化和半结构化的大数据存储上，其在插入和读取上都具有极高的性能表现，这与它的数据组织方式有着密切的关系，在逻

迷南。/ 2021年12月18日 13:41/ 0 赞/ 421 阅读

相关 HBase列族高级配置

HBase有几个高级特性，在你设计表时可以使用。这些特性不一定联系到模式或行键设计，但是它们定义了某些方面的表行为。本节我们讨论这些配置参数，以及你可以如何使用它们。 1

Dear 丶/ 2021年11月16日 05:46/ 0 赞/ 531 阅读