Hive配置汇总（一）

- 日理万妓 2023-06-23 09:56 26阅读 0赞

<table> 
 <thead> 
  <tr> 
   <th>主要功能</th> 
   <th>hive配置参数</th> 
   <th>作用</th> 
   <th>默认值</th> 
   <th>应用场景</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>并发</td> 
   <td>hive.exec.parallel=true;</td> 
   <td>多job并发</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.exec.parallel.thread.numbe=X;</td> 
   <td>可以并行化的job数</td> 
   <td>8</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>输入合并小文件</td> 
   <td>hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;</td> 
   <td>执行Map前进行小文件合并。一个data node节点上多个小文件会进行合并，合并文件数由mapred.max.split.size限制的大小决定。</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.hadoop.supports.splittable.combineinputformat = true;</td> 
   <td>是否支持可切分的 CombieInputFormat</td> 
   <td>FALSE</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>小文件</td> 
   <td>mapreduce.job.split.metainfo.maxsize=-1</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>java.io.IOException:Split metadata size exceeded 10000000，小文件过多</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapreduce.jobtracker.split.metainfo.maxsize = －1</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapreduce.job.running.map.limit=50000;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>map数超过50000的job设置：</td> 
  </tr> 
  <tr> 
   <td>map数</td> 
   <td>mapred.min.split.size = X;</td> 
   <td>每个Map最小输入大小</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapred.max.split.size=X;</td> 
   <td>每个Map最大输入大小</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapred.min.split.size.per.node=100000000;</td> 
   <td>一个节点上（datanode）split至少的大小，</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapred.min.split.size.per.rack=100000000;</td> 
   <td>同一个交换机(rack locality)下split至少的大小</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapreduce.input.fileinputformat.split.maxsize = 256000000;</td> 
   <td>mapred代表的是hadoop旧API，而mapreduce代表的是hadoop新的API。</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapreduce.input.fileinputformat.split.minsize.per.node=256000000;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapreduce.input.fileinputformat.split.minsize.per.rack=256000000;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>reduce数</td> 
   <td>hive.exec.reducers.bytes.per.reducer = X;</td> 
   <td>每个reducer处理的文件大小，默认是1GB，调整reduce数目</td> 
   <td>100000000</td> 
   <td>生成的文件大小，设置每个reducer处理的数据hive.exec.reducers.bytes.per.reducer=5120000000; insert into table xxx select * from xxx distribute by rand();备注： 设置的参数是生成的文件大小，distribute by rand()保证数据的平均大小是512Mb。</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.exec.reducers.max</td> 
   <td>控制最大的reducer的数量， 如果 input / bytes per reduce &gt;max 则会启动这个参数所指定的reduce个数。 这个并不会影响mapre.reduce.tasks参数的设置。默认的max是999</td> 
   <td>999</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.mapred.reduce.tasks</td> 
   <td>这个参数如果指定了，hive就不会用它的estimation函数来自动计算reduce的个数，而是用这个参数来启动reducer。默认是-1(reduce的个数设置其实对执行效率有很大的影响：1)、如果reduce太少： 如果数据量很大，会导致这个reduce异常的慢，从而导致这个任务不能结束，也有可能会OOM 2)、如果reduce太多： 产生的小文件太多，合并起来代价太高，namenode的内存占用也会增大。如果我们不指定mapred.reduce.tasks，hive会自动计算需要多少个reducer。计算的公式： reduce个数 = InputFileSize / bytes per reducer 3)、估算reducer的个数，及计算公式：注意最重要的一句话：int reducers = (int)((totalInputFileSize +bytesPerReducer - 1) / bytesPerReducer))</td> 
   <td>&nbsp;</td> 
   <td>生成的文件个数。设置reduce个数 mapred.reduce.tasks=50; insert into table xxx select * from xxx distribute by rand();备注： 设置的参数是生成的文件个数，distribute by rand()保证数据随机分配到50个文件中。</td> 
  </tr> 
  <tr> 
   <td>输出合并小文件</td> 
   <td>hive.merge.mapredfiles = true</td> 
   <td>正常的map-reduce job后，是否启动merge job来合并reduce端输出的结果，建议开启</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.merge.mapfiles = true;</td> 
   <td>正常的map-only job后，是否启动merge job来合并map端输出的结果</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.merge.size.per.task = X;</td> 
   <td>合并后文件的大小</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.merge.smallfiles.avgsize=X;</td> 
   <td>当输出文件平均大小小于该值，启动新job合并文件</td> 
   <td>-1</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>输出压缩</td> 
   <td>mapred.output.compress=true;</td> 
   <td>压缩输出</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.exec.compress.output=true;</td> 
   <td>为最终输出结果启用压缩</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec;</td> 
   <td>输出所用的压缩codec 常见的压缩格式：DEFLATE org.apache.hadoop.io.compress.DefaultCodec gzip org.apache.hadoop.io.compress.GzipCodec bzip org.apache.hadoop.io.compress.BZip2Codec Snappy org.apache.hadoop.io.compress.SnappyCodec</td> 
   <td>org.apache.hadoop.io.compress.DefaultCodec</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapred.output.compression.type=BLOCK;</td> 
   <td>控制限制使用压缩格式,默认值为RECORD, 即对每一条记录进行压缩, 如果将其改为BLOCK,将针对一组记录进行压缩SqeuenceFile的输出可以使用的压缩类型:NONE,RECORD,BLOCK</td> 
   <td>RECORD</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>中间过程压缩</td> 
   <td>hive.exec.compress.intermediate=true;</td> 
   <td>为map中间输出启用压缩。</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapred.map.output.compression.codec=com.hadoop.compression.lzo.LzoCodec;</td> 
   <td>一般对于中间输出压缩采用低压缩比，高压缩解压缩速度的压缩算法，如LZO,Snappy</td> 
   <td>org.apache.hadoop.io.compress.DefaultCodec</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.intermediate.compression.type=BLOCK;</td> 
   <td>&nbsp;</td> 
   <td>RECORD</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>动态分区</td> 
   <td>hive.exec.max.created.files=100000;</td> 
   <td>动态分区属性,全局可以创建的最大文件个数</td> 
   <td>100000</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.exec.dynamic.partition.mode = nonstrict;</td> 
   <td>动态分区的模式，默认strict，表示必须指定至少一个分区为静态分区，nonstrict模式表示允许所有的分区字段都可以使用动态分区。一般需要设置为nonstrict</td> 
   <td>strict</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.exec.dynamic.partition = true;</td> 
   <td>是否开启动态分区功能，默认false关闭。使用动态分区时候，该参数必须设置成true;</td> 
   <td>FALSE</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.exec.max.dynamic.partitions.pernode</td> 
   <td>在每个执行MR的节点上，最大可以创建多少个动态分区。该参数需要根据实际的数据来设定。比如：源数据中包含了一年的数据，即day字段有365个值，那么该参数就需要设置成大于365，如果使用默认值100，则会报错。</td> 
   <td>100</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.exec.max.dynamic.partitions</td> 
   <td>在所有执行MR的节点上，最大一共可以创建多少个动态分区。</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.error.on.empty.partition</td> 
   <td>当有空分区生成时，是否抛出异常。一般不需要设置。</td> 
   <td>FALSE</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>groupby负载均衡</td> 
   <td>hive.groupby.skewindata=true;</td> 
   <td>负载均衡（一般不建议使用，会有丢数据的风险）数据倾斜时负载均衡，当选项设定为true，生成的查询计划会有两个MRJob。第一个MRJob 中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的GroupBy Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MRJob再根据预处理的数据结果按照GroupBy Key分布到Reduce中（这个过程可以保证相同的GroupBy Key被分布到同一个Reduce中），最后完成最终的聚合操作。</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.groupby.mapaggr.checkinterval=100000;</td> 
   <td>group的键对应的记录条数超过这个值则会进行分拆,值根据具体数据量设置</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>查看</td> 
   <td>hive.stats.dbclass=counter;</td> 
   <td>存储临时Hive统计信息的方式</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>dfs.block.size;</td> 
   <td>查看集群设置的文件块大小，不能修改，值为134217728，即128mb。</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>io.compression.codecs;</td> 
   <td>查看集群的支持的压缩算法.org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.SnappyCodec</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>数据倾斜优化</td> 
   <td>hive.auto.convert.join=true</td> 
   <td>/<em>+mAPJOIN(小表名)</em>/ 小表加载到内存中，表的JOIN操作是在Map端且在内存进行的</td> 
   <td>FALSE</td> 
   <td>大表 join 小表</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.optimize.skewjoin=true</td> 
   <td>join过程出现倾斜则优化</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.skewjoin.key=1000000</td> 
   <td>join的键对应的记录条数超过这个值则会进行优化</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>作业</td> 
   <td>mapreduce.job.name</td> 
   <td>作业名称</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapreduce.job.priority</td> 
   <td>作业优先级，VERY_HIGH,HIGH,NORMAL,LOW,VERY_LOW</td> 
   <td>NORMAL</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>MR ApplicationMaster设置</td> 
   <td>yarn.app.mapreduce.am.resource.mb</td> 
   <td>MR ApplicationMaster占用的内存量</td> 
   <td>1536</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>yarn.app.mapreduce.am.resource.cpu-vcores</td> 
   <td>MR ApplicationMaster占用的虚拟CPU个数</td> 
   <td>1</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapreduce.am.max-attempts</td> 
   <td>MR ApplicationMaster最大失败尝试次数</td> 
   <td>2</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>Map Task</td> 
   <td>mapreduce.map.memory.mb</td> 
   <td>每个Map Task需要的内存量</td> 
   <td>1024</td> 
   <td>MAP YARN 申请内存 4096</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapreduce.map.cpu.vcores</td> 
   <td>每个Map Task需要的虚拟CPU个数</td> 
   <td>1</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapreduce.map.maxattempts</td> 
   <td>Map Task最大失败尝试次数</td> 
   <td>4</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>Reduce Task</td> 
   <td>mapreduce.reduce.memory.mb</td> 
   <td>每个Reduce Task需要的内存量</td> 
   <td>1024</td> 
   <td>REDUCE YARN 申请内存</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapreduce.reduce.cpu.vcores</td> 
   <td>每个Reduce Task需要的虚拟CPU个数</td> 
   <td>1</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapreduce.reduce.maxattempts</td> 
   <td>Reduce Task最大失败尝试次数</td> 
   <td>4</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapreduce.map.speculative</td> 
   <td>是否对Map Task启用推测执行机制</td> 
   <td>FALSE</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapreduce.reduce.speculative</td> 
   <td>是否对Reduce Task启用推测执行机制</td> 
   <td>FALSE</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapreduce.map.sort.spill.percent</td> 
   <td>Map阶段溢写文件的阈值（排序缓冲区大小的百分比）</td> 
   <td>0.8</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapreduce.reduce.shuffle.parallelcopies</td> 
   <td>Reduce Task启动的并发拷贝数据的线程数目</td> 
   <td>5</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>队列</td> 
   <td>mapreduce.job.queuename</td> 
   <td>作业提交到的队列</td> 
   <td>default</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>io</td> 
   <td>mapreduce.task.io.sort.mb</td> 
   <td>任务内部排序缓冲区大小</td> 
   <td>100</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>io.sort.mb = X;</td> 
   <td>map输出缓冲区大小</td> 
   <td>100</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>io.sort.factor = X;</td> 
   <td>map端或reduce端排序文件时，每次对多合并流数,默认值为10</td> 
   <td>10</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>yarn</td> 
   <td>yarn.app.mapreduce.am.command-opts=-Xmx8192m</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>beyond virtual memory limits</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>yarn.app.mapreduce.am.resource.mb=9216</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>JVM</td> 
   <td>mapreduce.map.java.opts=-Xmx3572M;</td> 
   <td>一般 JVM 参数可以是 Yarn 申请内存的 80%, 如果 都比较大，可以酌情</td> 
   <td>&nbsp;</td> 
   <td>MAP JVM 内存</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>mapreduce.reduce.java.opts=-Xmx4096M;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>REDUCE JVM 内存</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>yarn.app.mapreduce.am.resource.mb=2000;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>AM YARN 申请内存</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>yarn.app.mapreduce.am.command-opts=-Xmx1524m;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>AM JVM 内存</td> 
  </tr> 
  <tr> 
   <td>矢量查询(Vectorized query)</td> 
   <td>hive.vectorized.execution.enabled = true;</td> 
   <td>每次处理数据时会将1024行数据组成一个batch进行处理，而不是一行一行进行处理，这样能够显著提高执行速度。</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>hive.vectorized.execution.reduce.enabled = true;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>TEZ</td> 
   <td>hive.execution.engine=tez;</td> 
   <td>Tez 是一个开源的支持DAG作业的计算框架，它来源于MapReduce框架。</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>set hive.mapjoin.hybridgrace.hashtable=false</td> 
   <td>Hive2.1.0的版本有一个BUG。使用Tez的时候需要设置</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>COST BASED QUERY OPTIMIZATION</td> 
   <td>set hive.cbo.enable=true;</td> 
   <td>COST BASED QUERY OPTIMIZATION可以优化hive的每次查询。如果我们想要使用CBO，需要通过HIVE的分析模式来收集表的不同统计数据，我们可以通过下面的命令来进行:analyze table tweets compute statistics for columns;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>set hive.compute.query.using.stats=true;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>set hive.stats.fetch.column.stats=true;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>set hive.stats.fetch.partition.stats=true;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
 </tbody> 
</table>

资料：  
[https://zh.hortonworks.com/blog/5-ways-make-hive-queries-run-faster/][https_zh.hortonworks.com_blog_5-ways-make-hive-queries-run-faster]  
Hive官网：[https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration][https_cwiki.apache.org_confluence_display_Hive_AdminManual_Configuration]  
Hadoop官网：[http://hadoop.apache.org/docs/current/][http_hadoop.apache.org_docs_current]  
set -v; 查看hive的所有默认配置。

[https_zh.hortonworks.com_blog_5-ways-make-hive-queries-run-faster]: https://zh.hortonworks.com/blog/5-ways-make-hive-queries-run-faster/
[https_cwiki.apache.org_confluence_display_Hive_AdminManual_Configuration]: https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration
[http_hadoop.apache.org_docs_current]: http://hadoop.apache.org/docs/current/