CDH 配置 Sentry 服务

Dear 丶 2021-11-09 16:56 469阅读 0赞

1.  #### 启用Sentry服务前 ####
    
    1.  ##### 设置 Hive Warehouse 目录权限 #####
        
        **要点：** 启用 HDFS / Sentry同步无需在Hive仓库目录上显式设置权限。启用同步后，所有 Hive 数据库和表在HDFS底层文件系统上都归属 hive : hive 。 Sentry 会把表的权限自动转换为 HDFS 底层文件的 ACL。
        
        Hive的仓库目录 /user/hive/warehouse 或者在 hive-site.xml 中指定的 hive.metastore.warehouse.dir 的值，但所属组必须为 hive:hive 。
        
        1.  ###### 使用默认的Hive仓库目录 ######
            
            仓库目录必须按照以下方式设置：
            
             *  仓库目录权限为771(默认路径为/user/hive/warehouse)
             *  子目录权限为771(例如：/user/hive/warehouse/mysubdir)
             *  所有文件和子目录的用户属组应该为 hive:hive
            
                $ sudo -u hdfs hdfs dfs -chmod -R 771 /user/hive/warehouse
                $ sudo -u hdfs hdfs dfs -chown -R hive:hive /user/hive/warehouse
            
            如果启用了Kerberos，必须使用 hdfs 用户 kinit 然后设置相应目录的权限。
            
                sudo -u hdfs kinit -kt hdfs.keytab hdfs
                sudo -u hdfs hdfs dfs -chmod -R 771 /user/hive/warehouse
                sudo -u hdfs hdfs dfs -chown -R hive:hive /user/hive/warehouse
        2.  ###### 使用非默认Hive仓库 ######
            
            如果使用不同的Hive仓库目录，可以在Cloudera Manager的Hive服务中配置hive.metastore.warehouse.dir属性，并且为配置的目录设置相应的权限。
            
                hdfs dfs -chown hive:hive /data
                hdfs dfs -chmod 771 /data
            
            **注意:**  
            更改Hive仓库默认路径不会移动现有表的数据。在修改默认路径之前的任何数据都会保留在默认位置/user/hive/warehouse，创建新表则会保存在新路径下。
        
        **注意**:
        
         *  将 hive-site.xml中将 hive.warehouse.subdir.inherit.perms 设置为 true, 以便在 warehouse 目录上设置的权限度可以集成到子目录。
         *  如果用户可以访问仓库中的任何对象，则该用户将能够执行 use default。这可以确保在启用Sentry后，旧的应用程序可以使用 use default 命令。
         *  按照上面内容修改了 Hive 仓库目录的权限，会覆盖 CDH 安装时对 Hive 的部分建议
    2.  ##### 禁用HiveServer2的模拟 #####
        
        HiveServer2模拟允许用户作为连接用户而不是超级用户执行查询和访问HDFS文件。访问策略使用基于HDFS ACL 应用于 HDFS 文件。启用 HiveServer2 模拟会绕过 Sentry 的端到端授权过程。具体来说，如果启用了Hive模拟，虽然Sentry对Hive仓库中的表和视图的权限，但是却没办法控制底层HDFS文件的访问。这意味着，对Hive仓库中的表没有Sentry权限的用户仍然可以绕过Sentry授权检查并对仓库中的表执行作业和查询，只要他们对支持该表的HDFS文件具有权限即可。
        
        使用以下方式禁用Hive的用户模拟:  
        Hive -> 配置 -> HiveServer2 -> 搜索 doAs -> 取消勾选 -> 保存更改 -> 重启相关服务  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70][]
    3.  ###### 对于YARN，需要配置使用 hive 用户提交 YARN 作业 ######
        
        YARN -> 配置 -> NodeManager -> 搜索 allowed.system.users -> 添加hive用户 -> 保存更改 -> 重启相关服务
        
        **注意:**  
        如果你有多组NodeManager，需要保证每组NodeManager的该配置都包含了hive用户。
        
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 1][]
    4.  ###### 阻止外部应用程序访问Hive Metastore ######
        
        Hive -> 配置 -> NodeManager -> 搜索 hadoop.proxyuser.hive.groups -> 添加hive,hue和sentry用户 -> 保存更改 -> 重启相关服务
        
        **注意:**  
        设置此参数会阻止对非服务用户访问Hive Metastore。这可以禁止Hive CLI，Spark和Sqoop应用程序与Hive服务的交互。该配置不影响这些应用程序的运行，但是它们无法再访问Hive Metastore，并且所有Hive查询都将失败。运行Hive CLI，Spark和Sqoop的用户必须是hive，hue或sentry用户，或者属于这3个group，你也可以将其他用户组增加到上面配置的代理用户列表中。
        
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 2][]

#### 2. 为Hive服务启用Sentry ####

1.  Hive -> 配置 -> 搜索 sentry -> 勾选Sentry -> 保存更改 -> 重启服务  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 3][]
2.  Hive -> 配置 -> 搜索 “存储通知” -> 勾选"启用数据库中的存储通知" -> 保存更改 -> 重启 Hive 服务  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 4][]

#### 3. 为Impala服务启用Sentry ####

Hive -> 配置 -> 搜索 sentry -> 勾选Sentry -> 保存更改 -> 重启服务  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 3][]

#### 4. 配置HDFS开启ACLs与Sentry权限同步 ####

HDFS -> 配置 -> 搜索 acl -> 启用访问控制列表和Sentry同步 -> 保存更改 -> 重启服务  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 5][]

#### 5. 为Hue服务启用Sentry ####

Hue中集成了一个安全模块用来界面化操作Sentry。设置Hue以管理Sentry权限时，请确保正确设置了用户和组。连接到Sentry的每个Hue用户必须与服务器操作系统中的用户相同，以便Sentry可以对Hue用户进行身份验证。Hue中的用户group也同样要与本地操作系统中的用户group相同。

Hue -> 配置 -> 搜索 sentry -> 勾选Sentry -> 保存更改  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 6][]

#### 6. 将Hive，Spark和Hue组添加到Sentry的管理组 ####

Sentry -> 配置 -> 搜索 admin -> 勾选Sentry -> 保存更改 -> 重启服务  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 7][]

#### 7. HiveServer2受限制的属性 ####

为Hive启用Sentry后会导致HiveServer2的部分属性无法在客户端运行时进行修改。具体受限制的属性参数如下，当然你依旧可以在HiveServer2服务端进行参数修改。

hive.enable.spark.execution.engine
    hive.semantic.analyzer.hook
    hive.exec.pre.hooks
    hive.exec.scratchdir
    hive.exec.local.scratchdir
    hive.metastore.uris,
    javax.jdo.option.ConnectionURL
    hadoop.bin.path
    hive.session.id
    hive.aux.jars.path
    hive.stats.dbconnectionstring
    hive.scratch.dir.permission
    hive.security.command.whitelist
    hive.security.authorization.task.factory
    hive.entity.capture.transform
    hive.access.conf.url
    hive.sentry.conf.url
    hive.access.subject.name
    hive.sentry.subject.name
    hive.sentry.active.role.set

#### 8. 保护Hive Metastore ####

保护Hive Metastore是非常重要的。如果你的集群没有启用Kerberos，请将sentry.hive.testing.mode属性设置为true，以允许Sentry使用较弱的身份验证机制。

**注意:**  
Cloudera强烈建议不要在生产环境中配置该参数。该参数仅适用于Sentry的测试模式，可以用于你的测试环境

Hive-> 配置 -> 搜索 sentry-site.xml-> 添加下面配置 -> 保存更改 -> 重启服务

<property>
      <name>sentry.hive.testing.mode</name>
      <value>true</value>
    </property>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 8][]

#### 9. 在HiveServer2中使用UDF ####

当HiveServer2和Beeline客户端不在同一台主机时，不能使用ADD JAR命令。作为替代的，在加载jar包时只能通过在Hive服务中配置hive.reloadable.aux.jars.path路径。启用Sentry时，创建永久函数和临时函数的过程存在一些差异。

参考:  
https://www.cloudera.com/documentation/enterprise/latest/topics/sg\_sentry\_service\_config.html

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70]: /images/20211109/7341104481414feab0abe40a548f191c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 1]: /images/20211109/c58258b43f9341aa98d2c3ee52d791aa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 2]: /images/20211109/ab8084b6fc7041de88c20686cc32d754.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 3]: /images/20211109/c8399acee41c4ad5ad1c12ca156331ed.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 4]: /images/20211109/174969b07d1d488280ce7e374c944b12.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 5]: /images/20211109/1118370fb4014fdba80a98aa5fbe5d41.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 6]: /images/20211109/bcb79780110e4de1a11f6387d79465cc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 7]: /images/20211109/b655bc1c4a3e416d976925850aaee3f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 8]: /images/20211109/989f6a2f14b34e8f899101278cde329b.png