Ambari Spark 集成Hive

淡淡的烟草味﹌ 2023-06-14 10:38 71阅读 0赞

Ambari Spark 集成Hive

1.  beeline出现org.apache.thrift.TApplicationException: Required field ‘client\_protocol’ is unset! Struct:TOpenSessionReq(client\_protocol:null,configuration:set:hiveconf:hive.server2.thrift.resultset.default.fetch.size=1000,use:database=default\})  
    原值 替换值  
    hive/bin 下的 beeline spark/bin 下的 beeline  
    2、新版本spark不使用hive的源数据表的问题  
    对spark2-hive-site-override做修改

原值 替换值  
metastore.catalog.default=spark metastore.catalog.default=hive  
3、出现AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Table default.partition\_test failed strict managed table checks due to the following reason: Table is marked as a managed table but is not transactional.)  
对hive-site.xml做修改

原值 替换值  
hive.strict.managed.tables=true hive.strict.managed.tables=false  
注意是hive中

4、出现org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: Load Data failed for hdfs://\*\*\*:8020/warehouse/tablespace/managed/hive/\*\*\*/.hive-staging\_hive\_2019-07-02\_18-17-08\_028\_419193115114639265-1/-ext-10000/part-00000-1f0e8f19-6a12-448f-ba18-a2319711c0aa-c000 as the file is not owned by hive and load data is also not ran as hive;  
spark hive-site.xml添加hive.load.data.owner=spark(具体执行用户)

5、出现org.apache.spark.sql.AnalysisException: java.lang.NullPointerException: null;at org.apache.spark.sql.hive.HiveExternalCatalog.withClient(HiveExternalCatalog.scala:106)  
spark sql不支持hive的OrcInputFormat格式

原文链接：https://blog.csdn.net/qq\_39937778/article/details/100672258

发表评论取消回复

表情：

评论列表（有 0 条评论，71人围观）

还没有评论，来说两句吧...

相关阅读

相关 hive on spark 和spark on hive

在Spark上运行Hive和在Hive上运行Spark都可以，但它们之间存在一些性能上的差异。在Hive上运行Spark可能会更快，因为Hive支持多个节点，可以实现分布式执行

以你之姓@/ 2023年09月29日 23:06/ 0 赞/ 114 阅读

相关 Ambari spark 开启动态资源分配

这几天研究资源分配的时候踩了不少坑,先做以下总结: 1.修改每台NodeManager上的yarn-site.xml：修改 <property>

青旅半醒/ 2023年06月15日 04:54/ 0 赞/ 110 阅读

相关 Ambari Spark 集成Hive

Ambari Spark 集成Hive 1. beeline出现org.apache.thrift.TApplicationException: Required fiel

淡淡的烟草味﹌/ 2023年06月14日 10:38/ 0 赞/ 72 阅读

相关 Ambari spark-sql 连接不上hive org.apache.spark.sql.AnalysisException: Table or view not found

org.apache.spark.sql.AnalysisException: Table or view not found Ambari集群，通过spark-sh

心已赠人/ 2023年06月14日 05:28/ 0 赞/ 51 阅读

相关 Spark On Hive 与 Hive On Spark

Spark On Hive 与 Hive On Spark > 1. SparkSql：spark提供的一个模块，模块支持使用SQL语言及spark提供的DF,DS,A

柔光的暖阳◎/ 2023年01月02日 12:23/ 0 赞/ 346 阅读

相关 Spark SQL 与Hive集成

目录一、Spark SQL 与Hive集成(spark-shell) （1）添加配置项目（2）启动服务

不念不忘少年蓝@/ 2022年12月10日 03:46/ 0 赞/ 306 阅读

相关 spark与hive集成的问题

ambari默认安装的spark，是无法访问hive的。需要把 /etc/hive/conf 中的 hive-site.xml 移到spark的conf目录下并修改以下

Dear 丶/ 2022年12月03日 09:25/ 0 赞/ 267 阅读

相关 Ambari部署Spark

> Add Service ![image-20210223095506581.png][] ![image-20210223095627647.png][] > 集群部

男娘i/ 2022年08月31日 04:52/ 0 赞/ 290 阅读

相关 Ambari部署Hive

> 创建Hive所需的MySQL资源 > > Hive的部署过程跟 HBase基本一样，不过 Hive的元数据一般选择存放在MySQL，所以我们要在 MySQL里单独为 Hi

短命女/ 2022年08月31日 04:52/ 0 赞/ 329 阅读

相关 janusgraph ambari集成

参考项目： [https://github.com/simonellistonball/janusgraph-mpack][https_github.com_simonell

深碍√TFBOYSˉ_/ 2022年02月19日 06:35/ 0 赞/ 330 阅读