moonbox使用CDH6.0.0部署记录

布满荆棘的人生 2021-11-26 14:06 377阅读 0赞

**目录**

前言

1.moonbox启动后，spark on yarn 任务运行失败

2.netty包冲突

3.spark相关包

4.关于rest方式提交时候影响的jar

5.其他

--------------------

### 前言 ###

moonbox目前最新版本是0.3.0，官方的文档上在环境准备这一块明确指出**仅支持Apache Spark2.2.0**

>  *  已安装Apache Spark 2.2.0
>     
>     (**此版本仅支持Apache Spark 2.2.0**, 其他Spark 版本后续会兼容)
>  *  已安装MySQL并启动,且开启远程访问
>  *  各安装节点已经配置ssh免密登录

**首先是版本要求必须是2.2.0，其次要求是Apache的**。我们最初在搭建大数据平台的时候，使用的cloudera公司CM安装的CDH6.0.0配套的Spark是2.2.0。想着版本都一样，想必不会有什么问题，就按照官方的步骤一步一步安装。但是，还是遇到了不少问题。这些问题大多数都是jar包缺失或者冲突，说到底主要是CDH6.0.0配套的Spark2.2.0和Apache的Spark2.2.0还有区别。下面一一记录和说明。

**说明：**

moonbox官方的百度网盘链接上有spark2.2.0的压缩包，down下来，主要用到jars文件夹中的jar。我把相关需要替换的jar放到集群中每台主机的/opt/ojars目录，如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpYW5nY2hhMDA3_size_16_color_FFFFFF_t_70][]

### 1.moonbox启动后，spark on yarn 任务运行失败 ###

主要是jackson相关包的版本不同造成，切到spark安装目录下的jars目录下

cd /opt/cloudera/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114/lib/spark/jars

**修改对应软链接：**

ln -snf /opt/ojars/jackson-annotations-2.6.5.jar jackson-annotations-2.9.5.jar
    ln -snf /opt/ojars/jackson-core-2.6.5.jar jackson-core-2.9.5.jar
    ln -snf /opt/ojars/jackson-databind-2.6.5.jar jackson-databind-2.9.5.jar
    ln -snf /opt/ojars/spark-network-common_2.11-2.2.0.jar spark-network-common_2.11-2.2.0-cdh6.0.0.jar
    ln -snf /opt/ojars/jackson-module-scala_2.11-2.6.5.jar jackson-module-scala_2.11-2.9.5.jar

### 2.netty包冲突 ###

ln -snf /opt/ojars/netty-all-4.0.43.Final.jar netty-all-4.1.17.Final.jar

同时删除掉目录下所有的netty相关的软连接

### 3.spark相关包 ###

主要影响moonbox-shell方式挂在数据库后的操作，如果不调整，在mount数据源之后，使用use database时候会shell会卡住不动，任务日志有报错。

ln -snf /opt/ojars/spark-sql_2.11-2.2.0.jar spark-sql_2.11-2.2.0-cdh6.0.0.jar
    ln -snf /opt/ojars/spark-streaming_2.11-2.2.0.jar spark-streaming_2.11-2.2.0-cdh6.0.0.jar
    ln -snf /opt/ojars/spark-catalyst_2.11-2.2.0.jar spark-catalyst_2.11-2.2.0-cdh6.0.0.jar
    ln -snf /opt/ojars/spark-core_2.11-2.2.0.jar spark-core_2.11-2.2.0-cdh6.0.0.jar  
    ln -snf /opt/ojars/spark-hive_2.11-2.2.0.jar spark-hive_2.11-2.2.0-cdh6.0.0.jar
    ln -snf /opt/ojars/spark-yarn_2.11-2.2.0.jar spark-yarn_2.11-2.2.0-cdh6.0.0.jar

### 4.关于rest方式提交时候影响的jar ###

ln -snf /opt/ojars/spark-network-shuffle_2.11-2.2.0.jar spark-network-shuffle_2.11-2.2.0-cdh6.0.0.jar

不调整的话，rest方式提交任务会失败。

按照如上调整，目前可以正常使用moonbox，例如moonbox-shell的操作、rest提交、jdbc连接访问等等。

### 5.其他 ###

**  moonbox的rest方式不支持dll操作，即不支持通过rest方式创建组织、创建sa用户等操作，仅仅支持insert的批量操作，但是即便是insert操作也有局限性，只能使用insert into table select xx from table2 这样的语句，且table表后不能给字段名。**

但是jdbc方式支持dll操作，对于想封装自己的可视化操作界面的同学，这无疑是好消息。

**          经过测试和调研，目前诸如mybatis/hb/DbRecord/JPA这一类的持久层框架不支持连接moonbox，而且注入druid/c3p0这些连接池工具也不支持moonbox。**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpYW5nY2hhMDA3_size_16_color_FFFFFF_t_70]: /images/20211126/d60ad7b8792b4e6891576fd6206ef8e0.png