HDP 2.5集成Sqoop2

- 日理万妓 2022-07-03 18:56 225阅读 0赞

# 前言 #

HDP 2.5默认只有Sqoop 1，而sqoop 1只有客户端，没有服务端，也不能通过Java Api来进行操作，所以需要集成一下Sqoop2，其实这里我们只需要启动Sqoop2的Server端即可。

# 环境 #

*  CentOS 7.x
 *  HDP 2.5
 *  JDK 1.8
 *  [Sqoop1.99.7][]

注：sqoop 1.99.7其实就是Sqoop2

# 配置 #

配置很简单，下载好sqoop2后，解压到一个路径，如：`/usr/lib/`  
进入解压后的**bin**目录中，编辑**sqoop.sh**文件：  
找到`function sqoop_server_classpath_set`函数，将其中的环境变量该一下就可以了，如下：

function sqoop_server_classpath_set {
    
    HADOOP_COMMON_HOME=${ HADOOP_COMMON_HOME:-${ HADOOP_HOME}/share/hadoop/common}
    HADOOP_HDFS_HOME=${ HADOOP_HDFS_HOME:-${ HADOOP_HOME}/share/hadoop/hdfs}
    HADOOP_MAPRED_HOME=${ HADOOP_MAPRED_HOME:-${ HADOOP_HOME}/share/hadoop/mapreduce}
    HADOOP_YARN_HOME=${ HADOOP_YARN_HOME:-${ HADOOP_HOME}/share/hadoop/yarn}

将这些环境变量都注释掉，改为下面的内容即可：

function sqoop_server_classpath_set {
    
     HDP=/usr/hdp/2.5.0.0-1245
     HADOOP_COMMON_HOME=$HDP/hadoop
     HADOOP_HDFS_HOME=$HDP/hadoop-hdfs
     HADOOP_MAPRED_HOME=$HDP/hadoop-mapreduce
     HADOOP_YARN_HOME=$HDP/hadoop-yarn

# 启动Server #

进入sqoop的bin目录下，执行以下命令启动服务端：

# ./sqoop.sh server start
    
    查看是否启动成功
    # jps
    20611 SqoopJettyServer

如出现SqoopJettyServer进程则表示已启动成功，后面我们就可以通过Java API接口来进行相应的数据导入导出操作了。

[Sqoop1.99.7]: https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz

发表评论取消回复

表情：

评论列表（有 0 条评论，225人围观）

还没有评论，来说两句吧...

相关阅读

相关 ETL学习总结（2）——ETL数据集成工具之kettle、sqoop、datax、streamSets 比较

前言对于数据集成类应用，通常会采用ETL工具辅助完成。ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extrac

亦凉/ 2023年07月07日 11:03/ 0 赞/ 105 阅读

相关 2.7.2 hadoop体系之离线计算-sqoop数据迁移工具-sqoop安装

目录 1.下载并解压 2.修改配置文件 3.加入额外的依赖包 4.验证启动 -------------------- 安装sqoop的前提是已经具备了java和ha

谁践踏了优雅/ 2022年12月24日 07:58/ 0 赞/ 346 阅读

相关 HDP 之 Timeline Service 2.0

目录 1 概述 2 Timeline Service 2.0 体系结构 3 Timeline Service 2.0 安装 3.

你的名字/ 2022年11月19日 11:24/ 0 赞/ 1675 阅读

相关 CentOS7搭建部署Ambari 2.6.2.0最新版(HDP-UTILS、HDP-GPL)大数据平台

如上述博客有任何错误或者疑问，请加VX：1755337994，及时告知！万分感激！ > 注：本文基于root用户操作一、安装环境准备 > 操作系统 centos7.

柔情只为你懂/ 2022年09月11日 04:11/ 0 赞/ 236 阅读

相关 HDP 2.5集成Sqoop2

前言 HDP 2.5默认只有Sqoop 1，而sqoop 1只有客户端，没有服务端，也不能通过Java Api来进行操作，所以需要集成一下Sqoop2，其实这里我们只需要

- 日理万妓/ 2022年07月03日 18:56/ 0 赞/ 226 阅读

相关 HDP错误汇总

前言上一篇《[HDP 2.5安装搭建部署][HDP 2.5]》主要写了一些关于安装的步骤，但不是每次都能顺利的安装成功了，不可避免总是会报很多错误，这里总结一些错误的解

墨蓝/ 2022年07月03日 13:57/ 0 赞/ 640 阅读

相关 HDP 2.5安装搭建部署

前言 HDP 全称Hortonworks Data Platform (HDP)，是Hortomworks公司提供的一个大数据平台，它整合了开源hadoop生态圈的大部分

た入场券/ 2022年06月18日 12:12/ 0 赞/ 690 阅读

相关 HDP 2.5集成Hue

简介 Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python W

向右看齐/ 2022年06月14日 01:58/ 0 赞/ 261 阅读

相关 Sqoop2安装

一、简介 sqoop是一个用于结构化数据系统（比如关系型数据库系统RDBMS）和Hadoop系统间的大量数据传输的工具，特别是Hadoop所使用的HDFS分布式文件系统。作

Myth丶恋晨/ 2022年05月23日 12:42/ 0 赞/ 346 阅读

相关 ambari+hdp安装

Yun2集群上Ambari+HDP安装 1.安装环境说明：系统版本：CentOS7 安装版本： Ambari版本:2.2.2.0 HDP版本:2.4.2.

小鱼儿/ 2022年01月14日 00:33/ 0 赞/ 479 阅读