sqoop基本知识

深碍√TFBOYSˉ_ 2023-07-18 14:11 23阅读 0赞

### sqoop基本知识 ###

*   *   *  sqoop产生背景
         *  sqoop是什么
         *  数据导入的方向
         *  sqoop的工作机制

### sqoop产生背景 ###

最早 数据存储是基于传统关系型数据库。随着数据量增长，传统的数据存储方式无法满足需求，换一种新的存储策略。 hdfs 分布式存储 应运而生。但传统的关系型数据库（mysql /oracle）里所存储的数据， 需要迁移到大数据平台。sqoop应运而生。sqoop 是 apache 旗下一款Hadoop 和关系数据库服务器之间传送数据的工具。

### sqoop是什么 ###

sqoop是做数据迁移的。本质还是一个命令行工具，和 HDFS， Hive 相比，并没有什么高深的理论。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMxMTE4NTU_size_16_color_FFFFFF_t_70]

### 数据导入的方向 ###

如果以大数据平台为中心  
数据迁入 import： 是指将数据从 mysql或oracle 平台迁移到 hadoop平台。  
数据迁出 export： 是指将数据从 hadoop平台迁移到 mysql或oracle 平台。  
eg：hive 数据分析的结果，如果要进行可视化展示，一般存入mysql中。

广义hadoop平台包括：hdfs、hive、hbase

### sqoop的工作机制 ###

sqoop工作的本质是：将sqoop命令转换为mapreduce任务。在翻译出的 MapReduce 中主要是对 InputFormat 和 OutputFormat 进行定制。

*  **sqoop的数据迁入**：从mysql读取数据，将数据输出到hdfs / hive /hbase 等。

map端：
    普通的mr，数据输入，使用 FileInputFormat：只能针对文本进行读取。
    	map：LongWritable 
    	key：Text 
    	
    因为是从masql读取，因此需要重新定义输入：
        使用DBInputFormat：将数据库的数据，  一行一行的读取过来
        map（） {直接输出}，不再需要reduce()

数据迁入的本质，相当于重新定义了数据输入类（使用DBInputFormat），在运行过程中，只需要maptask。

*  **sqoop的数据迁出**：将数据从hdfs迁出到mysql

map端：   
         输入不用变，依然使用 FileInputFormat：  一行一行地读取数据
         map（）{
             将数据输出到mysql中
             重新定义  OutputFormat（使用DBOutputFormat）
         }

数据的迁出，相当于重新定义了OUTPUTFORMAT，只需要maptask。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMxMTE4NTU_size_16_color_FFFFFF_t_70]: /images/20230528/18fb68d099214a8c91d88fa196941512.png