Spark-Sql快速入门系列(3) | 读/写数据源

ゝ一纸荒年。 2022-12-01 15:35 230阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]

# 文件保存选项(SaveMode) #

*  保存操作可以使用 SaveMode, 用来指明如何处理数据. 使用mode()方法来设置.
 *  有一点很重要: 这些 SaveMode 都是没有加锁的, 也不是原子操作. 还有, 如果你执行的是 Overwrite 操作, 在写入新的数据之前会先删除旧的数据.

<table> 
 <thead> 
  <tr> 
   <th>Scala/Java</th> 
   <th>Any Language</th> 
   <th>Meaning</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>SaveMode.ErrorIfExists(default)</td> 
   <td>“error”(default)</td> 
   <td>如果文件已经存在则抛出异常</td> 
  </tr> 
  <tr> 
   <td>SaveMode.Append</td> 
   <td>“append”</td> 
   <td>如果文件已经存在则追加</td> 
  </tr> 
  <tr> 
   <td>SaveMode.Overwrite</td> 
   <td>“overwrite”</td> 
   <td>如果文件已经存在则覆盖</td> 
  </tr> 
  <tr> 
   <td>SaveMode.Ignore</td> 
   <td>“ignore”</td> 
   <td>如果文件已经存在则忽略</td> 
  </tr> 
 </tbody> 
</table>

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/b153b401b57b45f9934e995927cfe37c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，230人围观）

还没有评论，来说两句吧...

相关阅读

相关 SparkSQL 数据源

3.SparkSQL 数据源 3.1 通用加载/保存方法 3.1.1 手动指定选项　　Spark SQL 的 DataFrame 接口支持多种数据源的操...

我会带着你远行/ 2024年04月20日 09:11/ 0 赞/ 164 阅读

相关 Java POI (1)—— 数据读写操作快速入门

一、Excel的版本区别（03版和07版）所谓“03版” 和 “07版”，指的是 Microsoft Excel 版本号。这些版本号代表着不同的Excel 文件格式。2

谁践踏了优雅/ 2023年10月12日 19:22/ 0 赞/ 43 阅读

相关 SparkSql 数据源

SparkSQL数据源文章目录 1 通用加载/保存方法 1.1 手动指定选项 1.2 文件保

青旅半醒/ 2023年06月27日 12:42/ 0 赞/ 41 阅读

相关 Spark Streaming快速入门系列(3) | Kafka 数据源

目录一.Kafka选型二.kafka和streaming理论指导三.从kafka消费数据1 三.从kafka消费数据2 三.从kafk

谁借莪１个温暖的怀抱￠/ 2022年12月03日 15:48/ 0 赞/ 278 阅读

相关 Spark-Sql快速入门系列(4) | JDBC读写数据

目录一.JDBC 从 jdbc 读数据通用写法专用写法向 jdbc 写入数据

淩亂°似流年/ 2022年12月01日 15:43/ 0 赞/ 246 阅读

相关 Spark-Sql快速入门系列(3) | 读/写数据源

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

ゝ一纸荒年。/ 2022年12月01日 15:35/ 0 赞/ 231 阅读

相关 sparkSql 读写Es

目录一、maven相关依赖二、ticket.csv 三、代码四、输出结果五、Es版本问题 -------------------- 一、maven相关依

你的名字/ 2022年09月03日 03:24/ 0 赞/ 321 阅读

相关 Spark系列--SparkSQL(六)数据源

前言 SparkSQL的数据源：结构化的文件（json，parquet），或者是Hive的表，或者是外部的数据库（mysql），也或者是已经存在的RDD。 Spark

梦里梦外;/ 2022年05月19日 10:13/ 0 赞/ 333 阅读

相关 SparkSQL读写kudu小记

在操作之前首先要有相应的依赖 <dependency> <groupId>org.apache.kudu</groupId>

今天药忘吃喽~/ 2022年03月06日 07:56/ 0 赞/ 453 阅读

相关 SparkSql 读写Hive 分区表（数据清洗类）

> 主要使用 SparkSql 对 Hive 分区表使用动态分区进行操作，根据规则对数据进行清洗等，除了刚导入数据时指定date范围清洗，后期按天进行清洗。 p

比眉伴天荒/ 2021年09月23日 09:46/ 0 赞/ 654 阅读