Structure streaming-ﬁle sink

女爷i 2023-02-20 06:29 31阅读 0赞

存储输出到目录中 仅仅支持 append 模式  
需求: 把单词和单词的反转组成 json 格式写入到目录中

import org.apache.spark.sql.SparkSession
    
    object FileSink { 
      def main(args: Array[String]): Unit = { 
        val spark = SparkSession
          .builder()
          .master("local[1]")
          .appName("Test")
          .getOrCreate()
        import spark.implicits._
    
        val lines = spark.readStream
          .format("socket")
          .option("host", "hadoop102")
          .option("port", 10001)
          .load()
    
        val words = lines.as[String].flatMap(line => { 
          line.split(" ").map(word => { 
            (word, word.reverse)
          })
        }).toDF("原单词", "反单词")
    
        words.writeStream
          .outputMode("append")
          .format("json")  //支持json orc csv
          .option("path","./filesink")
          .option("checkpointLocation","./ck1")  //必须指定checkpointLocation
          .start()
          .awaitTermination()
      }
    
    }

![在这里插入图片描述][20200623224936176.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]

[20200623224936176.png]: https://img-blog.csdnimg.cn/20200623224936176.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200623224955317.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，31人围观）

还没有评论，来说两句吧...

相关阅读

相关六、Structured Streaming Sink到mysql

、Spark2.4中，StructuredStreaming目前支持的sink只有FileSink、KafkaSink、ConsoleSink、MemorySink和Fo...

柔情只为你懂/ 2024年04月18日 15:17/ 0 赞/ 103 阅读

相关 Structured Streaming 简介

1. Structured Streaming 关键思想把数据流视作一张数据不断增加的表，这样用户就可以基于这张表进行数据处理，就好像使用批处理来处理

雨点打透心脏的1/2处/ 2023年06月19日 11:12/ 0 赞/ 132 阅读

相关 Structure streaming-ﬁle sink

存储输出到目录中仅仅支持 append 模式需求: 把单词和单词的反转组成 json 格式写入到目录中 import org.apache.spark.sql

女爷i/ 2023年02月20日 06:29/ 0 赞/ 32 阅读

相关 Structure Streaming-RateResource

以固定的速率生成固定格式的数据, 用来测试 Structured Streaming 的性能. import org.apache.spark.sql.SparkSe

╰+哭是因爲堅強的太久メ/ 2023年02月20日 03:17/ 0 赞/ 102 阅读

相关 Structure Streaming-ﬁle source

读取普通文件夹内的文件数据 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cH

亦凉/ 2023年02月20日 03:15/ 0 赞/ 106 阅读

相关 Structured Streaming详解

目录一、Structured Streaming概述（1）Structured Streaming背景（2）S

àì夳堔傛蜴生んèń/ 2022年12月29日 11:27/ 0 赞/ 253 阅读

相关 Spark Streaming 对比 Structured Streaming

[Spark——Spark Streaming 对比 Structured Streaming][Spark_Spark Streaming _ Structured Stre

青旅半醒/ 2022年10月07日 00:58/ 0 赞/ 122 阅读

相关 Structured Streaming

Spark2.0新增了Structured Streaming，它是基于SparkSQL构建的可扩展和容错的流式数据处理引擎，使得实时流式数据计算可以和离线计算采用相同的处理方

阳光穿透心脏的1/2处/ 2022年06月02日 23:26/ 0 赞/ 296 阅读

相关 Structured Streaming流数据Sink到Mysql

Structured Streaming写入Mysql Structured Streaming在Write的过程，并没有提供jdbc的写入format格式。所以需要自己

梦里梦外;/ 2022年03月27日 01:36/ 0 赞/ 307 阅读

相关 Spark Structured Streaming

With the ubiquity of real-time data, organizations need streaming systems that are scala

雨点打透心脏的1/2处/ 2022年01月20日 11:59/ 0 赞/ 281 阅读