spark案例——wordcount

古城微笑少年丶 2023-10-06 19:43 225阅读 0赞

local本地模式

添加pom依赖

<properties>
        <scala.version>2.12.0</scala.version>
      </properties>
    
    <dependencies>
        <dependency>
          <groupId>org.scala-lang</groupId>
          <artifactId>scala-library</artifactId>
          <version>${scala.version}</version>
        </dependency>
        <dependency>
          <groupId>org.apache.spark</groupId>
          <artifactId>spark-core_2.12</artifactId>
          <version>3.0.0</version>
        </dependency>
      </dependencies>

自行准备一个文件word.txt

//创建spark运行配置对象
        val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    
        //创建spark上下文对象(连接对象)
        val sc: SparkContext = new SparkContext(sparkConf)
    
        //读取文件
        val file: RDD[String] = sc.textFile("src/main/inputfile/word.txt")
    	//如果文件在hdfs上
    	// val file: RDD[String] = sc.textFile("hdfs://ip地址:9820/study/sparktest/word.txt")
    
        //计算
        file.flatMap(_.split(" "))
          .map((_,1))
          .reduceByKey(_+_)
          .collect()
          .foreach(println)
    
        sc.stop()

如果想要保存结果

sc.textFile("src/main/inputfile/word.txt")
          .flatMap(_.split(" "))
          .map((_, 1))
          .reduceByKey(_ + _)
          .repartition(1)
            .saveAsTextFile("地址")

发表评论取消回复

表情：

评论列表（有 0 条评论，225人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark案例——wordcount

local本地模式添加pom依赖 <properties> <scala.version>2.12.0</scala.version>

古城微笑少年丶/ 2023年10月06日 19:43/ 0 赞/ 226 阅读

相关【Spark-WordCount】Spark做简单的WordCount

package cn.itcast.hello import org.apache.spark.{ SparkConf, SparkC

谁践踏了优雅/ 2023年10月05日 18:19/ 0 赞/ 62 阅读

相关 Scala-20：Spark实现WordCount案例

Scala-20：Spark实现WordCount案例一、案例分析对于一个文件，文件内容是 hello hello world hel

r囧r小猫/ 2023年10月04日 16:54/ 0 赞/ 176 阅读

相关 Spark 之WordCount

前言学习任何一门语言，都是从helloword开始，对于大数据框架来说，则是从wordcount开始，spark也不例外，作为一门大数据处理框架，在系统的学习spark

叁歲伎倆/ 2023年10月02日 18:57/ 0 赞/ 38 阅读

相关 Spark-WordCount实现

数据 hello scala hello scala hello spark spark hadoop hadoop 具体步骤 ![在这

野性酷女/ 2023年02月18日 12:57/ 0 赞/ 188 阅读

相关 Spark Streaming快速入门系列(2) | wordcount案例

目录 wordcount 案例 wordcount 案例解析 wordcount 案例 1.需求使用 netcat 工具向 999

拼搏现实的明天。/ 2022年12月03日 13:19/ 0 赞/ 344 阅读

相关 Spark算子实现WordCount

1 map + reduceByKey sparkContext.textFile("hdfs://ifeng:9000/hdfsapi/wc.txt")

曾经终败给现在/ 2022年12月03日 05:17/ 0 赞/ 363 阅读

相关 Idea 使用Maven创建Spark WordCount 案例

文章出处 [http://blog.csdn.net/whzhaochao/article/details/72358215][http_blog.csdn.net_whzha

喜欢ヅ旅行/ 2022年06月16日 14:23/ 0 赞/ 313 阅读

相关 spark wordcount

访问本地数据在/usr/local/spark/mycode/创建一个文件 vi /usr/local/spark/mycode/word1.txt 输入一些单词，

浅浅的花香味﹌/ 2022年06月06日 07:22/ 0 赞/ 330 阅读

相关 Spark的wordcount

private static void wordCount() { //设置这次任务的名字和设置本地跑spark程序 S

小鱼儿/ 2022年02月05日 13:21/ 0 赞/ 367 阅读