第一个spark scala程序——wordcount

末蓝、 2022-06-09 13:35 338阅读 0赞

背景：C++的第一个程序是helloworld，但对于spark scala，输出helloworld并没有什么意义，体现不了spark的精髓，所以wordcount才是王道……

话不多说，直接上代码wordcount  
（spark本地实现）  
本地文件test.txt如下：  
spark shell java scala spark shell

import org.apache.spark.{SparkContext, SparkConf}
    
    object spark_test {
    
      def main(args: Array[String]): Unit = {
        val conf = new SparkConf().setAppName("WordCount").setMaster("local")
        val sc = new SparkContext(conf)
        val lines = sc.textFile("E:/test.txt")   // 读取本地文件
        val words = lines.flatMap(_.split(" ")).filter(word => word != " ")
        val pairs = words.map(word => (word, 1))
        val wordscount = pairs.reduceByKey(_ + _)
        wordscount.collect.foreach(println)
    
        //通过sortByKey方法对单词出现的次序进行排序
        val wordcount = pairs.reduceByKey(_ + _).map(pair => (pair._2, pair._1)).sortByKey(false).map(pair => (pair._2, pair._1))
        wordcount.collect.foreach(println)
        sc.stop()
      }
    }

结果如下：  
(scala,1)  
(spark,2)  
(java,1)  
(shell,2)

//通过sortByKey方法对单词出现的次序进行排序  
(spark,2)  
(shell,2)  
(scala,1)  
(java,1)

发表评论取消回复

表情：

评论列表（有 0 条评论，338人围观）

还没有评论，来说两句吧...

相关阅读

相关第一个MapReduce程序——WordCount

通常我们在学习一门语言的时候，写的第一个程序就是Hello World。而在学习Hadoop时，我们要写的第一个程序就是词频统计WordCount程序。一、MapReduc

朱雀/ 2023年10月21日 06:54/ 0 赞/ 534 阅读

相关 Scala-20：Spark实现WordCount案例

Scala-20：Spark实现WordCount案例一、案例分析对于一个文件，文件内容是 hello hello world hel

r囧r小猫/ 2023年10月04日 16:54/ 0 赞/ 133 阅读

相关编写第一个MapReduce程序（WordCount）

一、数据格式准备 1. 创建一个新的文件【在master节点中】 vim wordcount.txt 2. 向其中放入内容并保

末蓝、/ 2022年12月15日 06:30/ 0 赞/ 326 阅读

相关使用Spark完成WordCount程序（Java、Scala双语言）

我们分别使用scala和java两门语言完成项目先创建一个maven项目，添加java和scala的sdk ![在这里插入图片描述][watermark_type_ZmF

小鱼儿/ 2022年09月05日 04:19/ 0 赞/ 265 阅读

相关第一个MapReduce程序——WordCount

通常我们在学习一门语言的时候，写的第一个程序就是Hello World。而在学习Hadoop时，我们要写的第一个程序就是词频统计`WordCount`程序。一、MapRe

末蓝、/ 2022年08月03日 00:52/ 0 赞/ 327 阅读

相关 Hadoop的第一个程序 wordcount

Hadoop的第一个程序 wordcount package com.songguoliang.hadoop.chapter05;

待我称王封你为后i/ 2022年08月02日 12:38/ 0 赞/ 286 阅读

相关第一个spark scala程序——wordcount

背景：C++的第一个程序是helloworld，但对于spark scala，输出helloworld并没有什么意义，体现不了spark的精髓，所以wordcount才是王道…

末蓝、/ 2022年06月09日 13:35/ 0 赞/ 339 阅读

相关第一个wordcount程序

在hadoop集群中，系统自带了许多mapreduce的程序例子，在\{%HOME%\}/hadoop-mapreduce/hadoop-mapreduce-exampl

逃离我推掉我的手/ 2022年05月17日 11:17/ 0 赞/ 313 阅读

相关 scala和spark实践wordcount

1.scala实现：数据The\_Man\_of\_Property.txt： ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow

桃扇骨/ 2022年03月14日 14:40/ 0 赞/ 375 阅读

相关第一个Spark程序之Spark本地程序

程序和源数据均为本地源数据和程序代码 {"name":"Michael"} {"name":"Andy", "age":30} {"name"

骑猪看日落/ 2021年12月09日 02:15/ 0 赞/ 352 阅读