java 开发spark 使用程序中的集合创建RDD

男娘i 2023-05-31 07:56 9阅读 0赞

import org.apache.spark.SparkConf;
    import org.apache.spark.api.java.JavaRDD;
    import org.apache.spark.api.java.JavaSparkContext;
    import org.apache.spark.api.java.function.Function2;
    
    import java.util.Arrays;
    import java.util.List;
      //通过并行化集合创建RDD
    public class ParallelizeCollection {
        public static void main(String[] args) {     
           
            //创建Sparkconf
            SparkConf conf = new SparkConf()
                    .setAppName("ParallelizeCollection")
                    .setMaster("local");
    
    
            //创建javaSparkContent
            JavaSparkContext sc = new JavaSparkContext(conf);
    
    
            //要通过并行化集合方式创建RDD，那么就调用SparkContext以及其子类的parallelize()的方法
            List<Integer> numbers = Arrays.asList(1, 2, 3, 4, 5, 6, 7, 8, 9, 10);
            JavaRDD<Integer> numberRDD = sc.parallelize(numbers);
    
    
            //执行reduce算子操作
            int sum = numberRDD.reduce(new Function2<Integer, Integer, Integer>() {
                @Override
                public Integer call(Integer num1, Integer num2) throws Exception {
                    return num1 + num2;
                }
            });
    
    
            // 输出累加的和
            System.out.println("1到10累加的和：" + sum);
    
            //
    
    
        }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，9人围观）

还没有评论，来说两句吧...

相关阅读

相关使用Python和RDD进行Spark开发

Apache Spark是一个快速、通用的大数据处理框架，它提供了丰富的API和工具，以支持在分布式环境中进行高效的数据处理和分析。在Spark中，RDD（弹性分布式数据集）是

港控/mmm°/ 2024年03月02日 09:01/ 0 赞/ 94 阅读

相关 Spark创建RDD的四种方式（一）：从集合（内存）中创建 RDD代码示例

从底层代码实现来讲，makeRDD 方法其实就是 parallelize 方法: def makeRDD[T: ClassTag]( seq: Seq[T]

Myth丶恋晨/ 2023年10月05日 16:34/ 0 赞/ 117 阅读

相关 Spark 创建RDD的几种方式

什么是RDD > RDD （ Resilient Distributed Dataset ）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中

Bertha 。/ 2023年10月02日 19:03/ 0 赞/ 115 阅读

相关 Spark-Core RDD的创建

一、RDD创建的3种方式：　　1、从集合中创建RDD 　　2、从外部存储创建RDD 　　3、从其他RDD转换得到新的RDD 二、从集合中创建RDD 　　1、

墨蓝/ 2023年06月21日 15:29/ 0 赞/ 89 阅读

相关 java 开发spark 使用程序中的集合创建RDD

import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD;

男娘i/ 2023年05月31日 07:56/ 0 赞/ 10 阅读

相关 Spark——RDD创建详解

一、RDD创建的两种方式 1、外部数据源 Scala： val file = sc.textFile("hdfs://hadoop:8020/words.tx

清疚/ 2022年07月14日 00:30/ 0 赞/ 299 阅读

相关 Spark RDD

转载：http://www.infoq.com/cn/articles/spark-core-rdd/ 与许多专有的大数据处理平台不同，Spark建立在统一抽象的RDD之上，

我不是女神ヾ/ 2022年06月14日 00:42/ 0 赞/ 343 阅读

相关 [Spark] RDD中JOIN的使用

JOIN在Spark Core中的使用 1. inner join inner join，只返回左右都匹配上的 // 启动spark-shell，定义两个

Dear 丶/ 2022年05月20日 05:36/ 0 赞/ 263 阅读

相关 [Spark] RDD的创建

1. 创建RDD 创建RDD有两种方式： 1) 测试：通过并行化一个已经存在的集合，转化成RDD； 2) 生产：引用一些外部的数据集（共享的文件系统，包括HDFS、H

妖狐艹你老母/ 2022年05月20日 04:55/ 0 赞/ 288 阅读

相关 Spark算子：RDD创建的方式

创建RDD大体分为两类方式：（1）通过集合创建；（2）通过外部存储创建。 1、通过集合方式（1）parallelize：def parallelize\[T\](seq:

向右看齐/ 2022年05月11日 07:46/ 0 赞/ 328 阅读