pyspark filter过滤元素代码示例

绝地灬酷狼 2023-10-02 12:26 26阅读 0赞

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5a2m5Lqu57yW56iL5omL6K6w_size_20_color_FFFFFF_t_70_g_se_x_16]

from pyspark import SparkContext
    sc = SparkContext("local", "count app")
    words = sc.parallelize(
        ["scala",
         "java",
         "hadoop",
         "spark",
         "akka",
         "spark vs hadoop",
         "pyspark",
         "pyspark and spark"
         ])
    
    # 统计元素个数
    # counts = words.count()
    # print("Number of elements in RDD -> %i" % counts)
    
    # 打印所有元素
    # coll = words.collect()
    # print("Elements in RDD -> %s" % coll)
    
    # foreach(func)打印所有元素
    # print(words.foreach(lambda x:print(x)))
    
    # 过滤元素
    print(words.filter(lambda x:"spark" in x).collect())

日志输出：

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
    Setting default log level to "WARN".
    To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
    21/10/22 13:30:58 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    ['spark', 'spark vs hadoop', 'pyspark', 'pyspark and spark']

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5a2m5Lqu57yW56iL5omL6K6w_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/5108ed2319e1475785165076ebd644a0.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5a2m5Lqu57yW56iL5omL6K6w,size_20,color_FFFFFF,t_70,g_se,x_16

发表评论取消回复

表情：

评论列表（有 0 条评论，26人围观）

还没有评论，来说两句吧...

相关阅读

相关 filter：过滤数组元素

`filter()` 方法创建一个新数组, 其包含通过所提供函数实现的测试的所有元素。不会改变原数组。 //现在你想过滤掉arr数组里面的22 ...

约定不等于承诺〃/ 2024年04月18日 16:37/ 0 赞/ 207 阅读

相关 Hutool ListUtil.filter方法代码示例：元素过滤

List<String> a = ListUtil.toLinkedList("1", "2", "3"); // 结果: [edit1, edit2, edi

一时失言乱红尘/ 2024年02月05日 21:10/ 0 赞/ 122 阅读

相关 pyspark subtract代码示例

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5a2m5Lqu57yW5

傷城~/ 2023年10月02日 12:27/ 0 赞/ 97 阅读

相关 pyspark intersection代码示例

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5a2m5Lqu57yW5

一时失言乱红尘/ 2023年10月02日 12:27/ 0 赞/ 79 阅读

相关 pyspark groupBy代码示例

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5a2m5Lqu57yW5

深碍√TFBOYSˉ_/ 2023年10月02日 12:26/ 0 赞/ 85 阅读

相关 pyspark randomSplit代码示例

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5a2m5Lqu57yW5

旧城等待，/ 2023年10月02日 12:26/ 0 赞/ 83 阅读

相关 pyspark distinct代码示例

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5a2m5Lqu57yW5

ゞ浴缸里的玫瑰/ 2023年10月02日 12:26/ 0 赞/ 82 阅读

相关 pyspark join代码示例

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5a2m5Lqu57yW5

曾经终败给现在/ 2023年10月02日 12:26/ 0 赞/ 90 阅读

相关 pyspark reduce代码示例

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5a2m5Lqu57yW5

绝地灬酷狼/ 2023年10月02日 12:26/ 0 赞/ 88 阅读

相关 pyspark filter过滤元素代码示例

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5a2m5Lqu57yW5

绝地灬酷狼/ 2023年10月02日 12:26/ 0 赞/ 27 阅读