PySpark简明教程 01简介

川长思鸟来 2023-01-16 06:19 246阅读 0赞

**目录**

简介

原则和风格

教程的目的

本教程的优势

--------------------

# 简介 #

简明：意思是简单而明了。  
PySpark：就是用Python这门语言工具去驾驭Spark这个大数据计算引擎。

# 原则和风格 #

就是简单直接、不拖泥带水，符合开发者审美和工作需要。  
所以，不会面面俱到。因为，借鉴二八原则，工作中只需掌握20%的知识点（pyspark），就能解决80%的问题（大数据计算和分析场景）。

# 教程的目的 #

打破只有Scala和Java才能开发spark应用程序的思维定势。

>   
> Spark从诞生那天起就有人为Scala布道，说Spark是用Scala开发的，使用Scala能充分发挥底层优势，写出更高性能的程序。Java也可以，因为Java和Scala都运行在jvm上。

所以，上面这句话将好多不了解Scala和Java的朋友们挡在了Spark的门外！  
还有好多想进入大数据行业的初学者，为了学习Spark，先去学习Scala和Java的语法，然后学了半天之后，有些人就沉迷于Scala和Java的语法糖中不能自拔，而忘记了自己目的是学习Spark。  
还有好多算法工程师和数据分析师，可能大部分是Python高手，但如果重头去学习Scala和Java，可能大部分人会迷惑于Scala和Java的语法糖和奇特的简写，还没真正使用Spark，就已经退缩了。  
其实，经过这么多年的发展，Spark也在进化，只有提供和支持更多的语言API，才能发展的更好。更何况大部分数据相关的研发人员都是Python高手和SQL高手，所以，SparkSQL和DataFrame的出现，为母语是Python的开发者带来了福音，Spark进化出了高级API和编程范式，大家不再用局限于RDD进行开发了，而是能更关注业务场景、分析策略。

**所以，如果你只会Python，或者你只会SQL，你一样可以体验Spark计算引擎给你带来的快乐！**

# 本教程的优势 #

『新』且『实用』

新：实践Spark最新的编程范式，带你体验更加友好、顺畅的高级API，降维打击！

本教程来源于生产实践，而非象牙塔，实用而简单明了。  
初学者看了可以直接上手，老手看了如获至宝！  
所有例子都可以直接ctrl+c 和ctrl+v，然后submit和run！

发表评论取消回复

表情：

评论列表（有 0 条评论，246人围观）

还没有评论，来说两句吧...

相关阅读

相关 pyspark安装教程

pyspark安装教程一、Windows下配置pyspark环境 1.1 JDK下载安装 1.2 Scala下载安

不念不忘少年蓝@/ 2023年10月12日 14:48/ 0 赞/ 131 阅读

相关 Spring教程01-简介

[阅读原文][Link 1] 1、Spring框架概述 1.1、设计理念当您了解框架时，重要的是不仅要知道它的作用，还要了解它遵循的原则。以下是Spring F

约定不等于承诺〃/ 2023年10月09日 11:14/ 0 赞/ 38 阅读

相关 PySpark简明教程 01简介

目录简介原则和风格教程的目的本教程的优势 -------------------- 简介简明：意思是简单而明了。 PySpark：就是用Pyth

川长思鸟来/ 2023年01月16日 06:19/ 0 赞/ 247 阅读

相关 PySpark简介及详细安装教程

Spark在前面已经和大家说过很多了，Python这几天也整理出了很多自己的见解，今天就和大家说下一个新的东西，PySpark，一看名字就知道和前面二者都有很大关系，那么PyS

梦里梦外;/ 2022年12月01日 14:27/ 0 赞/ 833 阅读

相关 PySpark简明教程 02 pyspark实战入门例子

一个简单的例子带你进入pyspark的大门，对！我们的入门程序不是wordcount，也不是hello world。我们不一样、不一样。目标：找到股息率大于3%的行业，将结

ゞ浴缸里的玫瑰/ 2022年10月17日 00:51/ 0 赞/ 363 阅读

相关 PySpark简明教程 03 SparkSQL、DataFrame和SparkSession

1 Spark SQL Spark SQL是Apache Spark用于处理结构化数据的模块。 2 Spark DataFrame Spark的DataFrame

迈不过友情╰/ 2022年10月07日 02:54/ 0 赞/ 275 阅读

相关 JAVA NIO简明教程第一章nio简介

JAVA NIO简明教程第一章nio简介 java1.4发布Java NIO(New IO)意味着代替标准的Java IO和Java网络API。Java NIO提供了一

亦凉/ 2022年05月09日 11:12/ 0 赞/ 339 阅读

相关 Nodejs教程01：Nodejs简介

Nodejs简介 1. 简单的说 Node.js 就是运行在服务端的 JavaScript。 2. Node.js 是一个基于 Chrome V8 引擎的 JavaS

谁借莪１个温暖的怀抱￠/ 2022年03月16日 07:42/ 0 赞/ 468 阅读

相关 NumPy简明教程（一、简介）

1、NumPy初探　　用Python在ArcGIS的开发中，对NumPy的接触越来越多，从现在开始就将以前的NumPy笔记整理一下，慢慢放出来。供有需要的朋友参

我就是我/ 2022年03月01日 07:58/ 0 赞/ 558 阅读

相关 JavaScript简明教程-----01

JavaScript简明教程-----01 文章目录 JavaScript简明教程-----01 一、JS介绍

水深无声/ 2021年09月09日 03:12/ 0 赞/ 532 阅读