Hadoop系列之Spark安装和使用（四）

今天药忘吃喽~ 2023-06-25 04:35 25阅读 0赞

# spark简介 #

Spark 的主要抽象是分布式的元素集合（distributed collection of items），称为RDD（Resilient Distributed Dataset，弹性分布式数据集），它可被分发到集群各个节点上，进行并行操作。RDDs 可以通过 Hadoop InputFormats 创建（如 HDFS），或者从其他 RDDs 转化而来。

# Spark安装步骤 #

Spark官网下载地址：[http://spark.apache.org/downloads.html][http_spark.apache.org_downloads.html]

tar -zxf spark-3.0.0-preview-bin-hadoop3.2.tgz \#解压

mv spark-3.0.0-preview-bin-hadoop3.2 spark \#修改名称

chown -R hadoop:hadoop spark \#授权

cp spark/conf/spark-env.sh.template spark/conf/spark-env.sh \#复制一个配置文件

vim conf/spark-env.sh \#编辑配置文件，加入spark的classpath，如下：

export SPARK\_DIST\_CLASSPATH=$(/usr/local/soft/hadoop/bin/hadoop classpath)

./bin/spark-shell \#启动spark shell，如下是启动成功的样式

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAxMjE4ODM_size_16_color_FFFFFF_t_70][]

# 基本操作 #

val textFile = sc.textFile("file:///usr/local/soft/spark/README.md") \#通过file:前缀指定读取本地文件，读取本地README文件加载到rdd中

textFile.count() \#action API -count()统计该文本文件的行数

textFile.first() \#RDD中的第一个item，对于文本文件，就是第一行内容

val linesWithSpark = textFile.filter(line => line.contains("Spark")) \#transformation API - filter()筛选出包含Spark的行

linesWithSpark.count() \#统计行数

textFile.filter(line => line.contains("Spark")).count() \#可以在同一条代码中同时使用多个api，连续进行运算，不仅可以使spark代码更加简洁，也优化了计算过程。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAxMjE4ODM_size_16_color_FFFFFF_t_70 1][]

RDDs 支持两种类型的操作

*  [actions][]: 在数据集上运行计算后返回值
 *  [transformations][]: 转换, 从现有数据集创建一个新的数据集

Spark提供了非常丰富的API， 下面两表格列出了几个常用的动作、转换API，更详细的API及说明可查阅官方文档。

表1 常用的Action API

<table> 
 <tbody> 
  <tr> 
   <td>Action API</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>count()</td> 
   <td>返回数据集中的元素个数</td> 
  </tr> 
  <tr> 
   <td>collect()</td> 
   <td>以数组的形式返回数据集中的所有元素</td> 
  </tr> 
  <tr> 
   <td>first()</td> 
   <td>返回数据集中的第一个元素</td> 
  </tr> 
  <tr> 
   <td>take(n)</td> 
   <td>以数组的形式返回数据集中的前n个元素</td> 
  </tr> 
  <tr> 
   <td>reduce(func)</td> 
   <td>通过函数func（输入两个参数并返回一个值）聚合数据集中的元素</td> 
  </tr> 
  <tr> 
   <td>foreach(func)</td> 
   <td>将数据集中的每个元素传递到函数func中运行</td> 
  </tr> 
 </tbody> 
</table>

表2 常用的Transformation API

<table> 
 <tbody> 
  <tr> 
   <td>Transformation API</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>filter(func)</td> 
   <td>筛选出满足函数func的元素，并返回一个新的数据集</td> 
  </tr> 
  <tr> 
   <td>map(func)</td> 
   <td>将每个元素传递到函数func中，并将结果返回为一个新的数据集</td> 
  </tr> 
  <tr> 
   <td>flatMap(func)</td> 
   <td>与map()相似，但每个输入元素都可以映射到0或多个输出结果</td> 
  </tr> 
  <tr> 
   <td>groupByKey()</td> 
   <td>应用于(K,V)键值对的数据集时，返回一个新的(K, Iterable&lt;V&gt;)形式的数据集</td> 
  </tr> 
  <tr> 
   <td>reduceByKey(func)</td> 
   <td>应用于(K,V)键值对的数据集时，返回一个新的(K, V)形式的数据集，其中的每个<br> 值是将每个key传递到函数func中进行聚合</td> 
  </tr> 
 </tbody> 
</table>

# Spark SQL和DataFrames #

Spark SQL 是 Spark 内嵌的模块，用于结构化数据。在 Spark 程序中可以使用 SQL 查询语句或 [DataFrame API][]。DataFrames 和 SQL 提供了通用的方式来连接多种数据源，支持 Hive、Avro、Parquet、ORC、JSON、和 JDBC，并且可以在多种数据源之间执行 join 操作。

val df = spark.sqlContext.read.json("file:///usr/local/soft/spark/examples/src/main/resources/people.json") \#导入数据源

df.show() \#输出数据源内容

df.select("name").show() \#DataFrames处理结构化数据的操作，只显示name列

df.select(df("name"),df("age")+1).show() \#将“age”加1

df.filter(df("age")>21).show() \#过滤出年龄大于21岁的数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAxMjE4ODM_size_16_color_FFFFFF_t_70 2][]

![20191225173659174.png][]

使用sql语句进行操作

将DataFrame注册为临时表people

df.createOrReplaceTempView("people") \#spark2.x以上写法

df.registerTempTable("people) \#spark1.6以下版本写法

spark.sql("SELECT name, age FROM people WHERE age >= 13 AND age <= 19").show() \#执行sql语句，并输入结果

# 问题和解决 #

1、启动spark shell的时候，报错：Exception in thread "main" java.lang.NoSuchMethodError: jline.console.completer.CandidateListCompletionHandler.setPrintSpaceAfterFullCompletion(Z)V

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAxMjE4ODM_size_16_color_FFFFFF_t_70 3][]

解决方法：下载的spark版本不正确，需要下载和hadoop对应的版本

例如，本环境使用的是hadoop-3.2.1版本，因此，需要下载的spark版本为

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAxMjE4ODM_size_16_color_FFFFFF_t_70 4][]

2、error: not found: value sqlContext（参考文章：[https://blog.csdn.net/BigData\_Mining/article/details/80104694][https_blog.csdn.net_BigData_Mining_article_details_80104694]）

解决方法：

spark2.x.x之前的版本，执行的命令如下：

val df = sqlContext.read.json("file:///usr/local/soft/spark/examples/src/main/resources/people.json")

spark2.x.x之后的版本，执行的命需要加上spark，若还用之前的语句，就会出现此错误：

val df = spark.sqlContext.read.json("file:///usr/local/soft/spark/examples/src/main/resources/people.json")

[http_spark.apache.org_downloads.html]: http://spark.apache.org/downloads.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAxMjE4ODM_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191225173449932.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAxMjE4ODM=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAxMjE4ODM_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191225173525287.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAxMjE4ODM=,size_16,color_FFFFFF,t_70
[actions]: http://spark.apache.org/docs/latest/programming-guide.html#actions
[transformations]: http://spark.apache.org/docs/latest/programming-guide.html#transformations
[DataFrame API]: http://spark.apache.org/docs/latest/sql-programming-guide.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAxMjE4ODM_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191225173648131.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAxMjE4ODM=,size_16,color_FFFFFF,t_70
[20191225173659174.png]: https://img-blog.csdnimg.cn/20191225173659174.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAxMjE4ODM_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20191225173729477.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAxMjE4ODM=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAxMjE4ODM_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20191225173746965.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAxMjE4ODM=,size_16,color_FFFFFF,t_70
[https_blog.csdn.net_BigData_Mining_article_details_80104694]: https://blog.csdn.net/BigData_Mining/article/details/80104694