Centos7下Apache Flink1.12安装部署

太过爱你忘了你带给我的痛 2022-10-23 11:22 339阅读 0赞

### 目录 ###

*   *  （1）Flink下载安装
     *  （2）安装配置
     *  （3）服务启动
     *  （4）运行测试

安装环境准备：

*  jdk1.8.0\_281
 *  scala-2.11.12
 *  hadoop-2.8.5
 *  flink-1.12.1-bin-scala\_2.11.tgz

## （1）Flink下载安装 ##

Flink下载地址：

*  [https://flink.apache.org/zh/downloads.html\#section-9][https_flink.apache.org_zh_downloads.html_section-9]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]  
选择第二个Binaries下载，然后选择对应的Scala版本，我这里使用的是Scala2.11.12，所以我下载flink对应Scala的版本。网上有的教程是安装的flink1.9版本，从flink1.9的官方文档看出需要Hadoop2.8.3编译Flink。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 1]  
对比flink1.12的版本，1.12的官方文档和1.9的官方文档有差距，**flink1.12不需要Hadoop编译！**

## （2）安装配置 ##

Flink1.12官方文档安装部署：

*  [https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/deployment/resource-providers/standalone/][https_ci.apache.org_projects_flink_flink-docs-release-1.12_zh_deployment_resource-providers_standalone]

**对文件赋予权限**

chmod u+x flink-1.12.1-bin-scala_2.11.tgz

**解压软件**

tar -zxvf flink-1.12.1-bin-scala_2.11.tgz -C /opt/modules/

**创建软链接**

ln -s flink-1.12.1/ flink

配置standalone集群模式，我配置一台master节点，三台worker节点。

**修改conf/flink-conf.yaml**

jobmanager.rpc.address: bigdata-pro-m07

**配置conf/masters**

bigdata-pro-m07:8081

**配置conf/workers**

bigdata-pro-m07
    bigdata-pro-m08
    bigdata-pro-m09

**分发到其他节点**

scp -r flink-1.12.1/ bigdata-pro-m08:/opt/modules/
    scp -r flink-1.12.1/ bigdata-pro-m09:/opt/modules/
    
    ln -s flink-1.12.1/ flink

## （3）服务启动 ##

**集群模式服务启动：**

bin/start-cluster.sh

Starting cluster.
    Starting standalonesession daemon on host bigdata-pro-m07.
    Starting taskexecutor daemon on host bigdata-pro-m07.
    Starting taskexecutor daemon on host bigdata-pro-m08.
    Starting taskexecutor daemon on host bigdata-pro-m09.

查看进程：

8721 StandaloneSessionClusterEntrypoint
    9113 Jps
    9018 TaskManagerRunner

**访问WEB UI：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 2]

## （4）运行测试 ##

**启动NC**

nc -lk 9999

java java python 
    java java
    hive
    hive
    hbase
    java java java hive hadoop
    java hive

**运行官网demo**

bin/flink run -jar examples/streaming/SocketWindowWordCount.jar --port 9999

**查看运行结果**

cd /opt/modules/flink/log
    cat flink-root-taskexecutor-0-bigdata-pro-m07.out 
    
    java : 4
    python : 1
    hive : 2
    hbase : 1
    java : 3
    hadoop : 1
    hive : 1
    java : 1
    hive : 1

**查看web监控**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 3]

我们可以看出做的是每隔5秒做一次窗口聚合。

--------------------

以上内容仅供参考学习，如有侵权请联系我删除！  
如果这篇文章对您有帮助，左下角的大拇指就是对博主最大的鼓励。  
您的鼓励就是博主最大的动力！

[https_flink.apache.org_zh_downloads.html_section-9]: https://flink.apache.org/zh/downloads.html#section-9
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221023/1d6929bd2b6e43288b4fb16cfeead361.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221023/f87bf772a91b48adb8afc0e2efe89fec.png
[https_ci.apache.org_projects_flink_flink-docs-release-1.12_zh_deployment_resource-providers_standalone]: https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/deployment/resource-providers/standalone/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221023/d4b4ee18407840259def61bb9b531c26.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221023/0b31f968ed394c95a55171da2c4a61e5.png