2022
我们一起努力

Apache Flink常用操作

Apache Flink是一个框架和分布式处理引擎,用于对**和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行,以内存速度和任何规模执行计算,本篇文章重点为大家讲解一下Flink常用操作。

Flink常用操作

使用Maven将自己的代码编译打包

打好的包一般放在工程目录的target子文件夹下

mvn clean package

flink任务运行命令

session模式运行
flink run --class com.zclh.data.wordcount.WordCountKafkaInStdOut /data/cdh/test/flink-kafka-1.0-SNAPSHOT.jar

指定用户运行任务,job模式
sudo -u hdfs
bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 --class com.zclh.data.wordcount.WordCountKafkaInStdOut /data/cdh/test/flink-kafka-1.0-SNAPSHOT.jar

job模式运行任务
bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 --class com.zclh.data.wordcount.WordCountKafkaInStdOut /data/cdh/test/flink-kafka-1.0.jar


bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 --class com.zclh.data.wordcount.WordCountKafkaInStdOut /data/cdh/test/flink-kafka-1.1.jar

bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 --class com.zclh.data.wordcount.WordCountKafkaInStdOut /data/cdh/test/flink-kafka-1.2.jar


bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 --class com.zclh.data.wordcount.WordCountKafkaInStdOut /data/cdh/test/flink-kafka-1.3.jar


bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 --class com.atguigu.hotitems_****ysis.KafkaProducerUtil /data/cdh/test/HotItemsAnalysis-1.0.jar


bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 --class com.atguigu.hotitems_****ysis.HotItems /data/cdh/test/HotItemsAnalysis-2.0.jar

bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 /data/cdh/test/HotItemsAnalysis-3.0.jar --class com.atguigu.hotitems_****ysis.HotItems

bin/flink run --class com.atguigu.hotitems_****ysis.HotItems /data/cdh/test/HotItemsAnalysis-3.0.jar

启动jar包中指定的类

java -cp /data/cdh/test/HotItemsAnalysis-4.0.jar com.atguigu.hotitems_****ysis.KafkaProducerUtil
java -cp /data/cdh/test/HotItemsAnalysis-5.0.jar com.atguigu.hotitems_****ysis.KafkaProducerUtil


bin/flink run --class com.atguigu.hotitems_****ysis.HotItems /data/cdh/test/HotItemsAnalysis-4.0.jar
bin/flink run --class com.atguigu.hotitems_****ysis.HotItems /data/cdh/test/HotItemsAnalysis-5.0.jar
bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 --class com.atguigu.hotitems_****ysis.HotItems /data/cdh/test/HotItemsAnalysis-5.0.jar

本文来源:www.lxlinux.net/6800.html,若引用不当,请联系修改。

赞(0)
文章名称:《Apache Flink常用操作》
文章链接:https://www.fzvps.com/262233.html
本站文章来源于互联网,如有侵权,请联系管理删除,本站资源仅供个人学习交流,请于下载后24小时内删除,不允许用于商业用途,否则法律问题自行承担。
图片版权归属各自创作者所有,图片水印出于防止被无耻之徒盗取劳动成果的目的。

评论 抢沙发

评论前必须登录!