Flink任务提交on-YARN

1. yarn-session 模式任务提交

配置环境变量 HADOOP_CLASSPATH
否则yarn-session.sh命令会报错

######## HADOOP_HOME
export HADOOP_HOME=/opt/hadoop-3.1.3
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH
####### HADOOP_CLASSPATH
export PATH=/opt/myshell:$PATH
export HADOOP_CLASSPATH=`${HADOOP_HOME}/bin/hadoop classpath`

• yarn-session模式 创建并启动集群

./flink/bin/yarn-session.sh
-s [每个taskManager的slot的数量,可省略] 
-jm [jobManager的内存 1024m]
-tm [每个taskManager的内存 1024m]
-nm [yarn 的application的name]
-d 后台执行
-q 显示yarn中华可用的资源（内存，cpu核数）
-qu [指定yarn 队列]

• yarn-session模式提交任务

flink run 
-c [程序入口类,可省略] 
-p [设置并行度，可省略]
[jar包的路径] [jar包代码需要的参数] 

• 停止flink-session 集群

yarn application -kill [yarn application id]

2. pre-job 模式任务提交

• pre-job模式直接提交任务

flink run 
-m yarn-cluster  
-c [程序入口类] 
-p [设置并行度]
-yjm [指定jobManager内存大小,纯数字 1024]
-ytm [指定taskManager内存大小,纯数字 1024]
[jar包的路径] [jar包代码需要的参数] 

• 取消任务

flink cancel -yid [yarn application id] [jobId]

或者直接kill掉 yarn application

yarn application -kill [yarn application id]

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！