spark-submit详解

问题 如何提交Spark任务呢？

通常会采用以下两种方式：

1）spark-shell:一般调试用；

2）spark-submit：正式提交任务；

简而言之：spark-submit的使用与spark集群部署模式（standalone,yarn, Mesos）有关,这里主要说前面两种：

1）standalone模式：该模式需要指定spark master ip

spark-submit --master spark://10.11.12.14:7077 --deploy-mode cluster \
--total-executor-cores 30 --executor-memory 20g --driver-memory 10g --executor-cores 5 \
--name spark_test \
--class com.oynl.Test \
--queue  test \
./test-1.0.jar $date

2）yarn模式：

spark-submit --master yarn --deploy-mode cluster \
--num-executors 30 --executor-memory 20g --driver-memory 10g --executor-cores 5 \
--name spark_test_yarn \
--class com.oynl.TestYarn \
--queue  test \
./test-1.0.jar $date

需要注意的是：两种模式下可用的参数不完全相同。如配置excutor个数&#x

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！