Spark中yarn模式两种提交任务方式 - 编程语言

这篇文章主要介绍“Spark中yarn模式两种提交任务方式”，在日常操作中，相信很多人在Spark中yarn模式两种提交任务方式问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Spark中yarn模式两种提交任务方式”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

1.yarn-client提交任务方式

配置
在client节点配置中spark-env.sh添加Hadoop_HOME的配置目录即可提交yarn 任务，具体步骤如下：

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

• 1

注意client只需要有Spark的安装包即可提交任务，不需要其他配置（比如slaves）!!!

提交命令

/opt/spark/bin/spark-submit --master yarn  --class org.apache.spark.examples.SparkPi  /opt/spark/examples/jars/spark-examples_2.11-2.2.0.jar 100/opt/spark/bin/spark-submit   --master yarn-client   --class org.apache.spark.examples.SparkPi /opt/spark/examples/jars/spark-examples_2.11-2.2.0.jar 100/opt/spark/bin/spark-submit  --master yarn --deploy-mode  client --class org.apache.spark.examples.SparkPi /opt/spark/example

执行流程
– 1.客户端提交一个Application，在客户端启动一个Driver进程。
– 2.Driver进程会向RS(ResourceManager)发送请求，启动AM(ApplicationMaster)的资源。
– 3.RS收到请求，随机选择一台NM(NodeManager)启动AM。这里的NM相当于Standalone中的Worker节点。
– 4.AM启动后，会向RS请求一批container资源，用于启动Executor.
– 5.RS会找到一批NM返回给AM,用于启动Executor。
– 6.AM会向NM发送命令启动Executor。
– 7.Executor启动后，会反向注册给Driver，Driver发送task到Executor,执行情况和结果返回给Driver端。

总结

• 1.Yarn-client模式同样是适用于测试，因为Driver运行在本地，Driver会与yarn集群中的Executor进行大量的通信，会造成客户机网卡流量的大量增加.

  

• 2.ApplicationMaster的作用：
  为当前的Application申请资源
  给NodeManager发送消息启动Executor。

  注意：ApplicationMaster有launchExecutor和申请资源的功能，并没有作业调度的功能。

2.yarn-cluster提交任务方式

提交命令

/opt/spark/bin/spark-submit --master yarn --deploy-mode cluster  --class org.apache.spark.examples.SparkPi /opt/spark/examples/jars/spark-examples_2.11-2.2.0.jar  100/opt/spark/bin/spark-submit --master yarn-cluster  --class org.apache.spark.examples.SparkPi /opt/spark/examples/jars/spark-examples_2.11-2.2.0.jar 100

结果在yarn的日志里面：

到此，关于“Spark中yarn模式两种提交任务方式”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注云网站，小编会继续努力为大家带来更多实用的文章！