spark程序提交设置

xiaoxiao2021-02-28  92

官网地址:http://spark.apache.org/docs/latest/submitting-applications.html

1。格式

./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \ --conf <key>=<value> \ ... # other options <application-jar> \ [application-arguments] –class 入口类–master 执行 master url 路径 下边具体介绍–deploy-mode 部署模式 默认client (cluster)–conf 配置属性 k-value结构application-jar 项目路径application-arguments 项目参数

2。master种类:

local 本地单线程local[K] 本地多线程(指定K个内核)local[*] 本地多线程(指定所有可用内核)spark://HOST:PORT 连接到指定的 Spark standalone cluster master,需要指定端口。mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口。yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。yarn-cluster集群模式 连接到 YARN 集群,需要配置 HADOOP_CONF_DIR。
转载请注明原文地址: https://www.6miu.com/read-74777.html

最新回复(0)