官网地址:http://spark.apache.org/docs/latest/submitting-applications.html
1。格式
./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \ --conf <key>=<value> \ ... # other options <application-jar> \ [application-arguments] –class 入口类–master 执行 master url 路径 下边具体介绍–deploy-mode 部署模式 默认client (cluster)–conf 配置属性 k-value结构application-jar 项目路径application-arguments 项目参数2。master种类:
local 本地单线程local[K] 本地多线程(指定K个内核)local[*] 本地多线程(指定所有可用内核)spark://HOST:PORT 连接到指定的 Spark standalone cluster master,需要指定端口。mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口。yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。yarn-cluster集群模式 连接到 YARN 集群,需要配置 HADOOP_CONF_DIR。