Spark Standalone Mode配置HA

xiaoxiao2021-02-28  23

配置环境:node1、node2、node3 核心就是在spark-env.sh中添加(三台节点都添加):

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=192.168.245.151:2181,192.168.245.163:2181,192.168.245.165:2181"

这里没有设置在zookeeper上的位置,默认为/spark. 之后在node1操作:start-all.sh 通过web查看,node1为master节点 问题来了,当我在node2里操作:start-master.sh来启动一个standby节点后,发现启动失败,查看日志后发现,是因为在node2的spark-env.sh里的配置:export SPARK_MASTER_IP=node1,这里解决方法有两种: 一、 直接将node1改为node2即可,同理,如果想让node3做standby节点,可做同样配置 二、直接将这个配置注释掉,不指定master,自己就可以作master

转载请注明原文地址: https://www.6miu.com/read-2624773.html

最新回复(0)