Spark+zookeeper

xiaoxiao2021-02-28  29

基于zookeeper 的Spark HA配置说明

首先按照zookeeper,见上一篇

配置spark.env.sh

将SPARK_MASTER_IP 一行删除

增加

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=h101:2181,h102:2181,h103:2181 -Dspark.deploy.zookeeper.dir=/spark"

##使用h102,h103做为备份,当h101挂掉,h102自动热备份。

将配置文件发送给各个节点

cd spark/sbin

./start-all.sh

启动spark

在h102,h103下

cd spark/sbin

./start-master.sh

此时通过h102和h103 8080端口发现:

status:standby

此时在master节点下执行sbin/stop-master.sh,手动停掉h101的master

过了大概2分钟,通过h102:8080访问

status: alive

转载请注明原文地址: https://www.6miu.com/read-2623789.html

最新回复(0)