Spark集群的安装

xiaoxiao2021-02-28  117

Spark集群的安装步骤

1.下载编译好的对应版本到目标文件夹中。 2.修改conf目录中的spark-env.sh文件,添加以下内容: export JAVA_HOME=/usr/java/jdk1.7.0_45 export SPARK_MASTER_IP =cloudera-a export SPARK_MASTER_PORT = 7077 3.修改slaves文件,添加以下内容: cloudera-a cloudera-b cloudera-c cloudera-d 4.将配置好的Spark拷贝到其他节点上 scp -r spark-*-bin-hadoop2.6/ cloudera-a:/usr/local/ scp -r spark-*-bin-hadoop2.6/ cloudera-b:/usr/local/ scp -r spark-*-bin-hadoop2.6/ cloudera-c:/usr/local/ scp -r spark-*-bin-hadoop2.6/ cloudera-d:/usr/local/ 5.关闭所有节点上的防火墙 6.配置各个节点的免密登录,执行指令如下:

1.在登录方生成密钥对,执行密令:ssh-keygen -t -rsa 2.执行指令 ssh-copy-id cloudera-b,即可免密登录b主机 3.若指令2无效,则scp id_rsa.pub cloudera-b:/home,把密钥先发到目标主机b的某个文件下 4.将该文件内容复制粘贴,加入到目标主机b上的授权文件中 ~/.ssh/authorized_keys 5.cat ./id_rsa.pub >> ./authorized_keys

7.在master节点上启动start-all.sh 打开http://cloudera-a:8080/查看集群状态。

转载请注明原文地址: https://www.6miu.com/read-70333.html

最新回复(0)