Spark 独立服务器的配置

xiaoxiao2021-02-27  121

首先介绍下我们的条件 两台主机,都是ubuntu 16.4 192.168.46.128(master) 192.168.46.130(cluster)两台主机的用户名都为liang两台主机的spark都为2.1.0 都放置在/usr/local/spark/目录下确保128可以ssh连接到130 ubuntu 一般自带的有ssh client 但是我们想让130被链接,我们要给130配置ssh serverapt-get install openssh-serverps -s | grep ssh 查看有没有sshd服务启动,如果没有/etc/init.d/ssh start 启动服务我们可以在128上测试 ssh 192.168.46.130 看能否连接至130如果觉得ssh输入密码麻烦,http://chenlb.iteye.com/blog/211809 无密码ssh登陆修改主节点下的conf/slaves

启动所有的节点

在主节点上运行 sbin/start-all.sh 启动所有的节点运行http://localhost:8080 查看管理页面 运行pyspark –master spark://ubuntu:7077 来测试,我们可以在localhost:8080上看到我们的程序

转载请注明原文地址: https://www.6miu.com/read-15886.html

最新回复(0)