新增datanode

xiaoxiao2021-02-28  106

在不中断hadoop集群运行的情况下,完成新加datanode节点的工作

准备工作

1、检查namenode和datanode的/etc/hosts,确保一致

2、检查namenode设备上的hadoop安装目录下的/etc/hadoop/slaves,确认将新加节点已经加入到文件中 3、实现namenode到新增datanode节点的ssh无密码登录 4、下载与namenode同版本的jdk和hadoop安装包,释放完成安装 5、编辑datanode上的/etc/profile文件,一般与namenode一致,并使之生效,测试java运行环境

拷贝文件

6、利用scp命令,将namenode中的hadoop安装目录里的/etc目录复制到datanode相应目录中

7、在新增的datanode节点机上运行  ./sbin/hadoop-daemon.sh start datanode

 ./sbin/yarn-daemon.sh start nodemanager

检查

8、可用下面命令进行检查

 ./hdfs dfsadmin -refreshNodes

 ./hdfs dfsadmin -report

 ./yarn node -list

 如果需要平衡存储块  ./sbin/start-balance.sh -threshold 5
转载请注明原文地址: https://www.6miu.com/read-47598.html

最新回复(0)