搭建Hadoop分布式集群------测试Hadoop分布式集群环境

验证hadoop集群构建成功

Step_1:通过Master节点格式化集群的文件系统：

Step_2:启动hadoop集群：

Step_3:停止Hadoop集群：

此时出现"no datanode to stop"的错误。出现这个错误的原因是：每次使用“hadoop namenode -format”命令格式化文件系统的时候会出现一个新的namenodeId，而在搭建hadoop单机伪分布式版本的时候，创建的tmp目录下存放了数据，只需要把各台机器上的"/usr/local/hadoop/hadoop-1.2.1/"下面的tmp及其子目录的内容，以及该目录下hsfs文件夹中的data和name文件夹中的内容清空即可!

删除/tmp目录操作截图：

删除/hdfs目录下data和name文件夹操作截图:

Step_4:再次通过Master节点格式化集群的文件系统并启动Hadoop服务

Step_5:服务启动成功，进入Master的Web控制台：

如上图所示，Live Nodes只有三个，这个和预期一致，因为Master、Slave1、Slave2都设置成为DataNode，Master本身同时也是NameNode。

Step_6:通过jps命令查看三台机器进程，截图如下：

如果上述操作都成功的话，说明Hadoop集群构建完毕！

基于上述步骤，不要关闭hadoop服务，执行如下步骤！

在集群行运行wordcount实例：

Step_1:在dfs上创建input目录：

Step_2:把本地目录中的内容复制到dfs目录中：

Step_3:运行wordcount程序：

Step_4:运行成功后，打开Slave2的文本控制台，查看生产的文件目录中包含的文件：

Step_5:查看生成的output的文件信息：

通过上诉操作，证明hadoop集群环境构建成功，且能成功运行程序！

至此关于搭建hadoop分布式集群的讲解在这也结束了！如果有什么问题，可以私信！

WEL测试 认证博客专家 软件测试 性能测试 接口测试 一线的测试工作人员。喜欢专研并应用新的技术，用于提升测试效率。擅长：测试新人培训、测试进阶、接口测试、性能测试、问题定位、自动化、数据测试、渗透测试！ 如果对测试感兴趣或者遇到一些难题，可以加我微信：Wel_Test，加时填好备注！