搭建完全分布式Hadoop

在这里我准备了5个机器  

server1 192.168.80.131

server2 192.168.80.132

server3 192.168.80.133

server4 192.168.80.134

server5 192.168.80.135

server1作为namenode 其他作为datanode

1 在5个节点上分别安装 hadoop

2 分别配置5个节点的hosts文件  vi /etc/hosts

将主机名和IP映射更新上

3 分别配置5个节点的配置文件  

   (1) 配置 core-site.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://server1/</value> </property> </configuration>

  (2)  配置hdfs-site.xml  默认副本数3个

<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration>  (3)   配置 mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>  (4) yarn-site.xml

<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.resourcemanager.hostname</name> <value>server1</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>    (5) 配置slaves

server2 server3 server4 server5

以下操作 只在server1上 

然后 格式化namenode 

# hadoop namenode -format

启动hadoop

# start-all.sh

访问一下看看   

http://server1:50070