CentOS6.5下搭建Hadoop环境详细步骤

xiaoxiao2021-02-28  28

1.搭建Hadoop环境需要先安装和测试JDK,具体步骤可以参考

http://blog.csdn.net/zp8126/article/details/78205854

2.下载hadoop-2.6.5.tar.gz

  可以在官网下载:http://hadoop.apache.org/#Download+Hadoop

也可以在下载:http://download.csdn.net/download/zp8126/10016375

3.cd /opt/software进入存放软件包目录。(此目录是自己创建的用来专门存放安装包的目录)

4.使用xshell客户端的rz命令上传到linux服务器(虚拟机安装的linux),界面如下图:

 

5.cp hadoop-2.6.5.tar.gz /usr/hadoop拷贝文件到/usr/hadoop目录下

6.进入/usr/hadoop/目录

a) tar -xvf hadoop-2.6.5.tar.gz解压到当前目录下

b) cd hadoop-2.6.5进入目录,ls列表查看安装目录下的文件。如下图:

7.切换进入/usr/hadoop/hadoop-2.6.5/etc/hadoop/如下图:

 

8.vi hadoop-env.sh,添加内容:export JAVA_HOME=/usr/java/jdk1.8.0.144,如下图:

 

9.$hadoop_home/etc/hadoop目录下执行命令vi core-site.xml,并修改文件core-site.xml,添加内容如下:

<configuration>

<property>

<name>fs.default.name</name>

<!-- zhang为主机名,也可以使用ip-->

<value>hdfs://zhang:9000</value>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://zhang:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<!-- 文件临时目录,可以自己指定 -->

<value>/hadoop/temp/</value>

</property>

</configuration>

10.$hadoop_home/etc/hadoop目录下执行命令vi hdfs-site.xml编辑文件,内容如下:

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/hadoop/hdfs/name</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/hadoop/hdfs/data</value>

</property>

</configuration>

11.$HADOOP_HOME/etc/hadoop目录下查看是否有配置文件mapred-site.xml文件。默认下没此文件,可以通过重命名mv mapred-site.xml.template mapred-site.xml改成此文件名。然后vi mapred-site.xml修改此文件内容:

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

12.$HADOOP_HOME/etc/hadoop目录下执行命令vi yarn-site.xml,修改内容如下:

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>zhang</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

13.执行命令vi /etc/profile,Hadoop的安装目录配置到环境变量中,

JAVA_HOME=/usr/java/jdk1.8.0_144

HADOOP_HOME=/usr/hadoop/hadoop-2.6.5

 

PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar

export PATH JAVA_HOME CLASSPATH

14.然后执行source /etc/profile,让配置文件生效。

15.格式化NameNode。在任意目录下(配置Hadoop环境变量的情况下)执行命令

Hdfs namenode -format或者hadoop namenode -format,实现格式化。

执行结束后,如图:

 

16.启动hadoop进程,首先执行start-dfs.sh(注意中间没有空格);没有配置ssh免密登录之前,会不停的需要输入yes和密码,最后界面如图:

 

17.输入命令service iptables stoo,关闭防火墙后,打开浏览器输入:

http://192.168.1.219:50070/就可以进入如下界面

 

 

18.启动yarn,执行start-yarn.sh启动yarn计算进程。

 

同样在浏览器中:http://192.168.1.219:8088/打开主页面:

 

19.问题总结

a) 在上面配置的一系列*-site.xml中用的主机名都可以更换为ip.

b) 如果使用主机名配置时,需要注意修改系统主机名和映射文件

 

c) 修改主机名:vi /etc/sysconfig/network

HOSTNAME=wang

d) 配置映射

 

 e) 重启reboot,之后就可以使用主机名访问了 ,但是使用主机名访问只能虚拟机内

有效。外部主机访问还是需要ip

f) 另外注意:启动yarndfs时,如果不想重复输入密码,则需要进行ssh免密码登录配置。

 

转载请注明原文地址: https://www.6miu.com/read-1400028.html

最新回复(0)