centos7+hadoop2.8.0+VMware搭建完全分布式集群

xiaoxiao2021-03-01  17

相关软件:

①CentOS-7-x86_64-DVD-1611.iso

②hadoop-2.8.0.tar.gz

③jdk-8u161-linux-x64.tar.gz

④VMware版本10.0.4 build-2249910

 

第一步:安装虚拟机

假设已安装好VMware(如果未安装,点这里)。接下来在VMware中安装centos系统,基本按照默认选项进行安装,只需要修改一下虚拟机名和存储位置,以及网络模式选择NAT。安装完一个后,用克隆的方式再克隆两个虚拟机。克隆的时候要注意以下两个地方的选择:

这样就创建好了三台虚拟机。

第二步:配置网络

①修改三台虚拟机的hostname,如第一台修改完master,用命令hostname master

 

修改完后用hostname命令查看修改结果。另外两台分别修改为slave1和slave2。

②查看三台虚拟机的ip地址,用命令ip add或ip addr查看,发现没有分配ip地址

这是因为centos安装后默认是关闭网卡的,要进/etc/sysconfig/network-scripts/下修改ifcfg-ens33,将ONBOOT的值改成yes。ONBOOT是指明在系统启动时是否激活网卡,只有在激活状态的网卡才能连接网络,进行网络通信。

保存后使用命令service network restart重启网络,如果此时报错,可以尝试点击这里解决。重启完成后,ping百度应该是能通的,说明网络没问题。查看ip信息也是有的。(如果ping百度出现name or service not known错误,则需要设置DNS,vi /etc/resolv.conf在文件中添加如下两行:nameserver 8.8.8.8     nameserver 8.8.4.4即可)

③修改各主机的主机名分别为master,slave1,slave2,命令hostnamectl set-hostname master

④此时默认的是动态ip,为避免ip变动,需要改成静态ip,具体步骤参考另一篇博文:https://blog.csdn.net/ASN_forever/article/details/80938852

主机名和ip的对应如下:

master    192.168.89.128

slave1    192.168.89.129

slave2    192.168.89.130

 

第三步:实现三台虚拟机之间免密登陆

①修改/etc/hosts文件,使三台虚拟机可以互相ping通。使用命令vi /etc/hosts,添加下图红框信息。

三台都添加完后,测试是否能够互相ping通,如master下ping slave1,之间用命令ping slave1即可,能ping通说明三台虚拟机之间是互联的。

②分别给三台虚拟机生成密钥文件,以master为例,使用命令ssh-keygen  -t   rsa   -P  ''生成空字符串的密钥。

因为我现在用的是root账户,所以秘钥文件保存到了/root/.ssh/目录内,可以使用命令查看,命令是:ls    /root/.ssh/。(如果你用的是xftp5操作的话,可能会看不到.ssh文件,因为默认隐藏了,需要点击“工具”—>“选项”—>“常规”,勾选上“显示隐藏的文件”即可。)

③在master的/root/.ssh/下创建一个文件authorized_keys。分别获得三个主机中/root/.ssh/id_rsa.pub文件的内容,并将三个内容合并到此authorized_keys文件中,然后将这个文件分别复制到slave1和slave2的/root/.ssh文件夹下。(xftp比较方便)

我的authorized_keys内容如下:

然后就能够实现两两之间免密登录了,以在master中登录slave1为例,命令为:ssh slave1

第四步:安装配置jdk

jdk下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

①使用xftp将下载的jdk压缩包上传的三台虚拟机的/opt/java下,并使用命令解压(注意一定不要使用wget下载)

注意:如果解压时报错如下

可以参考这篇文章解决:https://www.cnblogs.com/llxx07/p/6409384.html

如果还是报错,就换一个jdk版本重新下载解压。

②分别修改/etc/profile文件,添加下图红框内容,其中JAVA_HOME是你自己的jdk安装路径。

使用source /etc/profile命令是修改生效,并检查jdk是否安装成功

(注意:必须得在Linux系统中解压缩才行,如果是把在本地解压后得到的文件夹传到centos的/opt/java下,这样在修改profile文件后,运行java –version会报错)

错误信息:-bash: /opt/java/jdk1.8.0_161/bin/java: Permission denied

到此为止,已经完成了基本工作,下面是最重要的hadoop安装和配置了。

第五步:安装配置hadoop

hadoop下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

注意:下面的①②操作需要在三台虚拟机上分别执行

①在opt目录下新建一个hadoop文件夹,将下载的hadoop压缩包上传到此文件夹中并解压缩。(建议使用xftp5)

在/opt/hadoop目录下,执行tar  -xvf   hadoop-2.8.0.tar.gz命令进行解压,解压缩后得到一个名为hadoop-2.8.0的目录。

②在/root目录下新建几个目录,具体目录和命令如下:

注意:下面的③-⑨,也就是hadoop文件下的配置,只需要在master上配置好后,将hadoop传到各节点即可

③修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/core-site.xml文件, 在<configuration>节点内添加以下内容:

 <configuration>    <property>         <name>hadoop.tmp.dir</name>         <value>/root/hadoop/tmp</value>         <description>Abase for other temporary directories.</description>    </property>    <property>         <name>fs.default.name</name>         <value>hdfs://master:9000</value>    </property>    <property>         <name>io.file.buffer.size</name>         <value>131072</value>         <description> 设置缓存大小 </description>    </property>    <property>         <name>hadoop.security.authorization</name>         <value>false</value>    </property> </configuration>

④修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/hadoop-env.sh文件,将export   JAVA_HOME=${JAVA_HOME}修改为export   JAVA_HOME=/opt/java/jdk1.8.0_161

⑤类似步骤④,修改yarn.env.sh和mapred.env.sh文件,配置JAVA_HOME

 

⑥修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/hdfs-site.xml文件,在<configuration>节点内添加以下内容:

<property>    <name>dfs.namenode.name.dir</name>    <value>/root/hadoop/dfs/name</value>    <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently. </description> </property> <property>    <name>dfs.datanode.data.dir</name>    <value>/root/hadoop/dfs/data</value>    <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</d escription> </property> <property>    <name>dfs.replication</name>    <value>2</value> </property> <property>    <name>dfs.webhdfs.enabled</name>    <value>true</value> </property> <property>    <name>dfs.permissions</name>    <value>false</value>    <description>need not permissions</description> </property>

⑦新建并且修改mapred-site.xml,命令如下:

(也可以用xftp直接重命名修改)

修改这个新建的mapred-site.xml文件,在<configuration>节点内添加以下内容:

<property>     <name>mapreduce.framework.name</name>     <value>yarn</value>     <final>true</final> </property>      <property>     <name>mapred.job.tracker</name>     <value>master:9001</value> </property> <property>       <name>mapred.local.dir</name>        <value>/root/hadoop/var</value> </property> <property>         <name>mapreduce.jobtracker.http.address</name>         <value>master:50030</value>     </property>     <property>             <name>mapreduce.jobhistory.address</name>             <value>master:10020</value>     </property>     <property>             <name>mapreduce.jobhistory.webapp.address</name>             <value>master:19888</value>     </property>

⑧修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/slaves文件,将里面的localhost删除,添加以下内容:

⑨修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/yarn-site.xml文件,在<configuration>节点内添加以下内容:

<property>         <name>yarn.resourcemanager.hostname</name>         <value>master</value>    </property>    <property>         <description>The address of the applications manager interface in the RM.</description>         <name>yarn.resourcemanager.address</name>         <value>master:8032</value>    </property>    <property>         <description>The address of the scheduler interface.</description>         <name>yarn.resourcemanager.scheduler.address</name>         <value>master:8030</value>    </property>    <property>         <description>The http address of the RM web application.</description>         <name>yarn.resourcemanager.webapp.address</name>         <value>master:8088</value>    </property>    <property>         <description>The https adddress of the RM web application.</description>         <name>yarn.resourcemanager.webapp.https.address</name>         <value>master:8090</value>    </property>    <property>         <name>yarn.resourcemanager.resource-tracker.address</name>         <value>master:8031</value>    </property>    <property>         <description>The address of the RM admin interface.</description>         <name>yarn.resourcemanager.admin.address</name>         <value>master:8033</value>    </property>    <property>         <name>yarn.nodemanager.aux-services</name>         <value>mapreduce_shuffle</value>    </property>

    <property>                                                                                 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>                <value>org.apache.hadoop.mapred.ShuffleHandler</value>         </property>

   <property>         <name>yarn.scheduler.maximum-allocation-mb</name>         <value>2048</value>         <discription>每个节点可用内存,单位MB,默认8182MB</discription>    </property>    <property>         <name>yarn.nodemanager.vmem-pmem-ratio</name>         <value>2.1</value>    </property>    <property>         <name>yarn.nodemanager.resource.memory-mb</name>         <value>2048</value> </property>    <property>         <name>yarn.nodemanager.vmem-check-enabled</name>         <value>false</value> </property>

 

⑩配置hadoop环境变量(此步骤需要在所有机器上配置)

将hadoop的安装目录添加到/etc/profile文件中,具体配置如下,并使其生效,:

HADOOP_HOME=/opt/hadoop/hadoop-2.7.5/ PATH=$HADOOP_HOME/bin:$PATH export HADOOP_HOME PATH

第六步:启动hadoop

①在namenode上执行初始化,因为master是namenode,slave1和slave2都是datanode,所以只需要对master进行初始化操作,也就是对hdfs进行格式化。进入到master这台机器的/opt/hadoop/hadoop-2.8.0/bin目录,执行命令 ./hadoop  namenode  -format,结果如下:

②注:在mapreduce.site.xml中配置了jobhistory,需要启动日志记录服务:

命令为:mr-jobhistory-daemon.sh start historyserver

③在namenode上执行启动操作, 因为master是namenode,slave1和slave2都是datanode,所以只需要再master上执行启动命令即可。进入到master这台机器的/opt/hadoop/hadoop-2.8.0/sbin目录,执行 ./start-all.sh或者./start-dfs.sh:

(Permission denied不知道是什么原因)

找到Permission denied的原因,是因为slave2中/etc/profile文件的jdk配置没有生效,需要授权

修改之后在master中运行stop-all.sh关闭服务,再启动start-all.sh,结果如下:

④测试hadoop

 先关闭防火墙:systemctl   stop   firewalld.service

master是namenode节点,其ip为192.168.89.128,因此在本地浏览器输入网址http://192.168.89.128:50070/即可打开hadoop界面

 输入http://192.168.89.128:8088/自动跳转到cluster页面,可以看到活动节点数量为2,说明两个DataNode启动成功。

这样就搭建成功了,然后就可以写一些MapReduce程序了。(目前只完成hadoop集群搭建,还没有跑任何程序)

⑤启动起来之后,可以用jps命令查看进程,看启动情况。

master:

slave1:

slave2:

补充:上面虽然安装好了hadoop集群,但是关机后需要重新启动./start-all.sh,并且关闭防火墙systemctl stop  firewalld.service,很麻烦。因此想到设置成hadoop开机自启动,以及禁止防火墙开机自启动。

一、禁止防火墙开机自启动

①systemctl stop firewalld.service #停止firewall

②systemctl disable firewalld.service #禁止firewall开机启动

③firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)

注意:①centos7默认采用的是firewall防火墙,可以禁用firewall防火墙后,下载配置iptables防火墙。

          ②各个节点也要禁用防火墙,不然在后面上传文件到HDFS时会报“没有到主机的路由”的错误!如下:

二、开机自启动hadoop

在master虚拟机中做以下配置

①在/etc/rc.d/init.d目录中新建一个hadoop文件

命令:touch hadoop

②将以下内容添加到hadoop中

#!/bin/bash #chkconfig:2345 20 90 #description:hadoop #processname:hadoop export JAVA_HOME=/opt/java/jdk1.8.0_161 case $1 in     start) su root /opt/hadoop/hadoop-2.8.0/sbin/start-all.sh;;     stop) su root /opt/hadoop/hadoop-2.8.0/sbin/stop-all.sh;;     *) echo "require start|stop" ;; esac

~      

③给文件设置权限:chmod +x hadoop

④加入到开机启动项

(注意:必须先打开slave1和slave2节点再打开master节点,这样开机自启动才能找到DataNode节点)

https://www.cnblogs.com/xiaochangwei/p/7466893.html(参考)http://blog.51cto.com/balich/2062052(好)

至此,hadoop完全分布式集群就搭建成功了,接下来可以试着运行第一个MapReduce程序:hadoop自带的Wordcount程序

具体参考下一章:https://mp.csdn.net/postedit/80929910

转载请注明原文地址: https://www.6miu.com/read-3100034.html

最新回复(0)