Linux(Redhat)下安装JDK和hadoop;hadoop伪分布式搭建

xiaoxiao2021-03-01  17

1、安装JDK

版本为JDK1.8。

先查看系统是否有自带的JDK(若有,卸载系统自带的JDK):rpm -qa | grep jdk或rpm -qa | grep gcj

使用rpm -e --nodeps 命令删除上面查找的内容:如:#rpm -e –nodeps  jdk-1.6.0_22-fcs

安装命令:rpm -ivh jdk压缩包名。

把解压过后的文件夹放在自己知道的路径下,然后修改/etc/profile文件,在该文件的末尾加上:export JAVA_HOME=jdk路径 

                                   如:       

然后执行:source /etc/profile命令,使修改后的/etc/profile文件生效。

使用java -version 命令,查看java版本,若出现下图则安装成功:

2、安装Hadoop

解压hadoop压缩文件,命令:tar -zxvf hadoop压缩文件名(tar -zxvf hadoop-3.1.1.tar.gz)。把解压后的文件移动到自己知道的路径下。进入该路径下,用命令查看Hadoop版本,出现下面信息后则Hadoop安装成功。

3、Hadoop伪分布式搭建

修改主机名:vi /etc/hosts(把图上原有的第一个localhost.localdomain修改为主机名).

修改  vi /etc/sysconfig/network的HOSTNAME

重启Redhat后主机名就会改变。

创建hadoop需要的目录,在如图的路径下创建:mkdir -p hdfs/{data,name,tmp}

进入配置文件所在的路径,修改配置文件

修改配置文件

vi  hadoop-env.sh     在该文件的末尾加入:(自己的JDK和HADOOP路径)

 

vi core-site.xml   在文件的<configuration中加入以下内容:(HXW为自己的主机名,请自行修改,后面的文件同理)

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://HXW:9000</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/hdfs/tmp</value> <description>Abase for other temporary directories.</description> </property> </configuration>

vi  mapred-site.xml   在文件的<configuration中加入以下内容:

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>HXW:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>HXW:19888</value> </property> </configuration>

 

vi  hdfs-site.xml   在文件的<configuration中加入以下内容:

<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>HXW:9001</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/hdfs/data</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/hdfs/data</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> </configuration>

vi  yarn-site.xml   在文件的<configuration中加入以下内容:

<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>HXW:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>HXW:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>HXW:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>HXW:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>HXW:8088</value> </property> </configuration>

进入以下路径

修改start-dfs.sh和stop-dfs.sh     在这两个文件的开头都加上

#!/usr/bin/env bash HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root

修改start-yarn.sh和stop-yarn.sh   也是在这两个文件的开头都加上

#!/usr/bin/env bash YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root

修改文件:vi /usr/local/hadoop/etc/hadoop/log4j.properties    在文件末尾加上

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

 

如图:

又修改 vi /etc/profile文件,在文件末尾加入:

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

如图:

修改完毕后执行:source /etc/profile命令,使修改后的/etc/profile文件生效。

 

启动hadoop

格式化namenode节点(命令:hdfs namenode -format)

启动——检查系统是否能够在没有密码的情况下ssh登录:ssh localhost     如果要输密码,则为系统设置免密登录:

执行命令:ssh-keygen -t rsa    (执行这个命令后出现的都直接回车)

再执行:cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys

 

系统能够免密登录后,进入:cd /usr/loacl/hadoop/sbin  (此为我的路径,请自行修改!!!)

然后启动命令:start-all.sh

 

输入命令:jps  若出现下图的效果,则安装成功。

 

转载请注明原文地址: https://www.6miu.com/read-3850342.html

最新回复(0)