Ubuntu-16.04 下 Hadoop-2.8.0环境搭建

xiaoxiao2021-02-28  104

学习如何在Linux上部署Hadoop集群


第一步:在Ubuntu16.04下部署JDK环境

Hadoop的前提是需要有Java环境。 建议安装JDK1.6以上的版本以供使用。 JDK下载地址 :我这里使用的是1.8 Linux-64的。 注意:结尾是tar.gz结尾的!

下载完成之后把包考入Ubuntu系统:

sudo tar -zxcf /home/Desttop/jdk-8u131-linux-x64.tar.gz -C /usr/local/java

通过命令把JDK解压到指定的文件夹(看不懂命令的建议看下基础Linux)。

解压完成之后:

vim /etc/profile

修改配置文件,需要vim ,需要root权限 (root权限只需要 su root 再输入密码就可以)。

在配置文件末尾加上:

export JAVA_HOME=/usr/java/jdk1.8.0_131 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

注意: 第一行的”/usr/java/jdk1.8.0_131”是我的JDK地址,各自的可能不同,留意。

安装完成之后测试一下:

root@ubuntu:/usr# java -version java version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

可以看到搞定了,甚至你还可以敲代码试试:

javac filename.java #预编译 java filename #输出

第二步:安装SSH

在安装hadoop之前必须要要配置ssh 这个简单:

sudo apt-get install openssh-server sudo apt-get install openssh-client

接着设置无密码登录:

exit # 退出刚才的 ssh localhost cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost ssh-keygen -t rsa # 会有提示,都按回车就可以 cat ./id_rsa.pub >> ./authorized_keys # 加入授权

测试一下:

ssh localhost

返回结果可看。


第三步:搭建Hadoop2.8.0

首先你需要下载对应版本的Hadoop包:Hadoop下载地址 同JDK一样把包安装的对应的位置:

sudo tar -zxcf /home/Public/hadoop-2.8.0.tar.gz -C /usr/local/

完成之后在local文件夹下有一个对应的文件夹,修改它的名字:

rm hadoop-2.8.0 hadoop

同样的,我们需要在/etc/profile中修改环境变量:

export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL

保存,执行命令:

source /etc/profile

就是执行配置的意思:

hadoop -version Hadoop 2.8.0 Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 91f2b7a13d1e97be65db92ddabc627cc29ac0009 Compiled by jdu on 2017-03-17T04:12Z Compiled with protoc 2.5.0 From source with checksum 60125541c2b3e266cbf3becc5bda666 This command was run using /usr/local/hadoop-2.8.0/share/hadoop/common/hadoop-common-2.8.0.jar

啦啦啦啦啦,完成了! 未完待续。。。 参考文献:Hadoop安装教程


7.21更新:在Hadoop集群之上搭建了Hive,关于如何搭建Hive也是巨坑之路。。。我实在是懒得写博客了。。。贴一篇别人的吧:Hive2.1.1搭建教程

转载请注明原文地址: https://www.6miu.com/read-63471.html

最新回复(0)