Hadoop2.9.0+VMware+ubuntu16.04完全分布式安装指南-超详细

xiaoxiao2021-02-28  46

0.环境概要

Linux:Ubuntu 16.04 hadoop:Hadoop 2.9.0 jdk:1.8.0 vmware:14.0 pro

1.Linux环境部署

1.1第一步配置Vmware NAT网络

    vmware虚拟机的配置,主要是网络配置,选择NAT网络,Ubuntu在我的电脑上不需要配置网络,选择默认就好。centos系统需要修改配置文件,请看这里。所以这一步跳过啦。

1.2第二步Vmware安装Linux操作系统

1.关闭防火墙

chkconfig iptables off2.关闭selinux vim /etc/sysconfig/selinux 修改为 # This file controls the state of SELinux on the system. # SELINUX= can take one of these three values: # enforcing - SELinux security policy is enforced. # permissive - SELinux prints warnings instead of enforcing. # disabled - No SELinux policy is loaded. SELINUX=disabled #修改这个地方为disabled # SELINUXTYPE= can take one of these two values: # targeted - Targeted processes are protected, # mls - Multi Level Security protection. SELINUXTYPE=targeted 2.hostname修改(永久) vim /etc/sysconfig/network NETWORKING=yes #使用网络 HOSTNAME=hadoop00 #设置主机名 vim /etc/hosts ``` ``` vim /etc/hosts vim /etc/hosts ``` 3.免密码登录 4.创建工作目录 5.安装jdk-配置环境变量 a.官网下载JDK文件:[ JDK下载](l) 选择对应的JDK,此处为jdk-8u151-linux-x64.tar.gz b.创建一个文件夹```sudo mkdir /java``` c.将文件解压至该文件夹 ```tar -zxvf jdk-8u151-linux-x64.tar.gz -C /java``` d.配置jdk的环境变量 ```sudo gedit /etc/profile``` 在末尾加入以下语句 ```PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:$JAVA_HOME/bin" export CLASSPATH=.:\$JAVA_HOME/lib:$JAVA_HOME/jre/lib export JAVA_HOME=/java/jdk1.8.0_121``` e.修改完成之后保存关闭,并输入以下命令使环境变量立即生效 ```source /etc/profile``` f.输入```java -version```,显示JDK版本说明恭喜你,环境变量配置正确,继续下一步 6.Hadoop本地模式安装 | 模式名称 | 各个模块占用的JVM进程数 | 各个模块运行在几个机器数上 | | :------||| | 本地模式 | 1个 | 1个| | 伪分布式模式 | N个 | 1个| | 完全分布式模式 | N个 | N个| | HA完全分布式 | N个 | N个| 1.下载Hadoop安装包[ Hadoop Download] 解压到/home/hadoop 2.修改配置文件 增加环境变量-java-hadoop  a.在系统环境变量中添加hadoop的PATH    b.在/hadoop/etc的数个文件中添加java的PATH  包括  yarn-env.sh  mapred-env.sh  hadoop-env.sh    c.配置hadoop环境  包括  yarn-site.xml  hdfs-site.xml  core-site.xml source vmware克隆虚拟机2份 关闭虚拟机后,点击管理-克隆-创建完整克隆 重复克隆一次,两个虚拟机分别命名为slave1.slave2 分发到子机器 启动start-dsf,yarn

启动yarn的网页host:http://localhost:8088/cluster

编辑时间:2018/4/9

教程还不是很完善,从markdown上粘过来很多东西都丢失啦。有问题请联系我。

教程参考了许许多多的网络资源和以下几位的博客,谢谢。

转载请注明原文地址: https://www.6miu.com/read-2620466.html

最新回复(0)