hadoop集群搭建前需要配置的一些内容

xiaoxiao2021-02-28  27

hadoop集群搭建前的配置

Created Wednesday 14 March 2018

系统是基于Centos64位的 注意修改bootproto ,gateway, netmask

网络环境准备: 采用nat方式联网

服务器系统设置: 1.同步时间

yum install ntpdate ntpdate cn.pool.ntp.org

2.设置主机名

vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=node-1

3.配置IP,和主机名的映射

vi /etc/hosts 192.168.33.101 node-1 192.168.33.102 node-2 192.168.33.103 node-3

4.配置SSH免密登录

生成SSH免登录秘钥 ssh-keygen -t rsa(四个回车) 执行完这个命令后,会生成id_rsa(私钥) id_rsa.pub(公钥) 将公钥拷贝到要免密登录的目标机器上。

例子:配置单主机模式的时候,需要把id_rsa.pub公钥,要追加到服务端的authorized_keys中,

cat id_rsa.pub >> authorized_keys

5.配置集群的防火墙(注意centos7默认是fierwall防火墙) 查看防火墙状态 service iptables status

关闭防火墙 service iptables stop

查看防火墙开机启动状态 chkconfig iptables --list

关闭防火墙开机启动 chkconfig iptables off

6.JDK环境安装 mini版centos没有安装jdk 7.hadoop安装包目录结构

为什么要编译hadoop: 1.程序当中有一部分跟系统环境息息相关 (文件读写 win还是linux 64 32) 2.当需要自定义源码当中的某些组件的时候,需要修改源码

然后需要重新编译成安装包。

bin:hadoop最基本的管理脚本和使用脚本的目录 sbin:(super bin)hadoop管理脚本所在的目录,主要包含HDFS和YARN中各类服务的启动/关闭脚本 etc:hadoop配置文件所在目录 include:对外提供的编程库头文件 lib:该目录包含了hadoop对外提供编程的动态和静态库,与include目录种的头文件结合使用。 libexec:各个服务对用的shell配置文件所在牧流

转载请注明原文地址: https://www.6miu.com/read-2632833.html

最新回复(0)