Created Wednesday 14 March 2018
系统是基于Centos64位的 注意修改bootproto ,gateway, netmask
网络环境准备: 采用nat方式联网
服务器系统设置: 1.同步时间
yum install ntpdate ntpdate cn.pool.ntp.org
2.设置主机名
vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=node-1
3.配置IP,和主机名的映射
vi /etc/hosts 192.168.33.101 node-1 192.168.33.102 node-2 192.168.33.103 node-3
4.配置SSH免密登录
生成SSH免登录秘钥 ssh-keygen -t rsa(四个回车) 执行完这个命令后,会生成id_rsa(私钥) id_rsa.pub(公钥) 将公钥拷贝到要免密登录的目标机器上。
例子:配置单主机模式的时候,需要把id_rsa.pub公钥,要追加到服务端的authorized_keys中,
cat id_rsa.pub >> authorized_keys
5.配置集群的防火墙(注意centos7默认是fierwall防火墙) 查看防火墙状态 service iptables status
关闭防火墙 service iptables stop
查看防火墙开机启动状态 chkconfig iptables --list
关闭防火墙开机启动 chkconfig iptables off
6.JDK环境安装 mini版centos没有安装jdk 7.hadoop安装包目录结构
为什么要编译hadoop: 1.程序当中有一部分跟系统环境息息相关 (文件读写 win还是linux 64 32) 2.当需要自定义源码当中的某些组件的时候,需要修改源码
然后需要重新编译成安装包。
bin:hadoop最基本的管理脚本和使用脚本的目录 sbin:(super bin)hadoop管理脚本所在的目录,主要包含HDFS和YARN中各类服务的启动/关闭脚本 etc:hadoop配置文件所在目录 include:对外提供的编程库头文件 lib:该目录包含了hadoop对外提供编程的动态和静态库,与include目录种的头文件结合使用。 libexec:各个服务对用的shell配置文件所在牧流
