大数据CDH5环境搭建

相关包的下载地址： Cloudera Manager地址： http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.6.1/ http://archive.cloudera.com/cm5/installer/5.6.1/ CDH安装包地址：http://archive.cloudera.com/cdh5/parcels/5.6.1/ 由于我们的操作系统为CentOS6.5，需要下载以下文件： CDH-5.6.1-1.cdh5.6.1.p0.5-el6.parcel CDH-5.6.1-1.cdh5.6.1.p0.5-el6.parcel.sha1 manifest.json JDBC：http://download.softagency.net/MySQL/Downloads/Connector-J/

一、基础环境准备(所有服务器都要做)

1.修改主机名和hosts

# vi /etc/sysconfig/network --修改主机名 NETWORKING=yes HOSTNAME=bigdata01.nebuinfo.com # vi /etc/hosts --修改hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.128.51 bigdata01.nebuinfo.com 192.168.128.52 bigdata02.nebuinfo.com 192.168.128.53 bigdata03.nebuinfo.com

2.关闭服务器防火墙以及selinux

# service iptables stop # chkconfig iptables off # vi /etc/selinux/config 将SELINUX=enforcing改为SELINUX=disabled 验证： # iptables -L # getenforce

3.禁用IPv6

# echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf # echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf

4.禁用“透明大页面”

5.6.1只要这一个命令,后面版本会多出一个命令,注意看警告即可 # echo never > /sys/kernel/mm/transparent_hugepage/defrag # echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local

5.调整Swappiness

# cat /proc/sys/vm/swappiness 默认是60 修改swappiness值为10 sysctl vm.swappiness=10 为保证重启有效 # vi /etc/sysctl.conf 添加下面一行 vm.swappiness=10 所有服务器重启后验证hostname 和 SELINUX

6.配置免秘钥

修改好主机名以后 # ssh-keygen -t rsa -P '' --在本机生成公钥 # cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys --公钥写入自己的认证文件 # chmod 600 ~/.ssh/authorized_keys 主节点执行 # scp ~/.ssh/id_rsa.pub root@bigdata02.nebuinfo.com:~ # scp ~/.ssh/id_rsa.pub root@bigdata03.nebuinfo.com:~ 各个节点执行 # cat ~/id_rsa.pub >> ~/.ssh/authorized_keys # chmod 600 ~/.ssh/authorized_keys # rm ~/id_rsa.pub 各个节点执行(可不做) # cd ~/.ssh # ssh-copy-id -i id_rsa.pub root@bigdata01.nebuinfo.com

7.利用ntp配置服务器时间同步

先选定一台主服务器,其他服务器都同步这台主服务器的时间 先修改时间 # date -s '2017-10-24 12:48:30' +'%F %T'(实际改成当前时间) 将修改后的时间写入硬件时钟，确保重启有效 # hwclock -w 配置开机启动 # chkconfig ntpd on # chkconfig --list ntpd 先配置主服务器 # vi /etc/ntp.conf (找到这一行,放开restrict的注释,并且修改ip地址) # Hosts on local network are less restricted. restrict 192.168.128.1 mask 255.255.255.0 nomodify notrap (找到这一行,注释下面的server) # Please consider joining the pool (http://www.pool.ntp.org/join.html). #server 0.centos.pool.ntp.org iburst #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.org iburst #server 3.centos.pool.ntp.org iburst 添加下面两行 server 127.127.1.0 # local clock fudge 127.127.1.0 stratum 10 配置其他服务器 # vi /etc/ntp.conf (找到这一行,放开restrict的注释,并且修改ip地址) # Hosts on local network are less restricted. restrict 192.168.128.1 nomodify notrap noquery (找到这一行,注释下面的server) # Please consider joining the pool (http://www.pool.ntp.org/join.html). #server 0.centos.pool.ntp.org iburst #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.org iburst #server 3.centos.pool.ntp.org iburst 指定时间服务 server 192.168.128.51 改好文件后所有机器重启ntp服务 # service ntpd restart 5-10分钟后验证时间是否同步 # ntpstat synchronised to NTP server (192.168.128.51) at stratum 12 time correct to within 18 ms polling server every 64 s (显示上面内容说明同步成功) 利用date命令再次验证 # date

8.JDK1.8安装及配置

参考资料：http://www.cnblogs.com/shihaiming/p/5809553.html

下载jdk8 ：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 选择对应jdk版本下载

登录Linux切换到root用户

卸载系统自带的JDK

[root@localhost java]# rpm -qa|grep java --查询目前已装的JDK java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64 tzdata-java-2013g-1.el6.noarch java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64 # rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64 tzdata-java-2013g-1.el6.noarch java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64 --卸载相应的JDK

在usr目录下建立java安装目录(必须要装在这个目录,否则后面会有找不到java_home的报错)

# mkdir /usr/java

将jdk-8u151-linux-x64.gz发送到java目录下

解压jdk到当前目录

# tar -zxvf jdk-8u151-linux-x64.gz 得到文件夹 jdk1.8.0_151

编辑配置文件，配置环境变量

vi /etc/profile 添加如下内容：

JAVA_HOME=/usr/java/jdk1.8.0_151 CLASSPATH=$JAVA_HOME/lib/ PATH=$PATH:$JAVA_HOME/bin export PATH JAVA_HOME CLASSPATH

执行命令 ：

# source /etc/profile

查看安装情况

[root@localhost ~]# java -version java version "1.8.0_151" Java(TM) SE Runtime Environment (build 1.8.0_151-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)

9.挂载CenterOS镜像文件配置yum源

如果通互联网可以不做,否则必须做 暂时没写,后面补上

二、CDH所需服务搭建

1.MySql安装及配置

查看并卸载已有的mysql(所有服务器都要做) # rpm -qa|grep -i mysql # rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64 # mkdir /app/mysql(只在主节点安装) 将mysql的安装包上传到/app/mysql MySQL-client-5.6.13-1.el6.x86_64.rpm MySQL-devel-5.6.13-1.el6.x86_64.rpm MySQL-server-5.6.13-1.el6.x86_64.rpm MySQL-shared-compat-5.6.35-1.el6.x86_64.rpm # cd /app/mysql # rpm -ivh * Preparing... ########################################### [100%] 1:MySQL-server ########################################### [ 33%] 安装成功后启动 # service mysql start 查看root初始密码 # cat /root/.mysql_secret 例如:# The random password set for the root user at Tue Oct 24 17:01:46 2017 (local time): OYRocvL1 # mysql -uroot -pOYRocvL1 (注意密码前面有个-p) mysql> SET PASSWORD = PASSWORD('123456'); --先要修改默认的root密码 否则无法进行下面的操作 切换到mysql的database中,里面存储了用户信息,可以修改密码 mysql> use mysql; 为其他客户端开启连接权限 mysql> grant all privileges on *.* to 'root'@'%' identified by '123456'; mysql> flush privileges;//刷新权限 创建database和用户 复制下面命令在mysql命令行下执行: create database hive; create database oozie; grant all on hive.* to 'hive'@'%' identified by 'hive' with grant option; grant all on oozie.* to 'oozie'@'%' identified by 'oozie' with grant option; flush privileges; 创建hive和oozie用户后面会用到,用户名就是密码

2.Cloudera-Manager和CDH安装

开启Http服务(目的是为了提供yum源) # service httpd start 将提供的cm文件夹放到/var/www/html目录下 # ll /var/www/html/cm drwxr-xr-x 4 root root 4096 10月 24 19:30 5.6.1 -rw-r--r-- 1 root root 1690 10月 24 19:30 cloudera-manager-installer.bin -rw-r--r-- 1 root root 1690 10月 24 19:30 cloudera-manager.repo -rw-r--r-- 1 root root 1690 10月 24 19:30 RPM-GPG-KEY-cloudera 通过浏览器访问http://192.168.128.51/cm/可以看到相应文件夹 添加mysql驱动包 mysql-connector-java.jar复制到/usr/share/java/ 创建目录mkdir -p /opt/cloudera/parcel-repo 把cdh下的文件放到此目录下得到 CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1 manifest.json 把sha1文件改为sha # mv CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1 DH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha 给cloudera-manager-installer.bin赋予可执行权限 # chmod u+x cloudera-manager-installer.bin 配置cloudera-manager yum源 # vi /etc/yum.repos.d/cloudera-manager.repo 修改为以下内容 [cloudera-manager] name = Cloudera Manager, Version 5.6.1 baseurl = http://192.168.128.51/cm/5.6.1/ gpgcheck = 0 执行cloudera-manager-installer.bin开始安装 # ./cloudera-manager-installer.bin 会出现安装界面,用回车选Next,Yes即可

访问http://192.168.128.51 用户名:admin密码admin

选择免费版

根据域名搜索主机 bigdata[01-03].nebuinfo.com 点击搜索得到以下三台机器

使用Parcel安装 选择CDH5.6.1版本 选择自定义Cloudera Manager Agent 并且设置包路径(截图不太一样,理解原理就行) http://192.168.128.51/cm/5.6.1/

不勾选单用户模式

选择root用户 并设置密码admin

等待安装完毕下一步

等待安装

如果上面的准备工作都做了应该不会有警告,其他警告要看具体情况

根据服务器的配置情况尽量分散各个服务器的压力

配置前面安装好的mysql数据库

默认配置即可

等待安装

完成后可以看到以下页面

参考 http://blog.csdn.net/jdplus/article/details/45920733 http://blog.csdn.net/xjkwq1qq/article/details/50394210