Linux7 下Hadoop集群用户管理方案之二 CDH5.9.0版本安装配置

前期准备： 第一步：装NTP 这个单独做了一个文档专门写NTP. 我擦。搞死了。一上午都在搞这个ntp。。。终于搞定了。 第二步：改Hosts文件 echo '10.10.106.156   edu-bigdata-01.novalocal' > /etc/hosts echo '10.10.106.157   edu-bigdata-02.novalocal' >> /etc/hosts echo '10.10.106.158   edu-bigdata-03.novalocal' >> /etc/hosts echo '127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4' >> /etc/hosts echo '::1         localhost localhost.localdomain localhost6 localhost6.localdomain6' >> /etc/hosts 第三步：关闭SELinux # echo "SELINUX=disabled" > /etc/sysconfig/selinux ; 第四步：关闭防火墙 CentOS 6 # service iptables stop # chkconfig iptables off CentOS 7 service firewall stop  # 关闭防火墙 chkconfig firewall off  #开机不启动 第五步：修改transparent_hugepage参数，这一参数默认值可能会导致CDH性能下降  CentOS 6在/etc/rc.local 中增加一行: # echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag CentOS 7 在/etc/rc.local中增加一行  echo never > /sys/kernel/mm/transparent_hugepage/defrag 或者使用root执行 # echo 'never' > /sys/kernel/mm/transparent_hugepage/defrag   参考 http://www.cloudera.com/documentation/archive/cdh/4-x/4-2-2/CDH4-Installation-Guide/cdh4ig_topic_11_6.html# 第六步：安装JDK yum install -y java 第七步：外部数据库安装  mysql  CentOS 7.2系统 安装 # yum install mysql – y #yum install  -y  mysql-server #yum install mysql-devel 这里有CentOS7 的问题。mysql-server 被替换成了mariadb 这里使用rpm的方式安装 #  wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm #  rpm -ivh mysql-community-release-el7-5.noarch.rpm #  yum install -yy mysql-community-server 设置开机启动 # chkconfig mysqld on 启动mysql数据库 # service mysqld start 设置MySQL的root用户设置密码 # mysql –uroot –p 新建的数据库，默认密码位空，直接回车即可 mysql>set password for root@localhost=password('123456'); 开启远程访问 mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'edu-bigdata-01.novalocal' IDENTIFIED BY '123456' WITH GRANT OPTION; mysql>FLUSH PRIVILEGES; 第八步：配置免密登陆 ssh-keygen -t rsa 三次回车 生成的公私钥对在  ~/.ssh 目录下 将公钥复制到ip地址为10.10.106.156的远程机上： ssh-copy-id  -i  /root/.ssh/id_rsa/pub  root@ 10.10.106.156 ssh-copy-id 会自动把  .ssh 的权限设置为 ~ /.ssh (700)  ~/.ssh/authorized(600)  这里需要注意的一点。可能按规矩设置完了没有免密登陆 使用ls -l -a，可以看到两个目录 . .. 这两个的权限需要单独设置，如果有其他的权限的话，就会不能免密。 CM正式安装 第一步：准备 CDH 5.9.0的安装包。使用parcel的方式 下载地址为： https://archive.cloudera.com/cdh5/parcels/5.9.0/ 首先在主服务器上安装httpd服务，可以对外暴漏服务。 yum install -y httpd 启动httpd service httpd start 创建文件夹存放parcel mkdir -p /var/www/html/cdh5/parcel/5.9.0 拷贝安装文件及配置到该目录下 cp CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel /var/www/html/cdh5/parcel/5.9.0/ cp CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha1 /var/www/html/cdh5/parcel/5.9.0 cp manifest.json /var/www/html/cdh5/parcel/5.9.0 并且将 CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha1改为名 CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha mv /var/www/html/cdh5/parcel/5.9.0/CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha1 /var/www/html/cdh5/parcel/5.9.0/CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha 第二步：准备Cloudera-manager包 下载地址为： 下载cloudera-manager-centos7-cm5.9.0_x86_64.tar.gz 我们在/opt目录下安装，每个节点都把cloudera-manager-centos7-cm5.9.0_x86_64.tar.gz解压到/opt下。 最终形成的目录结构为 [root@edu-bigdata-01 opt]# pwd /opt [root@edu-bigdata-01 opt]# ll 总用量 570412 drwxr-xr-x. 4 1106 4001      4096 10月  6 2016 cloudera -rw-r--r--. 1 root root 584088598 4月  24 20:05 cloudera-manager-centos7-cm5.9.0_x86_64.tar.gz drwxr-xr-x. 9 1106 4001      4096 10月  6 2016 cm-5.9.0  第三步：下载jdbc driver . 下载地址为： https://dev.mysql.com/downloads/connector/j/ tar zxvf mysql-connector-java- 5.1 . 38 .tar.gz cp mysql-connector-java- 5.1 . 38 /mysql-connector-java- 5.1 . 38 -bin.jar /usr/share/java/mysql-connector-java.jar 第四步：初始化CM使用的数据库 通过cm的数据库脚本初始化数据库。 /opt/cm- 5.9 . 0 /share/cmf/schema/scm_prepare_database.sh mysql scm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm # All done, your SCM database is configured correctly! 第五步：准备 parcel。 每个节点都创建cloudera-scm用户 在 主节点上执行： mkdir -p /opt/cloudera/parcel-repo  chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo  在 每个agent节点上执行： mkdir -p /opt/cloudera/parcels  chown cloudera-scm:cloudera-scm /opt/cloudera/parcels  将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo需要手动创建）。

相关的文件如下：

-rwxrwxrwx. 1 root root 1492922238 4月  25 15:04 CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel-rwxrwxrwx. 1 root root         41 4月  25 15:04 CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha1 -rw-r--r--. 1 root root      63988 4月  25 16:22 manifest.json 最后将 CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha1 ，重命名为 CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha ，这点必须注意，否则，系统会重新下载CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel文件。 mv  CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha1  CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha 第五步：启动Cloudera Manager 创建用户    cloudera-scm,启动时候需要 useradd --system --home=/opt/cm- 5.9 . 0 /run/cloudera-scm-server --shell=/bin/ false --comment "Cloudera SCM User" cloudera-scm 在CM Server上创建目录 mkdir /var/lib/cloudera-scm-server mkdir /var/log/cloudera-scm-server chown cloudera-scm:cloudera-scm /var/log/cloudera-scm-server Server启动 /opt/cm-5.9.0/etc/init.d/cloudera-scm-server start 开机自启动 cp /opt/cm- 5.9 . 0 /etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server chkconfig cloudera-scm-server on 修改/etc/init.d/cloudera-scm-server文件的内容，将CMF_DEFAULTS 的值由 ${CMF_DEFAULTS:-/etc/default} 改为/opt/cm-5.9.0/etc/default Agent启动 首先配置Agent的  vi /opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini server_host=10.10.106.156 启动 /opt/cm-5.9.0/etc/init.d/cloudera-scm-agent start 开机自启动 cp /opt/cm- 5.9 . 0 /etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent chkconfig cloudera-scm-agent on 修改/etc/init.d/cloudera-scm-agent文件的内容，将CMF_DEFAULTS 的值由 ${CMF_DEFAULTS:-/etc/default} 改为/opt/cm-5.9.0/etc/default 注意：如果CM Server主机上也要启动CM Agent，则也要执行上述命令 第六步：访问CMServer:7180 这块需要把刚才第五步好好看看。这个图不是太必须貌似。但是 免密登陆一定要设置。 此时可以通过agent的log查看信息 tail -200f /opt/cm-5.9.0/log/cloudera-scm-agent/cloudera-scm-agent.log 还是遇到了一些问题。 主机间免密登陆是一定要设置的。而且设置时候需要注意文件加的权限   ls -l -a  另外cloudera-scm用户也要创建。 无脑继续了 一个个的绿色✔️。 完成。 真是坎坷的过程。虽然已经第二次安装了。每次都能遇到不同的坑。哈哈。 下一步该配置Kerberos了。虽然也配置过了，但是也是充满冒险的旅程。开始吧。  各位同道如果有任何问题，可以找我。