CetnOs6.7安装CDH5.4.1手记--Hadoop(1)

前几天因为项目需求，重新安装一遍CDH，这次的安装是基于CentOs Linux 6.7，一路安装完，难免再次碰到很多问题，随手记录上，供下次参考。

1、安装条件与软件准备 1-1）硬件配置：2台塔式小型服务器，配置不高，内容只有8G，硬盘1T； 1-2）软件：软件的匹配是个头痛的事情，由于CDH发行版本更新太快，归档的安装包（包括CM和CDH）版本也很多，我之前安装了好多个版本，都碰到问题，这次采用的是CM+CDH5.4.1的版本，并且采用离线安装（在线安装受限网络访问，太慢了），我准备的软件如下：

1-3）软件下载： 大有也可以根据自己 需要，自动到网上下载： (a) CM下载地址： http://archive-primary.cloudera.com/cm5/cm/5/

但这个地址已经不提供5.9.2以前的版本的压缩包了，我是提前就准备了压缩包。

(b)CDH下载地址： http://archive.cloudera.com/cdh5/ 这里根据自己的需要选择相应的版本下载，我这里准备了的是这3个文件件：

(c)JDK下载地址： http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

(d)Mysql connector下载地址： http://dev.mysql.com/downloads/connector/j/

附：大家可以直接到我准备好的百度云盘上去下啊，但建议新手还是要对CM和CDH版本匹配顺问题，好好研究下！百度云盘地址： （稍后上传，文件有点大）

2、安装前的系统配置 （注：所有的安装都用的root用户操作，但生产环境就不一定了） 2-1）配置主机名与ip地址对应关系，修改/etc/hosts文件，将节点ip也主机名对应（在所有节点上做同样的操作）：

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.0.152 hadoop1.oaec.com 192.168.0.153 hadoop2.oaec.com

2-2）配置SSH名密钥登录（主要是在主节点上操作：hadoop1.oaec.com)

ssh-keygen -t rsa --直接回车 ssh-copy-id hadoop1.oaec.com (将密钥拷贝到节点1） ssh-copy-id hadoop2.oaec.com （将密钥拷贝到节点2）

通过以下方式验证是否不需要输入密码：

2-3）关闭Linux系统防火墙和selinux 防火墙服务关闭与禁止自动重启：

service iptables stop chkconfig iptables off

关闭selinux： 编程文件：/etc/sysconfig/selinux：

将 SELINUX=enforcing 改成 SELINUX=disabled

2-4）配置两个系统文件： 第一个文件：/etc/security/limits.conf，编辑它，将以下内容放到文件里（放在最后面）：

root soft nproc 102400 root hard nproc 163840 root soft nofile 102400 root hard nofile 655360 root soft stack 102400

第二个文件：/etc/pam.d/login，编辑它，将下面这条放入文件：

session required pam_limits.so

2-5)JDK安装（虽然在安装CDH的时候会安装JDK，还是提前配置一下好）；先检查Linux系统是否有opdnjdk，如果有，将这它删掉： 查询到有openjdk:

rpm -qa|grep openjdk java-1.8.0-openjdk-1.8.0.45-35.b13.el6.x86_64 java-1.6.0-openjdk-devel-1.6.0.35-1.13.7.1.el6_6.x86_64 java-1.7.0-openjdk-devel-1.7.0.79-2.5.5.4.el6.x86_64 java-1.6.0-openjdk-javadoc-1.6.0.35-1.13.7.1.el6_6.x86_64 java-1.7.0-openjdk-1.7.0.79-2.5.5.4.el6.x86_64 java-1.8.0-openjdk-headless-1.8.0.45-35.b13.el6.x86_64 java-1.8.0-openjdk-devel-1.8.0.45-35.b13.el6.x86_64 java-1.6.0-openjdk-1.6.0.35-1.13.7.1.el6_6.x86_64

删除openjdk:

rpm -e --nodeps java-1.6.0-openjdk rpm -e --nodeps java-1.7.0-openjdk rpm -e --nodeps java-1.8.0-openjdk rpm -e --nodeps ldapjdk-4.18-6.el6.x86_64 rpm -e --nodeps java-1.8.0-openjdk-devel rpm -e --nodeps java-1.7.0-openjdk-devel rpm -e --nodeps java-1.6.0-openjdk-javadoc rpm -e --nodeps java-1.8.0-openjdk-headless rpm -e --nodeps java-1.6.0-openjdk-devel

安装准备了的jdk:

安装完后，会在/usr/java/目录下自动目录：

2-6）必须安装的几个系统包

yum -y install psmisc yum -y install libxslt yum -y install screen yum -y install telnet