最近又用到Hive，重新记录一下安装方式，搭建了Hadoop+Hive，在运行Hive之前要首先搭建好Hadoop，关于Hadoop的搭建有三种模式，在以下的介绍中，我主要的采用的是Hadoop的伪分布安装模式。写下来给各位分享。 准备工作： 以上所有的下载的安装包和解压后文件均在/usr/local/hadoop目录
1、分别ssh到每台服务器上，在root用户下修改hostname su root vim /etc/sysconfig/network 如上图所示，HOSTNAME=master vim /etc/hosts 如上图所示，将localhost.localmain处改成master，遮挡处是IP地址，囧，然后重启服务器 reboot 在master服务器添加每台主机名字和地址的映射 vim /etc/hosts 然后检查ping连接 ping slave1 同理，在其他三台服务器上修改主机名和添加地址映射。
2、分别在每台服务器上建立相应的文件夹，并修改文件夹权限 mkdir /usr/local/hadoop chmod 777 –R /usr/local/hadoop
3、安装jdk，Hadoop使用环境必须有jdk，每台服务器上都必须安装 首先检查有无jdk：Java -version cd /usr/local/hadoop http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 将下载的安装包上传到master上的/usr/local/hadoop文件夹下 tar-zxvf jdk-7u79-Linux-x64.tar.gz 配置jdk的环境变量： vim /etc/profile 使其立即生效 source /etc/profile 检查是否安装成功:java –version
4、hadoop 用户准备： 添加用户：useradd hadoop 用户密码：passwd hadoop 授权给hadoop: chown -R hadoop:hadoop /usr/local/hadoop
5、SSH无密码登录配置 在Hadoop中，nameNode是通过SSH来启动和停止各个DataNode上的各种守护进程，这就要在节点之间执行指令的时候是不需要输入密码的形式，故需要配置SSH运用无密码公钥认证的形式。 切换到hadoop用户下：以下是配置master SSH无密码登录slave1 su hadoop ssh-keygen –t rsa –P ‘’ 三次Enter cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys su root vim /etc/ssh/sshd_config service sshd restart 测试本地无密码连接是否成功： 然后将id_rsa.pub分发到slave1服务器上： scp ~/.ssh/id_rsa.pub hadoop@slave1:~/ 在slave1主机上，在hadoop用户下： su hadoop mkdir ~/.ssh（如果没有，就要新建.ssh文件夹） chmod 700 ~/.ssh cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys 切换到root用户下： vim /etc/sys 同上: vim /etc/ssh/sshd_config service sshd restart 回到master主机上测试SSH无密码连接slave1: 同上，分别配置master SSH无密码连接slave2,slave3。 以上的配置过程，只能实现master 分别SSH无密码连接slave1,slave2,slave3，而无法实现slave1,slave2,slave3 SSH 无密码连接master。 若要实现slave1,slave2,slave3 SSH无密码连接master，以slave1 SSH无密码连接master为例：同理，先在slave1主机上hadoop用户下，生成id_rsa.pub，再拷贝到master主机上，并追加到authorized_keys.最后配置成功如下图：
6、安装Hadoop（集群中的所有机器都要安装Hadoop） cd /usr/local/hadoop wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz tar –zxvf hadoop-1.2.1.tar.gz 修改环境变量： su root vim /etc/profile 使之立即生效: source /etc/profile 修改hadoop conf文件夹下的hadoop-env.sh cd /usr/local/hadoop/hadoop-1.2.1/conf vim hadoop-env.sh 将上图中红框下的文字取消注释； 修改conf下的hdfs-site.xml文件 修改conf下core-site.xml文件: 修改conf下mapred-site.xml: 注意：四台服务器上都要进行相应的配置。
7、master上进行验证： 格式化Hadoop: cd /usr/local/hadoop/ hadoop-1.2.1/bin ./hadoop namenode –format ./start-all.sh jps
（二）Hive安装（每个节点上都要安装Hive） 这里选用MySQL作为元数据库，将mySql和Hive安装在master服务器上 统一给放到/usr/local/hadoop 1、下载安装文件，并解压： cd /usr/local/hadoop wget http://mirrors.cnnic.cn/apache/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz tar -zxvf apache-hive-1.2.1-bin.tar.gz
2、配置环境变量 在root用户下： su root vim /etc/profile 生效：source /etc/profile chown –R hadoop:hadoop /usr/local/hadoop
3、安装mySql yum install mysql-server 安装完成后； service mysqld start mysql>mysql; 如果报错： mysqladmin: connect to server at ‘localhost’ failed error: ‘Access denied for user ‘root’@’localhost’ (using password: YES)’ 解决办法： service mysqld stop mysqld_safe –skip-grant-tables &; mysql –uroot –p
use mysql; update user set password=PASSWORD(“hadoop”)where user=”root”; flush privileges; quit service mysqld restart mysql -uroot –phadoop 或者mysql –uroot –hmaster –phadoop 如果可以登录成功，则表示MySQL数据库已经安装成功。 创建Hive用户： mysql>CREATE USER ‘hive’ IDENTIFIED BY ‘hive’; mysql>GRANT ALL PRIVILEGES ON . TO ‘hive’@’master’ WITH GRANT OPTION; mysql> GRANT ALL PRIVILEGES ON . TO ‘hive’@’master’ IDENTIFIED BY ‘hive’; mysql>flush privileges; 创建Hive数据库: mysql>create database hive;
4、修改Hive配置文件: cd /apache-hive-1.2.1-bin/conf cp hive-default.xml.template hive-default.xml vi hive-site.xml
5、拷贝JDBC驱动包 将mySql的JDBC驱动包复制到Hive的lib目录下 cp mysql-connector-java.bin.jar /usr/local/hadoop/ apache-hive-1.2.1-bin /lib
6、分发Hive分别到slave1,slave2,slave3上 scp -r /usr/local/hadoop/apache-hive-1.2.1-bin slave1:/usr/local/hadoop/ scp -r /usr/local/hadoop/apache-hive-1.2.1-bin slave2:/usr/local/hadoop/ scp -r /usr/local/hadoop/apache-hive-1.2.1-bin slave3:/usr/local/hadoop/ 配置环境变量如同master。
7、测试Hive 进入到Hive的安装目录，命令行： cd /usr/local/hadoop/apache-hive-1.2.1-bin/bin hive hive>show tables; 正常显示，即是安装配置成功。 注意：在测试Hive之前要启动hadoop 若要进行远程服务启动则如下： cd /usr/local/hadoop/apache-hive-1.2.1-bin/bin nohup hive –-service hiveserver2 静止不动是正常的，在后台已经启动相关服务。
