2. Java
  3. 大数据Hive的简介和安装

大数据Hive的简介和安装

xiaoxiao2021-02-28  65

Hive是hadoop生态系统中必不可少的工具，它提供了一种SQL（结构化查询语言）方言，可以查询存储在hadoop分布式文件系统中（HDFS）的数据或其他和hadoop集成的文件系统，如：MapR—Fs、Amazon的S3和像HBase（hadoop数据库）和Cassandra这样的数据库中的数据。

Hive简介

•Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

•本质是将SQL转换为MapReduce程序，然后在Yarn上执行。

•Hive的表其实就是HDFS的目录/文件夹。Hive表里的数据相当于文件夹的文件。

 为什么要使用Hive???

 

•操作接口采用类SQL语法，提供快速开发的能力

•避免了去写MapReduce，减少开发人员的学习成本

•扩展功能很方便

 

Hive与Hadoop的关系

Hive与传统数据库对比

 

 

Hive

RDBMS

查询语言

HQL

SQL

数据存储

HDFS

Raw Device or Local FS

执行

MapReduce

Excutor

执行延迟

高

低

处理数据规模

大

小

索引

0.8版本后加入位图索引

有复杂的索引

Hive的系统架构

 

•用户接口，包括 CLI（Shell命令行接口：常用），JDBC/ODBC（跨语言），WebUI（通过浏览器访问 Hive）。

•Thrift服务：thrift是facebook开发的一个软件框架，它用来进行可扩展且跨语言的服务的开发，hive集成了该服务，能让不同的编程语言调用hive的接口。

•Hive 将元数据存储在数据库中(metastore)，目前只支持 mysql、derby。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。

•解释器、编译器、优化器、执行器。它的作用是将我们写的HiveQL（类SQL）语句进行解析、编译优化，生成执行计划，然后调用底层的mapreduce计算框架。

注意：Hive 的数据存储在 HDFS 中，大部分的查询由 MapReduce 完成（包含 * 的查询，比如 select * from table 不会生成 MapRedcue 任务）

 

•Hadoop：用 HDFS 进行存储，利用 MapReduce 进行计算。

Hive和mysql的安装

Mysql的安装方式

1、yum的安装

2、rpm的方式安装

3、解压缩包的方式安装

4、源码编译的方式安装

这里我们采用rpm的方式安装：安装在weekend08节点上。

MySQL-client-5.1.73-1.glibc23.x86_64.rpm

MySQL-server-5.1.73-1.glibc23.x86_64.rpm

step1、安装server

执行命令:  rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm

出现冲突的报错！！！

解决方法

首先查询出mysql安装包  rpm -qa | grep mysql

删除冲突的安装包

rpm -e mysql-libs-5.1.71-1.el6.x86_64 --nodeps

再次执行安装的命令：  rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm

step2、安装 Clinet

执行命令：  rpm -ivh  MySQL-client-5.1.73-1.glibc23.x86_64.rpm

step3、初始化root的密码

执行命令：  /usr/bin/mysql_secure_installation    这里的密码为hadoop

step4、设置开机启动

chkconfig mysql on 

step5、登录mysql

执行命令： mysql -uroot -phadoop

step6、设置登录权限

mysql> use mysql;

 

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'hadoop' WITH GRANT OPTION;

 

删除多余会对权限造成影响的数据：mysql> delete from user where host !='%';

这个时候再去执行mysql命令无法进行登录mysql

 

step7、刷新权限

执行命令： mysql> flush privileges;

step8、登录mysql

执行命令： mysql -uroot -phadoop 

安装Hive

首先把之前搭建的集群启动起来。保证ActiveNodes 的三个节点是存活。

 

Hive三种方式区别和搭建

本地模式

在weekend08节点上安装hive

1、解压apache-hive-1.2.1-bin.tar到 /usr/local目录下

2、配置Hive的环境变量

执行命令 vi /etc/profile

    export JAVA_HOME=/usr/local/jdk1.8.0     export HADOOP_HOME=/usr/local/hadoop-2.6.5     export HIVE_HOME=/usr/local/hive     PATH=.:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH

执行命令使其生效 source /etc/profile

3、切换到conf目录下重命名hive-default.xml.template为 hive-site.xml

4、进入hive的客户端

    --启动hdfs集群

   -- 切换到bin目录下执行 hive命令。

错误信息：原因就是hive下面的这个jline-2.12.jar 版本和yarn的版本不一致导致的。

解决方法：切换到hadoop的那个jar包目录 /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

               删除此目录下的jline-0.9.94.jar 然后将hive的那个高版本的jline-2.12.jar 复制到yarn目录下。

               scp -r /usr/local/hive/lib/jline-2.12.jar /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

5、再次切换到bin目录下执行 hive命令。

注意：使用默认的derby数据库存元数据信息的情况。

 

Hive将元数据信息存储在执行hive命令时的那个文件夹下；

也就是说当你在hive的目录下执行 bin/hive命令那么就是在hive的目录下创建一个netastore_db文件夹来存储元数据信息；当你在bin的目录下执行 hive命令那么就是在bin的目录下创建一个netastore_db文件夹来存储元数据信息；

Hive默认使用的数据库为derby；derby的缺点只是适合单链接，不适合多连接；为了适合多连接需要不停过的切换执行hive命令的目录；一旦不停的切换目录执行hive脚本，就不能共享的使用这些表中的数据。

实际开发中我们使用mysql来存储元数据信息。

单用户模式

在weekend09节点上安装hive

1、解压apache-hive-1.2.1-bin.tar到 /usr/local目录下

2、配置Hive的环境变量

执行命令 vi /etc/profile

    export JAVA_HOME=/usr/local/jdk1.8.0     export HADOOP_HOME=/usr/local/hadoop-2.6.5     export HIVE_HOME=/usr/local/hive     PATH=.:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH

执行命令使其生效 source /etc/profile

3、切换到conf目录下重命名hive-default.xml.template为 hive-site.xml

     并添加如下内容

<?xml version="1.0"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

 <configuration>  

<property>  

  <name>hive.metastore.warehouse.dir</name>  

  <value>/user/hive_remote/warehouse</value>   //hdfs的一个目录  也就是hive查从hdfs查询数据的文件目录

</property>  

  <property>  

  <name>hive.metastore.local</name>  //

  <value>true</value>  

</property>  

  <property>  

  <name>javax.jdo.option.ConnectionURL</name>  

  <value>jdbc:mysql://weekend08/hive_remote?createDatabaseIfNotExist=true</value>  //mysql在weekend08节点上

</property>  

   <property>  

  <name>javax.jdo.option.ConnectionDriverName</name>  

  <value>com.mysql.jdbc.Driver</value>  

</property>  

   <property>  

  <name>javax.jdo.option.ConnectionUserName</name>  

  <value>root</value>    #mysql的用户名和密码

</property>  

  <property>  

  <name>javax.jdo.option.ConnectionPassword</name>  

  <value>hadoop</value>  

</property>  

</configuration>  

4、进入hive的客户端

    --启动hdfs集群

   --将mysql的jar包（mysql-connector-java-5.1.32-bin.jar）拷贝到$HIVE_HOME/lib目录下

   -- 切换到bin目录下执行 hive命令。

报错信息

 

解决方法：切换到hadoop的那个jar包目录 /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

               删除此目录下的jline-0.9.94.jar 然后将hive的那个高版本的jline-2.12.jar 复制到yarn目录下。

               scp -r /usr/local/hive/lib/jline-2.12.jar /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

5、再次切换到bin目录下执行 hive命令。

 create table  tbl（iid int ,age int）;

 insert into tbl values （1,2）；

 select * from tbl;

查看HDFS以及Yarn的图形化界面

多用户模式

1.Remote一体

这种存储方式需要在远端服务器运行一个mysql服务器，并且需要在Hive服务器启动meta服务。

这里用mysql的测试服务器，ip位192.168.222.108建hive_remote数据库，字符集位latine1

<?xml version="1.0"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

<configuration>  

  <property>  

  <name>hive.metastore.warehouse.dir</name>  

  <value>/user/hive/warehouse</value>  //hdfs的一个目录  也就是hive查从hdfs查询数据的文件目录

</property>  

  <property>  

  <name>javax.jdo.option.ConnectionURL</name>  

  <value>jdbc:mysql://192.168.222.108:3306/hive?createDatabaseIfNotExist=true</value>  //mysql在weekend08节点上

</property>  

  <property>  

  <name>javax.jdo.option.ConnectionDriverName</name>  

  <value>com.mysql.jdbc.Driver</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionUserName</name>  

  <value>root</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionPassword</name>  

  <value>hadoop</value>  

</property>  

<property>  

  <name>hive.metastore.local</name>  

  <value>false</value>  

</property>  

<property>  

  <name>hive.metastore.uris</name>  

  <value>thrift://192.168.1.188:9083</value>  

</property>  

<property>  <name>hive.server2.thrift.port</name>  <value>10000</value> </property>

</configuration>  

注：这里把hive的服务端和客户端都放在同一台服务器上了。服务端和客户端可以拆开，

2.Remote分开

1）将Hive的压缩包解压到weekend11、weekend12 配置环境变量

2）将mysql的驱动jar包添加weekend11（服务器端）节点hive的lib目录下

3）将服务器端的配置文件添加到weekend11节点下的conf目录下。

4）启动hive服务端程序：执行命令  hive --service metastore  

  这个时候服务一直在后台运行着。

  再开一个客户端查看服务是否启动

 

5）将客户端的配置文件添加到weekend12节点下的conf目录下。

  启动客户端前解决启动错误信息问题。

  解决方法：切换到hadoop的那个jar包目录 /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

               删除此目录下的jline-0.9.94.jar 然后将hive的那个高版本的jline-2.12.jar 复制到yarn目录下。

               scp -r /usr/local/hive/lib/jline-2.12.jar /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

6）客户端直接使用hive命令即可

将hive-site.xml配置文件拆为如下两部分

         1）、服务端配置文件

<?xml version="1.0"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

 <configuration>  

 <property>  

 <name>hive.metastore.warehouse.dir</name>  

 <value>/user/hive/warehouse</value>  //存储hive表的HDFS目录

</property>  

 <property>  

 <name>javax.jdo.option.ConnectionURL</name>  

 <value>jdbc:mysql://weekend08:3306/hive?createDatabaseIfNotExist=true</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionDriverName</name>  

  <value>com.mysql.jdbc.Driver</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionUserName</name>  

  <value>root</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionPassword</name>  

  <value>hadoop</value>  

</property>  

</configuration>  

         2）、客户端配置文件

<?xml version="1.0"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

 <configuration>  

<property>  

  <name>hive.metastore.warehouse.dir</name>  

  <value>/user/hive/warehouse</value>  //存储hive表的HDFS目录 与服务器端相同

</property>  

 <property>  

  <name>hive.metastore.local</name>  

  <value>false</value>  

</property>  

 <property>  

  <name>hive.metastore.uris</name>  

  <value>thrift://weekend11:9083</value> //服务端的地址

</property>  

<property> <name>hive.server2.thrift.port</name> <value>10000</value> </property>

</configuration>  

 

启动hive服务端程序

 hive --service metastore  &

 hive --service  hiveserver2 & 

客户端直接使用hive命令即可

root@my188:~$ hive   

Hive history file=/tmp/root/hive_job_log_root_201301301416_955801255.txt  

hive> show tables;  

OK  

test_hive  

Time taken: 0.736 seconds  

hive>  

 

客户端启动的时候要注意：

[ERROR] Terminal initialization failed; falling back to unsupported

java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected

at jline.TerminalFactory.create(TerminalFactory.java:101)

错误的原因： Hadoop jline版本和hive的jline不一致

 

可以将hive的启动命令写到脚本中

[hadoop@netcloud02 bin]$ cat start.sh  #!/usr/bin/env bash

hive --service metastore >> /opt/hive/tmp.log 2>&1 &  hive --service  hiveserver2 >> /opt/hive/tmp.log 2>&1 &

 

启动  hive --service  hiveserver2 这个服务就可以使用hive命令进入 hive操作状态。

再启动 hive --service metastore  这个服务后 就可以使用 dbvisualizer这样的第三发工具连接hive了或者

使用如下命令连接hive服务。

beeline !connect jdbc:hive2://netcloud02:10000

 

 

 

 

 

 

 

转载请注明原文地址: https://www.6miu.com/read-77822.html

技术

最新回复(0)