hive安装和shell交互全步骤

xiaoxiao2021-02-28  9

准备好服务器,Hive只在一个节点上安装即可。 主机环境windows+虚拟机Linux 详细步骤: 1.官网下载hive的压缩包,这里是hive-0.12.tar.gz,上传tar包到linux服务器。 2.安装和配置文件 tar -zxvf hive-0.9.0.tar.gz -C /home/hadoop/app/          可以看到hive-0.12文件夹,用mv hive-0.12  hive         进入hive目录下:     su 以root身份登录后,修改etc/profile,加入hive_home=/home/app/hive    在path后面加上hive_home/bin即可。 cd  $HIVE_HOME/conf mv  hive-env.sh.template  hive-env.sh mv  hive-default.xml.template  hive-site.xml 1.修改hadoop的hadoop-env.sh(否则启动hive汇报找不到类的错误)  export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin 2.修改$HIVE_HOME/bin的hive-config.sh,增加以下三行 export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 export HIVE_HOME=/home/hadoop/hive export HADOOP_HOME=/home/hadoop/hadoop 默认现在即可开启一下hive。用./hive 命令进入(注意开启之前,要先开启hdfs,因为hive操作数据最终保存到hdfs上的文件夹) 这时候会使用内置的derby存储元数据,但是可能报错:FAILED:  Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient 可以用debug模式启动:bin/hive -hiveconf hive.root.logger=DEBUG,console 可以看出原因在于下面:Version information not found in metastore. 解决方法,修改hive-site.xml中的hive.metastore.schema.verification,置为false,并重启hive: 测试: CREATE TABLE t2(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; 造一份数据,然后:LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t1; derby有个缺点:每个不同用户同时登录这个Linux系统,都有自己的目录,都会生成一份元数据,所以大家看到的并不一样。showtables可以测试,所以用mysql 3.安装元数据存储源mysql ------------------------安装mysql支持多用户--------------------------------------------- 配置mysql metastore(切换到root用户) 配置HIVE_HOME环境变量 rpm -qa | grep mysql rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm        rpm -ivh MySQL-client-5.1.73-1.glibc23.i386.rpm  修改mysql的密码 /usr/bin/mysql_secure_installation (注意:删除匿名用户,允许用户远程连接) 登陆mysql mysql -u root -p ---------------------如果是Ubuntu安装mysql如下:----- 一. 安装MySQL 1. 安装前先更新软件包列表: $ sudo apt update 2. 在Ubuntu 16.04上安装MySQL: $ sudo apt-get install mysql-server mysql-client 3. 在安装过程中需要你输入MySQL 管理员用户(root)密码,如下图: 输入root用户密码 4. 运行MySQL初始化安全脚本: $ sudo mysql_secure_installation 5. 根据提示信息设置: 根据提示信息设置 mysql_secure_installation脚本设置的东西:更改root密码、移除MySQL的匿名用户、禁止root远程登录、删除test数据库。使用上面的这些选项可以提高MySQL的安全。 二. MySQL数据库基本使用 1.使用root用户登录: $ mysql -u root -p 2.输入root密码: 输入root密码 注意如果需要指定安装某个版本的mysql, :命令用法如下: sudo apt-get install package=version 例如我要安装autoconf 2.50: sudo apt-get install autoconf=2.50 ---------------------------------------------- 4.配置hive cp hive-default.xml.template hive-site.xml  修改hive-site.xml(删除所有内容,只留一个<property></property>) 添加如下内容: <property>  <name>javax.jdo.option.ConnectionURL</name>  <value>jdbc:mysql://192.168.10.127:3306/hive?createDatabaseIfNotExist=true</value>  <description>JDBC connect string for a JDBC metastore</description> </property> <property>  <name>javax.jdo.option.ConnectionDriverName</name>  <value>com.mysql.jdbc.Driver</value>  <description>Driver class name for a JDBC metastore</description> </property> <property>  <name>javax.jdo.option.ConnectionUserName</name>  <value>root</value>  <description>username to use against metastore database</description> </property> <property>  <name>javax.jdo.option.ConnectionPassword</name>  <value>root</value>  <description>password to use against metastore database</description> </property> 注意:配置文件中url的ip地址最好改为localhost或者机器名称,不然可能报出:Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient错误 5.安装hive和mysq完成后,将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下 如果出现没有权限的问题,在mysql授权(在安装mysql的机器上执行) mysql -uroot -p #(执行下面的语句  *.*:所有库下的所有表   %:任何IP地址或主机都可以连接) GRANT ALL PRIVILEGES ON *.* TO 'hadoop'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; FLUSH PRIVILEGES; 6.建表(默认是内部表) create table trade_detail(id bigint, account string, income double, expenses double, time string) row format delimited fields terminated by '\t'; 建分区表 create table td_part(id bigint, account string, income double, expenses double, time string) partitioned by (logdate string) row format delimited fields terminated by '\t'; 建外部表 create external table td_ext(id bigint, account string, income double, expenses double, time string) row format delimited fields terminated by '\t' location '/td_ext'; create external table ex_user(id int,name string)  row format delimited fields terminated by '\t' location '/home/hadoop/user.txt'; 7.创建分区表 普通表和分区表区别:有大量数据增加的需要建分区表 create table book (id bigint, name string) partitioned by (pubdate string) row format delimited fields terminated by '\t';  分区表加载数据 load data local inpath './book.txt' overwrite into table book partition (pubdate='2010-08-22'); load data local inpath '/root/data.am' into table beauty partition (nation="USA"); select nation, avg(size) from beauties group by nation order by avg(size); 8.创建关联表 create table user(id int,name string) row format delimited fields terminated by '\t'; LOAD DATA LOCAL INPATH '/home/hadoop/user.txt' INTO TABLE user; create table order(id int,uid int,name string) row format delimited fields terminated by '\t'; LOAD DATA LOCAL INPATH '/home/hadoop/order.txt' INTO TABLE order --可以关联查询,查询id为1的小明有哪些订单 select  user.name,order.name from user join order on user.id=order.uid where user.name='xiaoming';
转载请注明原文地址: https://www.6miu.com/read-1100012.html

最新回复(0)