Hive对Weblog数据分析，测试

在应用Hive之前，首先搭建Hive环境，关于Hive的搭建 参考之前的搭建文档

http://blog.csdn.net/liulihui1988/article/details/74351532

Hive分析Tomcat日志数据

localhost_access_log.2017-07-07.txt 数据格式

由于 localhost_access_log.2017-07-07.txt 数据格式是可定制的，需要正则表达式，

创建对应的log_emp表结构 CREATE TABLE log_emp ( host STRING, identity STRING, user STRING, time STRING, request STRING, status STRING, size STRING) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe' WITH SERDEPROPERTIES ( "input.regex" = "([^ ]*) ([^ ]*) ([^ ]*) (-|\\[[^\\]]*\\]) (\"[^\"]*\") (-|[0-9]*) (-|[0-9]*)" ) STORED AS TEXTFILE;

生成log_emp表成功

导入 提供 正则表达式 的jar包 hive> add jar /usr/local/hiv/lib/hive-contrib-0.13.1.jar

执行命令 select 查询

hive> select * from log_emp where request like 'GET /%HTTP%';

测试完成