用户时间数据的检查

xiaoxiao2021-02-28  91

查看数据

hadoop fs -ls /tmp/wangchenlong/action_time

数据:2017-02-02 至 2017-02-28;2017-08-01 至 2017-08-24;即2月与8月数据;缺少1月数据;而1月数据被Hive转移至:

hadoop fs -ls /warehouse/action_time/

移动文件:

hadoop fs -mv /warehouse/action_time/user_id_* /tmp/wangchenlong/action_time/

转移全部1月数据,至/tmp/wangchenlong/action_time;

查看日志文件

hadoop fs -ls /logs/django/

全部gz文件都已经提取完成用户时间,剩余日志:3月、4月、5月;

剩余工作:执行lzma日志,调研中,默认MR作业不支持lzma格式。

转载请注明原文地址: https://www.6miu.com/read-72217.html

最新回复(0)