-- 纸上得来终觉浅,绝知此事要躬行
都知布道者不易,以写书最难,字字斟酌。本系列大部分是在闲暇时间而作,并是用语音识别辅助记录,多少有瑕疵,但我会持续校正。希望开卷有益,let us go!
先讲述我我和范老师书的缘分, 第二是对代码的思考, 第三是自己的进度, 第四是对进度进行展望。
得知该书第二版新加入Yarn,Base,并升级到cdh5,我毫不犹豫购买了纸书。纸书的感觉是电子书无法比拟的。
虽理论渐渐深入,工作项目以spark为主,hadoop这一经典系统的知识一直悬浮在半空,这一现象到2017年5月底出现改观。
工程解压后,我开始试着用eclipse去运行,但是0517那天的版本在我电脑上还不能好好的编译。花了半天,把python相关问题给解决了。发现项目还有这些要注意的:
项目没有提供数据库sql项目没有提供数据源当时有点懊恼,因为好不容易看到了windows模拟端的python输出,正准备往centos上尝试真机运行啦。
书中实战项目是真实项目,确保可以运行的书中每一处代码都是附件可以找到的鉴于数据源的保密等原因,不能照顾到读者本书的出版其实就是想把最新的hadoop思想和实践感受传递给读者,所以不免瑕疵。知道出书不易,我觉得我可以做些什么,为什么不考虑自己去完善这个代码啦。相关解决方法有:
数据库虽然没有sql的建表,但是原书提供了数据仓库的细节,我可以根据实体联系图(ER图)构建出表数据源问题,由于是教学项目,完全可以随机模拟生成数据关系数据库原书部分使用了oracle, 没有使用复杂的sql逻辑,完全可以迁移到mysql当然,为了让读者更易上手,还有一个更美好的方案,将刚刚我提到的数据库,模拟数据源等打包放到虚拟机,以后读者直接就可以上手了。
截至0606,完成了:
数据源的导入,sqoophive执行命令的工具从进度栏上来说,应该过了20%,至少让读者能够感受整个数据处理的初期过程。
做到这一点还是比较兴奋,相关结果已经放到github,相关地址是https://github.com/titer1/Play_HadoopFelix,
大家有兴趣可以下载查看,更欢迎相关的建议,pull request更欢迎喔。
打通全部的流程,我还需要做到以下几点:
利用ER工具(mysql workbench)还原出原数据库利用存储过程生成指定数目的数据Centos 实体机验证数据导入,hive执行当做到以上几点,万里长征第一步应该完成了。当数据已经在hive里面躺着了,第二步就是就是数据仓库的相关技术:数据处理/数据挖掘等。 期待中,看大象开始奔走了