一 部署:实验楼中课程——hadoop 部署及管理足矣,没毛病。 链接:https://www.shiyanlou.com/courses/35 二 试验:上述课程中已包含。 四 启动:
start-all.sh
# 实际上是 start-dfs.sh 和 start-yarn.sh
五 用 python 执行:
cd /usr/local/hadoop
hadoop jar share/hadoop/tools/lib/hadoop-streaming-
2.6.0.jar -D stream
.non.zero.exit.is.failure=false -mapper
"python mapper.py" -reducer
"python reducer.py" -input /input -output /output
# 查看结果
hadoop dfs -cat /output
暂时告一段落。。。