用docker搭建hadoop 总结

xiaoxiao2021-02-28  18

最近想用docker 搭建个hadoop环境玩玩。 最后找到个人家做好的,不过还是学习到了很多。 github:https://github.com/mua-haha/hadoop-cluster-docker 亲测能用,只不过 当时用的2.7,现在最新的是2.9 这里主要说下总结:

docker 总结

docker:-v 可以挂载宿主机目录 docker 批量操作: 批量stop正在运行的容器:docker stop $(docker ps -q) 批量删除容器:docker container rm $(docker container ls -a -q) 其他 照着这个来就行 创建 docker 网络,用于容器间通讯:

sudo docker network create –driver=bridge hadoop 启动时 加上参数 –net 指定 网络

hadoop总结

hadoop 安装使用启动啥的 参照 官网。 这里说下实际开发 1、在eclipse 中与hdfs交互 在eclipse 中与hdfs 交互,本来想着很简单的,网上随便找个例子,谁知竟然把文件新建到了本地·· 这就尴尬了。什么鬼··搞了很久,百思不得七姐。对了,最开始是无法连接,因为 hadoop是在容器中的,启动时没有指定 9000 端口开放,所以才无法连接。后来是一直本地。知道今天早上又打开eclipse看,忽然想到看看源码。于是看到了这段代码

如果不指定fs.default.name 的话,默认是file:/// ,是本地的··· 这也可以··所以改成这··okay

对了,也要注意下 maven中hadoop的版本与 环境中的hadoop版本保持一致 一会儿去官网查查有没有解释啥的····

转载请注明原文地址: https://www.6miu.com/read-1400364.html

最新回复(0)