hadoop streaming -file -cacheFile -cacheArchive 区别

xiaoxiao2021-02-28  106

hadoop

-file   :本地分发,不需先上传到集群。(属于临时上传到集群,任务结束时问从集群中消失)   -cacheFile :由集群上的文件分发到各个节点。(需人为先上传到集群)   -cacheArchive :与cacheFile类似,差别在于cacheArchive的方式的文件为压缩文件       好了 讲到这里觉得还是死板 , 通俗点来讲 假设 一个集群有一个主节点 两个从节点 集群是一件教室 master主节点 为老师及所在的讲台 从节点 为两个学生和所在的桌子 -file方式 秤完苹果 分完后 就从教室里拿走了 -cacheFile方式 秤完苹果 分完后 秤仍在教室里 -cacheArchive方式 秤完苹果 分完后 秤仍在教室里  只不过 这秤比较大 需要装箱子里到教室再拆开
转载请注明原文地址: https://www.6miu.com/read-50819.html

最新回复(0)