hadoop教程一

xiaoxiao2021-02-28  24

Hadoop分布式文件系统(HDFS)是一种分布式文件系统,设计用于在商品硬件上运行。它与现有的分布式文件系统有许多相似之处。但是,与其他分布式文件系统的差异很大。HDFS具有高度容错能力,旨在部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问,适用于具有大型数据集的应用程序。

HDFS是主/从架构。一个HDFS集群保护一个NameNode,一个主服务器,还有多个DataNode。NameNode负责文件系统命名空间操作,如打开,关闭和重命名文件,目录。还维护块到DataNode的映射。DataNode通常是一个节点一个,用来管理他们运行的节点的存储,DataNode还负责文件系统客户端的读写请求,块的创建删除。大致流程如下:

每个文件在写入都会存储为一系列的块,而且块还会被复制以实现容错(其实elasticsearch也差不多,数据

转载请注明原文地址: https://www.6miu.com/read-2600150.html

最新回复(0)