hdfs基础架构介绍

hdfs简介

hdfs是hadoop distributed filesystem的缩写，设计思想最早源于GFS（google分布式文件系统），顾名思义就是hadoop分布式文件系统，简单通俗的将就是将一个大文件切分成若干个块（切割后的小文件）存储在不同的机器上，然后将每个小文件对应的位置以及偏移量保存起来，用去读写或则追加（不支持修改），负责管理块与机器对应关系的节点叫做namenode，就是负责命名空间，管理元数据的节点，实际负责块读写的节点叫做datanode

大概就是这样子的，废话不多说，先看一下hdfs的基础架构

hdfs基础架构图

HDFS基础组成大概分为两个模块，namenode和datanode，有一个或则两个namenode，多个datanode组成，下边详细介绍下

namenode的主要职责

1 负责管理系统命名空间，hdfs上的文件增加，删除，新建重命名，目录操作等

2 负责处理客户端访问文件的主服务器，管理datanode块的元数据信息

3 负责等待datanode汇报消息，向datanode返回指令

datanode主要职责

1 负责存储数据库

2 给客户端提供数据块读写服务

3 接受namenode指令，进行对应操作，比如删除数据块

4 向namenode通过心跳发送块信息（包括存储和缓存）

5 与其他datanode通讯，进行块的复制，实现冗余等

                     本节扫盲入门到此结束，欢迎各位纠正,下一节开始进行深入学习分享！