简单搞定NameNode和DataNode运行机制

xiaoxiao2021-02-28  108

NameNode&Secondary NameNode工作机制

文字总结:

1)第一阶段:namenode启动

1)第一次启动namenode格式化后,创建fsimageedits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。 2)客户端对元数据进行增删改查的请求 3namenode记录操作日志,更新滚动日志。

4namenode在内存中对数据进行增删改查

2)第二阶段:Secondary NameNode工作

       1Secondary NameNode询问namenode是否需要checkpoint。直接带回namenode是否检查结果。

       2Secondary NameNode请求执行checkpoint

       3namenode滚动正在写的edits日志

       4)将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode

       5Secondary NameNode加载编辑日志和镜像文件到内存,并合并。

       6)生成新的镜像文件fsimage.chkpoint

       7)拷贝fsimage.chkpointnamenode

       8namenodefsimage.chkpoint重新命名成fsimage

1)一个数据块在datanode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。

2DataNode启动后向namenode注册,通过后,周期性(1小时)的向namenode上报所有的块信息。

3)心跳是每3秒一次,心跳返回结果带有namenode给该datanode的命令如复制块数据到另一台机器,或删除某个数据块。如果超过10分钟没有收到某个datanode的心跳,则认为该节点不可用。

4)集群运行中可以安全加入和退出一些机器

转载请注明原文地址: https://www.6miu.com/read-68816.html

最新回复(0)