Hadoop自学笔记

xiaoxiao2021-02-28  21

互联网项目的不断实施扩展壮大,数据资源肯定是越来越丰富的。

大数据技术 ,我觉得在3-5年后会是一个常态技能。

要实施大数据技术,数据源是一个基石。

下面是自学Hadoop的一个总结:

Hadoop是一个开源的大数据框架

Hadoop是一个分布式计算的解决方案 Hadoop=HDFS分布式文件系统+MapReduce分布式计算解决方案 HDFS 分布式文件系统:存储是大数据技术的基础 MapReduce编程模型:分布式大数据应用的解决方案 HDFS  数据块 数据块是抽象块而非整个文件作为存储单元 默认大小为64MB,一般设置为128M,备份X3 一个NameNode:主节点、备节点 管理文件系统的命名空间,存放文件元数据 维护着文件系统的所有文件和目录,文件与数据块的映射, 记录每个文件中各个块所在的数据节点的信息 多个DataNode: 存储并检索数据库,向NameNode更新所存储块的列表 写流程: 客户端向NameNode发起写请求, 数据分块写入DataNode节点,DataNode自动完成副本备份 DataNode向NameNode汇报存储完成,NameNode通知客户端 读流程: 客户端向NameNode发起读数据请求 NameNode找出距离最近的DataNode节点信息 客户端从DataNode分块下载文件 MapReduce 是一种编程模型,是一种编程方法的抽象理论 YARN概念 Hadoop2.0资源管理器 ResourceManager 分配和调度资源,启动并监控ApplicationMaster,监控NodeManager ApplicationMaster 为MR类型的程序申请资源,并分配给内部任务,负责数据的切分,监控任务的执行及容错。 NodeManager 管理单个节点的资源,处理来自ResourceManager的命令,处理来自ApplicationMaster的命令。 MapReduce编程模型 - 分而治之 输入一个大文件,通过Split之后,将其分成多个分片 每个文件分片由单独的机器去处理,这就是Map的方法 将各个机器的计算的结果进行汇总并得到最终的结果,这就是Reduce方法。 HBase 分布式数据库 利用HDFS作为其文件存储系统 ,支持MapReduce程序读取数据 存储非结构化和半结构化的数据 当然也支持结构化数据 RowKey:数据唯一标识,主键,按字典排序 Cloumn Family:列族,多个列的集合,最多不用超过3个 TimeStamp时间戳:支持多版本数据同时存在
转载请注明原文地址: https://www.6miu.com/read-2799987.html

最新回复(0)