Hadoop大数据平台架构与实践学习笔记

学习慕课网上的《Hadoop大数据平台架构与实践》的学习笔记 原视频地址：http://www.imooc.com/learn/391 大数据技术的相关概念 大数据的存储与分析（Hadoop） 降低成本软件保证可靠性简化并行分布式计算，无须控制节点同步和数据交换 Hapoop 分布式存储和分布式计算平台两个核心 HDFS:分布式文件系统，存储海量的数据MapReduce：并行处理框架，实现任务分解和调度 搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务优点：高扩展、低成本、成熟的生态圈HIVE 将SQL语句转化 HBASEzookeeper 监控Hadoop每个节点的状态 Hadoop的架构和运行机制 HDFS设计架构 块（Block）64MB，是文件存储处理的逻辑单元NameNode是管理节点，存放文件元数据DataNode是HDFS的工作节点，存放数据块HDFS的数据管理策略 每个数据块3个副本，分布在两个机架内的三个节点心跳检测：DataNode定期向NameNode发送心跳信息二级NameNode定期同步元数据映像文件和修改日志 HDFS读取写入文件特点： 数据冗余，硬件容错流式数据访问存储大文件适合数据批量读写，吞吐量高不适合交互式应用，低延迟很难满足适合一次写入多次读取，顺序读写不支持多用户并发写相同文件 MapReduce 一个大任务分成多个小的子任务，并行执行后合并结果运行流程 job&taskjobtracker : 作业调度、分配任务，监控任务执行进度，监控Taktracker运行状态tasktracker ： 执行任务，汇报任务状态输入数据——Map任务——中间结果——Reduce任务——输出结果 容错机制 重复执行推测执行 Hadoop开发《Hadoop技术详解》、《Hadoop开发指南》