9~RocketMQ整体架构详解

xiaoxiao2021-02-28  30

RocketMQ源码包下有9个模块: rocketmq-broker rocketmq-store rocketmq-common rocketmq-srvutil rocketmq-tools rocketmq-namesrv rocketmq-remoting rocketmq-client rocketmq-filtersrv #模块介绍 rocketmq-broker 对consumer和producer来说是服务端,接收producer发来的消息并存储,同时consumer来这里拉取消息。真正的mq服务 rocketmq-store 存储服务,消息存储,索引存储,commitLog存储。负责对数据刷盘、写盘、存储 rocketmq-common 通用的常量枚举、基类方法或者数据结构,按描述的目标来分包通俗易懂。包名有:admin,consumer,fileter,hook,message等。 封装了一些公用的方法,供其他模块使用 rocketmq-srvutil 只有一个ServerUtil类,提供Server程序依赖,目的是为了拆解客户端依赖,尽可能减少客户端的依赖。 rocketmq-tools 命令行工具 rocketmq-namesrv 类似SOA服务的注册中心,这里保存着消息的TopicName,队列等运行时的meta信息。一般系统分dataNode和nameNode,这里是nameNode。没有任何角色去使用,都是nameserver去监控别个,这个是服务发现的概念 rocketmq-remoting 用Netty4写的客户端和服务端,fastjson(阿里自己的)做的序列化,自定义二进制协议。用于底层数据通信。 rocketmq-client 客户端,包含producer端和consumer端(的api),发送消息和接收消息的过程。 rocketmq-filtersrv 消息过滤器server #层次

  rocketmq-broker     rocketmq-filtersrv       rocketmq-tools     rocketmq-namesrv(组件:可单独使用)                       |       rocketmq-store(存储)       rocketmq-client             |                              rocketmq-srvutil(服务发现解耦)                     | rocketmq-common(公共包)  rocketmq-remoting(通信)

#NameServer与Zookeeper rmq2X版本用的是Zookerper,3版本为何摒弃,消息投递和消费要记录一个位置,这个位置之前是放在Zookeeper上去保存的,这就导致频繁操作zookeeper,虽然zookeeper读写性能都挺高,但是应用到阿里,天猫百万级别就有点挡不住了,所以3版本就舍弃了zookeeper,真正的存储包括记录位置都放在了broker里面来做,NameServer单纯的实现一个路由的机制,这也就是性能提高的关键点。 #底层通信 用netty来做,异步IO模型
转载请注明原文地址: https://www.6miu.com/read-2613207.html

最新回复(0)