运行三年,日活百万的微服务数据分析架构(移动数据分析)

xiaoxiao2021-02-28  119

这几年数据分析迅速发展,我们也做了一个微数据分析工具。该产品已成功运行三年,满足日活百万的企业。产品结构很简单,用世上最简单的语言php,最普遍的数据库mysql,服务器可以选择apache也可以选择nginx,一切看你自己的喜好。

 

一、微服务架构图:

 

 

1、SDK上传数据到服务器,如果安装redis做缓存,数据会最先进到redis,然后定时抽取数据到DB服务器。有了redis数据处理会提升很高

2、数据库收集原始数据,存储过程将数据按照不同维度统计各个指标数据,同时将数据汇总表。

3、前台报表展示,实时报表、小时报表和天报表数据展示。最好做到读写分离。

 

二、数据处理能力

日活百万,启动次数大概两百万,事件数和页面访问量起码在三百到五百万之间,平均每小时数据量五十万。运行过程中,**客户数据量集中在早晚高峰。根据客户的特殊情况,会把一些任务安排在闲暇时间段,比如日任务、周任务、月任务等安排在零晨。

好的硬件配置是数据处理的好帮手,更大的内存更快的硬盘绝对可以让数据流快速执行

 

三、数据清洗和读写分离

大量原始数据入库,这些数据处理之后就是垃圾数据了。当所有报表数据都统计之后并写入各个维度表之后,需要定时把这些数据清除掉。

前台报表展示数据跟存储分析数据库最好分开。

 

四、客户最关心的数据

每一个客户最关心的就是用户表,用户新增状况、用户活跃情况、用户留存情况。

不同的客户对用户要求不同,需要判断用户是否是刷机来的,用户跟设备号及用户ID(用户号码)之间的映射关系。

事件数据也是很重要的,关系转化率。

页面访问跟事件是同等重要。

错误数据可以检测应用存在的Bug

不同的客户,不同的使用场景对指标会有不同需求。

转载请注明原文地址: https://www.6miu.com/read-49960.html

最新回复(0)