0x01 什么是SCD? SCD(Slowly Changing Dimensions),中文一般翻译成“缓慢变化维”。
缓慢变化维的提出是因为在现实世界中,维度的属性并不是静态的,它会随着时间的流失发生缓慢的变化。这种随时间发生变化的维度我们一般称之为缓慢变化维,并且把处理维度表的历史变化信息的问题称为处理缓慢变化维的问题,有时也简称为处理SCD的问题。
0x02 如何处理SCD问题 在《数据仓库工具箱》这本书中一共列举了5中基础缓慢变化维类型和3种混合缓慢变化维类型。
鉴于知识储备有限,在此只分析一下笔者熟悉的4种类型。
TYPE 0:保留原始值 此类型唯独属性值绝不会变化,因此事实始终按照该原始值分组。
比如客户的原始信用度分值,就可以用该类型。
TYPE 1:重写 对于类型一来说,对其相应需要重写维度行中的旧值,以当前值替换。因此其始终反映最近的情况。
注意:这样处理,易于实现,但是没有保留历史数据,无法分析历史变化信息。
TYPE 2:增加新行 数据仓库系统的目标之一是正确地表示历史。当提及缓慢变化维度属性时,类型2就是主要应用于支持这一需求的技术。
类型二的一个典型代表其实就是拉链表,在此,着重强调一下拉链表,它的确是一种非常有效的工具。随着使用的深入,你就越能发现它的魅力。
关于拉链表的详细内容,请参考:https://blog.csdn.net/qq_36864672/article/details/83505845
在这补充几个点:
使用拉链表的时候可以不加t_end_date,即失效日期,但是加上之后,能优化很多查询。
可以加上当前行状态标识,能快速定位到当前状态。
在拉链表的设计中可以加一些内容,因为我们每天保存一个状态,如果我们在这个状态里面加一个字段,比如如当天修改次数,那么拉链表的作用就会更大。
TYPE 3:增加新属性 尽管类型2能够区分历史情况,但它无法保证能够将新属性值和过去的历史事实关联,反之亦然。
这时候就可以用到类型3。
注意:这种类型使用哪种场景呢?它比较适合需要根据先后顺序来得出某种结论的场景。
举个例子,这个例子很恰当的哦。
还是以电商为背景,我们有一个商品表,里面有一个字段是商品价格。如果我们现在想知道这个商品的上一个价格是多少。
这个问题有两种方式:
我们在一张历史状态表中找到上一个商品的价格状态,但是这样会比较麻烦,可能会扫描很多的数据。
就是我们现在讲的这种方式,加一个字段,就方便很多了。
商品名 商品价格 先前商品价格 宇宙飞船一号 100 150 宇宙飞船二号 120 250 这种方式的优点是可以同时分析当前及前一次变化的属性值,缺点是只保留了最后一次变化信息。