数据仓库-拉链表

/ Annabelle
目录
拉链表的定义

维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录而已,通过拉链表可以很方便的还原出拉链时点的客户记录。

使用场景：

  1. 数据量比较大;
  2. 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等;
  3. 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，比如，查看某一个用户在过去某一段时间内，更新过几次等等;
  4. 变化的比例和频率不是很大，比如，总共有1000万的会员，每天新增和发生变化的有10万左右;
  5. 如果对这边表每天都保留一份全量，那么每次全量中会保存很多不变的信息，对存储是极大的浪费;


这些场景下使用拉链历史表，既可以反映数据的历史状态，又可以最大程度的节省存储。

示例拉链表
订单创建日期 订单编号 订单状态 dw_begin_date dw_end_date
2012-06-20 001 创建订单 2012-06-20 2012-06-20
2012-06-20 001 支付完成 2012-06-21 9999-12-31
2012-06-20 002 创建订单 2012-06-20 9999-12-31
2012-06-20 003 支付完成 2012-06-20 2012-06-21
2012-06-20 003 已发货 2012-06-22 9999-12-31
2012-06-21 004 创建订单 2012-06-21 9999-12-31
2012-06-21 005 创建订单 2012-06-21 2012-06-21
2012-06-21 005 支付完成 2012-06-22 9999-12-31
2012-06-22 006 创建订单 2012-06-22 9999-12-31
  • dw_begin_date 表示该条记录的生命周期开始时间
  • dw_end_date 表示该条记录的生命周期结束时间
  • dw_end_date="9999-12-31" 表示该条记录目前处于有效状态
当前所有有效记录

select * from order_history where dw_end_date='9999-12-31'

查询2012-06-21的历史快照

select * from order_history where dw_begin_date<='2012-06-21' and dw_end_date>='2012-06-21'

订单创建日期 订单编号 订单状态 dw_begin_date dw_end_date
2012-06-20 001 支付完成 2012-06-21 9999-12-31
2012-06-20 002 创建订单 2012-06-20 9999-12-31
2012-06-20 003 支付完成 2012-06-20 2012-06-21
2012-06-21 004 创建订单 2012-06-21 9999-12-31
2012-06-21 005 创建订单 2012-06-21 2012-06-21

参考链接1
参考链接2