上QQ阅读APP看书,第一时间看更新
2.2.2 维度表的设计
除了数据模型以外,Apache Kylin还对维度表有一定的要求,如:
1)要具有数据一致性。主键值必须唯一,Apache Kylin会进行检查,如果有两行数据的主键相同,则系统就会报错。
2)维度表越小越好。Apache Kylin支持选择是否将维度表加载到内存中以供查询,过大的表不适合作为维度表,默认的阈值是300Mb。
3)改变频率低。Apache Kylin会在每次构建中试图重用维度表快照,如果维度表经常改变的话,重用就会失效,这会导致要经常对维度表创建快照。
4)维度表最好不是Hive视图(View),虽然在Apache Kylin v1.5.3中加入了对维度表是视图的支持,但每次都需要将视图物化,导致额外的时间成本。