元数据同步
元数据同步原理
元数据同步是通过 HTTP 调用的方式从 Kylin 获取数据集需要的相关信息, 并和 MDX for Kylin 中已有的元数据信息进行比对,如果有变更,则根据 Kylin 的变更来修复 MDX 中元数据。
元数据同步种类
元数据同步的信息包含如下种类:
用户列表同步
用户组列表同步
Cube 列表同步
项目列表同步
Segment 列表同步
Cube 元数据信息列表同步
元数据同步频率设置
以上元数据种类,关于第 1 到第 4 项的更改对于用户而言更改难度较小、频率高及同步耗费小,固定 20 秒同步一次,不可更改。
第 5 项和第 6 项两项的更改频率低,默认是 300 秒,即 5 分钟同步一次,基准值是 20 秒, 默认配置值为 15,也就是 20 秒的 15 倍,表示 300 秒,配置项如下:
insight.dataset.verify.interval.count=15
注意:
当同步执行任务量级较大时,可能会大于配置项值。真实的同步任务可能与配置项有差异,属于正常行为。
元数据失败重试机制
元数据同步任务可能会因为 Kylin 里用户信息变更等原因,导致 MDX for Kylin 中元数据同步任务停止。此时元数据同步任务会以 20 秒的频率失败重试。如果当前的同步用户信息或 Kylin 恢复正常,则同步任务恢复正常。