元数据同步

元数据同步原理

元数据同步是通过 HTTP 调用的方式从 Kylin 获取数据集需要的相关信息, 并和 MDX for Kylin 中已有的元数据信息进行比对,如果有变更,则根据 Kylin 的变更来修复 MDX 中元数据。

元数据同步种类

元数据同步的信息包含如下种类:

  1. 用户列表同步

  2. 用户组列表同步

  3. Cube 列表同步

  4. 项目列表同步

  5. Segment 列表同步

  6. Cube 元数据信息列表同步

元数据同步频率设置

以上元数据种类,关于第 1 到第 4 项的更改对于用户而言更改难度较小、频率高及同步耗费小,固定 20 秒同步一次,不可更改。

第 5 项和第 6 项两项的更改频率低,默认是 300 秒,即 5 分钟同步一次,基准值是 20 秒, 默认配置值为 15,也就是 20 秒的 15 倍,表示 300 秒,配置项如下:

insight.dataset.verify.interval.count=15

注意:

当同步执行任务量级较大时,可能会大于配置项值。真实的同步任务可能与配置项有差异,属于正常行为。

元数据失败重试机制

元数据同步任务可能会因为 Kylin 里用户信息变更等原因,导致 MDX for Kylin 中元数据同步任务停止。此时元数据同步任务会以 20 秒的频率失败重试。如果当前的同步用户信息或 Kylin 恢复正常,则同步任务恢复正常。

Powered by Gitbook.            Last Modified: 2022-03-18 16:13:55

results matching ""

    No results matching ""