1.6.2.1 数据表前置说明

优质
小牛编辑
132浏览
2023-12-01

数据表前置说明

更新时间:2018-03-14 17:28:43

功能说明

数据表作为重要的数据资产需被开发者清楚了解和管理,在Link Develop,开发者会因为设备产品接入而产生数据,也会通过云端对接而上传数据,多种数据来源的数据会统一汇总都数据表管理中,让开发者可以查询表的基础信息,并通过此处对数据表进行管理。

数据表类型

由于在Link Develop中,数据来源多处,且数据接入和设备接入后,数据表是平台自动产生的,所以为了便于开发者区分,我们定义了新的数据表类型:

-数据接入表:专指通过“数据接入”任务发布和“设备-产品开发”发布后,自动解析生成的数据源表

-模型生成表:专指通过创建数据模型后产出的模型结果表

-自建表:是指开发者通过“新建表”功能自行创建的数据表

数据表来源之一:数据接入

开发者可通过“数据接入”模块,进行云端数据对接同步,当开发者发布数据接入任务一个,平台会根据相关任务信息,自动创建对应的数据表,此时在数据表管理列表中可查询到数据接入任务对应的数据表。

需要关注到以下几点:

  • 一个数据任务下每个数据组,平台按数据组结构自动创建两张数据表,意味着如果您的数据任务下有两个数据组,那么我们会产生4张对应的数据表。

  • 每个数据组产生的两张表分别是:实时源表(以s_开头,虽然此处叫实时源表,但实时数据平台会放置在消息队列中,并不立即存入数据表中)和离线源表(以dwd_开头,离线源表主要为了应用于离线模型中,所以不会立即产生数据,而是会在次日凌晨产生)。

  • 产生的两张数据源表类型:数据接入表

  • 实时源表目前不支持数据预览,离线源表当日不支持数据预览,次日可预览数据

数据表来源之二:设备产品接入

开发者可通过“设备-产品开发”模块,接入一类设备产品,当产品发布后,平台会根据产品信息,自动创建对应的数据表,此时在数据表管理列表中可查询到该产品对应的数据表。

需要关注到以下几点:

  • 一个设备产品发布,平台会自动生成2张对应的数据表。

  • 产生的两张表分别是:实时源表(以s_开头,虽然此处叫实时源表,但实时数据平台会放置在消息队列中,并不立即存入数据表中)和离线源表(以dwd_开头,离线源表主要为了应用于离线模型中,所以不会立即产生数据,而是会在次日凌晨产生)。

  • 产生的两张数据源表类型:数据接入表

  • 实时源表目前不支持数据预览,离线源表当日不支持数据预览,次日可预览数据。

数据表来源之三:开发者自建表

当开发者需要插入开发所需要的业务数据时,开发者可通过“新建表”功能,创建所需的表,此时在数据表管理列表中可查询到该表。

需要关注到以下几点:

  • 开发者自建表数据通过服务API insertData接口进行数据插入。

  • 数据表类型:自建表

  • 数据表支持数据预览,且可用于实时和离线模型的关联构建。

数据表来源之三:模型生成表

开发者在应用开发过程中,可能需要利用设备数据或其他数据进行实时/离线的数据计算,所以会创建数据实时/离线模型,当模型发布后会产出模型对应的结果表。

需要关注到以下几点:

  • 实时模型产出的结果表,会在模型发布成功后等待数秒后,即可产出数据(前提是模型所在源表中有数据上行)。

  • 离线模型产出的结果表,设置的周日调度时间上进行计算后产出数据。

  • 数据表类型:模型生成表

  • 数据表支持数据预览,前提是产出数据后。