同步数据资产¶

海量数据是 数据资产目录 服务的主体。用户可以通过 同步任务 功能，将接入侧以及其他多种数据源的数据同步至 数据资产目录，从而对数据进行管理。

创建同步任务¶

数据资产目录 服务支持用户创建以下数据同步任务：

系统同步任务：提供内置的数据同步任务类型，包括同步数据源、Asset、Hive 表、Measurement 等常见数据同步任务，用户可以根据需求选择创建一种或多种系统同步任务。
自定义同步任务：支持用户通过 Open API 自行配置数据同步任务，通过此功能，用户在选择数据源进行同步时将具有更高的自由度。

创建系统同步任务¶

在 数据资产目录 左侧的导航栏中，点击 同步任务 。
点击 创建任务 > 系统同步任务。
从所给选项中选择一个系统同步任务：
- Sync Data Source：将不同数据源的数据同步至 数据资产目录。内部数据源（Hive/HDFS/TSDB）系统将自动获取，外部数据源需用户自行注册。有关注册外部数据源相关文档，参见数据源注册。
- Sync Tables from EnOS Hive：将 EnOS 系统内 Hive 数据源的数据同步至 数据资产目录。
- Sync Points from DCM：将 IoT Hub 的测点数据同步至 数据资产目录。若选择此项，需继续选择需要同步的模型。
- Sync Device Asset from DCM：将 IoT Hub 的设备数据同步至 数据资产目录。
- Sync Asset Tree Node from DCM：将 IoT Hub 的资产树节点数据同步至 数据资产目录。
点击确定，系统同步任务创建完成。

系统同步任务创建完成后，同步任务 功能主页面上将出现新建的系统同步任务。

Note

系统同步任务从 IoT Hub 同步数据时，如果数据自带标签，数据标签将被一并同步至 数据资产目录，并自动按照标签组分类。有关系统标签组的说明，参见系统标签组说明。

创建自定义同步任务¶

Note

使用 自定义同步任务 功能之前，请确保已通过 数据源注册 服务注册相关数据源。有关数据源注册，参见数据源注册。

在 数据资产目录 左侧的导航栏中，点击 同步任务 。
点击 创建任务 > 自定义同步任务。
在新建自定义同步任务页面中，填写或选择以下信息：
- 同步任务名称：输入同步任务名称，不超过 100 字符
- 数据源类型：选择一个数据源类型
  
  Note
  
  当前仅支持 Open API 类型。因此使用 自定义同步任务 功能之前，请确保已通过 数据源注册 服务注册 Open API 数据源。有关 Open API 数据源注册，参见注册 Open API 数据源。
- 数据源选择：选择一个数据源（选项为在 数据源注册 服务中已进行配置的数据源）
- 数据获取方式：勾选数据获取方式。
  - 全量获取每次将同步全部数据并完全覆盖现有数据
  - 增量获取每次将只同步与现有数据不同的部分
- 请求入参：若在 数据源注册 服务中已给 API 配置请求参数，则在这一项填写相应请求参数。未配置则这一项显示为空。
- 同步内容：选择同步内容
  - 若选择 entity 同步，需继续选择一种主数据对象类型
    - 内容映射：填写主数据对象属性字段的返回结果字段
    - 数据校验：勾选是否开启同步实时数据校验。
      
      若开启，同步过程中会按照在创建对象类型时配置的校验规则进行数据的校验，不符合校验规则的数据会进行告警（校验规则的告警默认为关闭状态，需在同步任务的告警配置中开启）。
      
      有关校验规则的配置，参加创建对象类型-校验规则。
      
      有关校验规则告警的开启和配置，参见配置同步任务-告警配置。
  - 若选择 entity 关系同步，需继续选择一种对象关系类型
    - 内容映射：填写对象模型和对象主键的返回结果字段
点击确定，自定义同步任务创建完成。

自定义同步任务创建完成后，同步任务 功能主页面上将出现新建的自定义同步任务。

Note

需手动启动同步任务，数据才将开始同步。关于同步任务的启动，参见管理任务状态。

配置同步任务¶

在创建同步任务时，数据资产目录 服务已默认对同步任务的运行配置进行配置，以及将告警配置默认为关闭状态。用户可以根据需要对运行配置和告警配置进行更改。

运行配置¶

通过运行配置，可对同步任务的同步间隔和运行资源进行配置。

在 同步任务 功能主页面的数据同步任务列表中，点击需进行运行配置的同步任务行末的省略号图标。
点击 运行配置，进入同步任务的运行配置页。
- 同步间隔：输入正整数
- 运行资源：输入运行资源数值（不可超过文案提示的剩余资源大小），单位为 CU。
Note

所有运行的同步任务和标签规则的运行资源之和不可超过 数据同步 的资源配置总数。有关 数据资产目录 服务中 数据同步 的资源配置，可在 资源管理 服务中进行查看，如下图所示：
点击确定，完成运行配置。

告警配置¶

通过告警配置，可对同步任务的运行状态进行监测。若同步任务处于非正常运行状态，将通过邮件和短信的方式告知相关用户。

Note

对于创建 自定义同步任务 时开启数据校验的数据同步任务，通过告警配置功能开启告警后，不符合校验规则的数据也将进行告警。

在 同步任务 功能主页面的数据同步任务列表中，点击需进行告警配置的同步任务行末的省略号图标。
点击 告警配置，进入同步任务的告警配置页。
- 告警开启：点击开关图标，使其处于开启状态。
- 告警方式：默认已勾选邮件告警且不可取消，可补充勾选短信告警。
- 告警接收者：选择告警接收者（可选择多个）。点击已选接收者姓名后方的小叉或在接收者下拉选项中再点击一次接收者姓名，可取消选中该接收者。
- 任务状态告警：选择需要进行告警的同步任务状态(可选择多个)。点击已选任务状态后方的小叉或在任务状态下拉选项中再点击一次任务状态，可取消选中该任务状态。
- 消息推送配置：
  - 推送应用：选择一个推送应用。推送应用可在 消息推送管理 > 配额 中进行配置，有关配额管理相关文档，参见配额管理
  - 邮件模板：点击邮件模板名称，可跳转查看对应模板
  - 短信模板：点击短信模板名称，可跳转查看对应模板
点击确定，完成告警配置。

管理同步任务¶

对于数据同步任务列表中的各种同步任务，用户可以管理其运行状态，并对其进行查看、编辑、删除操作。

管理任务状态¶

启动同步任务：在 同步任务 功能主页面的数据同步任务列表中，点击需启动的同步任务行末的启动，启动该数据同步任务。
暂停同步任务：在 同步任务 功能主页面的数据同步任务列表中，点击需暂停的同步任务行末的暂停，暂停该数据同步任务。
停止同步任务：在 同步任务 功能主页面的数据同步任务列表中，点击需停止的同步任务行末的停止，停止该数据同步任务。

查看同步任务¶

在 同步任务 功能主页面的数据同步任务列表中，可以查看到同步任务名称、同步任务类型、数据来源、同步方式、运行配置、任务状态等主要信息。

点击具体的同步任务名称，可查看该同步任务的基本信息。

Note

当前版本中，仅支持查看自定义同步任务以及系统同步任务中的 Sync Points from DCM 和 Sync Device Asset from DCM。

编辑同步任务¶

Note

仅支持对自定义同步任务进行编辑。

在 同步任务 功能主页面的数据同步任务列表中，点击需编辑的同步任务行末的省略号图标。
点击编辑，进入同步任务的编辑页。
在自定义同步任务编辑页中，除了 同步任务名称、数据源类型、数据源选择 不可编辑之外，可对数据获取方式、请求入参、同步设置等进行编辑与修改。
点击确定，自定义同步任务编辑完成。

删除同步任务¶

Note

只有任务状态为未开始和已停止的同步任务才可进行删除操作。

在 同步任务 功能主页面的数据同步任务列表中，点击需删除的同步任务行末的省略号图标。
点击 删除 > 确定，删除该同步任务。