流数据处理 - 消息队列资源


流数据处理

流数据处理服务能充分满足处理设备和资产的实时数据,以及处理经离线消息通道集成的历史数据的需求。流数据处理服务沉淀了多套能源领域计算模板及通用算子,数据开发者无需编码即可快速开发数据处理解决方案。


有关流数据处理的详细信息,参见 流数据处理


消息队列

消息队列资源即 Kafka 资源。在高阶流数据处理任务中,系统任务流能将流数据处理任务需要的数据分别输出到不同的 Kafka Topic 中。在下游流数据处理任务的配置项中,按需配置输入数据源 Kafka Topic,从而有效地节约计算资源。参见 开发高阶流数据处理任务

申请流数据处理 - 消息队列资源场景


新建高阶流数据处理任务之前,需确保组织已通过 EnOS 管理控制台 > 资源管理 页面申请 流数据处理 - 消息队列 资源。

流数据处理 - 消息队列资源规格

注解

每个 OU 下可申请资源实例数量上限为 20。


字段 描述
资源名称 申请资源的名称,资源管理将在你提交名称后加上 OU ID 信息形成完整的 Kafka Topic 名称。
分区数 Kafka Topic 的分区数。流数据处理 - 消息队列(Kafka)用于集群版资源流量拆分,支持分区的申请范围默认为 1.0 ~ 64 partitions。