数据计算平台

产品概述

数据计算平台面向解决方案提供商和企业人员，将算法包编排成计算任务，进行任务资源的分配、调度运行，并对其进行监控及异常处理。充分利用多方开发的算法包，轻量化、低代码开发，实现企业复杂计算任务。 提供算法注册、发布、任务开发、任务测试、计算任务配置调度、任务与资源管理监控的一体化服务。任务开发以组件化提供灵活的算法配置和变更。平台化拖拽就可以完成数据接入、算法预处理、数据计算和数据输出；任务监控对集群中运行的任务进行状态和资源消耗情况的实时监控和管理。

产品特性

其特性主要有：

• 支持运行在Hadoop生态的系列产品。
• 平台提供通用算法包和行业通用算法包
• 支持第三方开发的Java和Scala语言算法包，包括利用平台提供的SDK开发的算法包和自主开发的算法包。
• 支持实时数据和历史归档数据的计算。
• 任务配置支持顺序，条件分支。支持任务嵌套。
• 任务启动支持时间触发（包括定时触发、延时触发），事件触发。
• 算法规则或业务规则可在线编辑。通过规则引擎技术，将算法和业务中的经常变化部分用动态规则来实现，减少代码二次开发编译维护成本。

平台体系

使用场景

数据计算平台支持实时流计算和离线批量计算。实时流计算主要应用于设备数据的实时计算和监控预警，在线系统，实时ETL等场景。离线批量计算应用于数据非实时响应的需求场景和数据量非常巨大的场合。在非实时业务，日度统计，月度统计，T+1操作等场景有广泛应用。

• 面向算法专家：算法专家在本地按照约定的通用开发规范，编写专业领域的算法，打包发布到平台供其它用户使用。
• 面向开发者、解决方案提供商：用户可以使用平台集群的通用行业解决包直接生成任务运行，也可以修改、替换解决包里的部分算法或业务规则；亦或没有满足需求的解决包，用户能够按照SDK的指引手册，自定义开发业务包挂载到平台，配置生成任务运行。 任务基于可视化管理，因此运维人员也能够通过平台直接管理任务的运维。

任务生命周期

本地开发好算法，打包上传到计算平台算法库。
解决方案提供商使用算法库的各种算法组件，在可视化界面中编排配置成复杂业务的计算任务，发布到计算平台任务库。
企业人员使用测试通过的任务，配置成真实环境，验证通过后，在生产环境正式运行。