关于实时计算的要求概述
1、实时计算指对实时监控数据进行分布式流处理,根据数据产生时间戳,逐条处理,支撑实时计算和监控展现要求。
2、实时计算一般分为三个阶段:数据的产生与收集阶段(收集)、传输与分析处理阶段(处理)、存储对外提供服务阶段(查询)。
3、支持数据缓存。部分数据暂时性保存,以供读取和再读取,加快处理速度;
4、支持过滤解析。对每条数据做核查,对重复数据、异常数据做过滤解析;支持工作进程和节点的故障处理;
5、支持静态数据加载。静态数据自主加载,减轻系统运算压力;支持日志功能。
6、支持规则匹配计算。对有用的实时数据根据制定的规则进行匹配、计算;支持计算能力线性地扩展;
7、支持实时接入与分发。对不断变化的流数据实时接入 ,并实时分发;支持数据持久化。
声明:本网站引用、摘录或转载内容仅供网站访问者交流或参考,不代表本站立场,如存在版权或非法内容,请联系站长删除,联系邮箱:site.kefu@qq.com。