实时计算平台 EasyStream
基于 Apache Flink 构建的高性能、一站式实时大数据处理方案,通过标准 SQL 服务和更高级的代码定制服务,提供低门槛、专业化的实时计算集成开发环境,广泛适用于流式数据处理场景。

企业采集实时数据时,会面临哪些严峻挑战?

实时计算平台可高效提炼时效性数据,满足企业低延时业务需求,适用多种实时计算任务场景,但从研发成本、技术实现等方面对企业提出了新的挑战

实时采集缺工具
痛点描述 : 数据库实时采集是企业客户“卡脖子”的难题,尽管技术趋于成熟,但自研平台成本高,配套工具集成难度大、单独采购成本高,且与实时计算衔接复杂
产品及特色 : 有数实时计算平台从认证、授权、审计三个方面来保障企业客户的数据安全,保证数据不会被非法获取,用户权限可控制,用户操作可跟踪
实时开发门槛高
痛点描述 : 技术人员需要深入学习计算引擎的底层知识,当业务逻辑比较复杂时,还需要了解离线与实时如何结合使用,对开发人员技术能力要求较高
产品及特色 : 提供低门槛沉浸式实时计算平台,支持 SQL 和代码任务的开发运维,支持 UDF 开发复用,配备强大的版本管理和采样调试功能,支持流批统一的数据源管理、复用及拖拽式开发
实时运维难度大
痛点描述 : 开发难以感知实时计算任务的状态是否正常、流量是否稳定,是否出现反压等异常情况,对任务的历史运行情况难以查询和回溯,运维成本极高
产品及特色 : 拥有统一的任务运维中心,支持展示多维度监控图表。提供丰富的指标监控和告警规则,支持用户自定义指标监控和告警规则,提供全面的运行和发布记录,一站式解决运维问题
数据规范不统一
痛点描述 : 传统点对点开发实时计算任务的方式,存在数据难以复用、数据冗余造成规范混乱的问题,标准难以统一,浪费成本且治理难度大
产品及特色 : 有数实时计算平台与离线数仓共享元数据中心,使用相同数据模型,保证数据指标一致,避免理解差异,同时无需开发构建 DDL,一处登记多任务复用,提高用数效率,降低用数成本
热门应用场景
精准推荐
通过实时计算快速挖掘用户特征,分析用户需求喜好,快速定位目标用户画像及需求 ,及时推荐给用户更适合的信息、商品及服务,实现精细化、个性化运营。
场景示例
信息流推荐、精准营销、关联推荐
实时风控
针对金融业务提供全链路风控、欺诈风险、数据质量等整体解决方案,通过实时计算平台优化传统风控系统,快速识别交易信息,减少用户损失。
场景示例
交易预警、欺诈监测、权限管控
监控大屏
快速构建从数据库,日志,IOT 等数据源到数据终端的实时生产链路,配合数据可视化工具,为双11大屏展示等场景提供低门槛,可复制,平台化的解决方案
场景示例
实时统计、数据监控、业务预警

产品优势

流批一体
支持流批一体的存储设施和开发模式,集团内部率先实践,标准方案权威认证
定制对接
可对接客户系统的单点登录,数据源管理,报警监控等基础设施,为客户提供定制化方案和实施
开放兼容
数据源持续开放集成,除有数自建数据湖外,支持对接 CDH/CDP 等商业化产品
成熟可靠
各组件冗余部署,高可用方案成熟稳定,网易集团内部十年实践验证

核心能力

实时数据采集
适配主流消息队列实现日志数据的实时采集,通过数据库 redo 回放、CDC、binlog 回放技术实现数据库数据实时采集,使用库仓一体方案构造无感知的数据接入,与后续的实时/批计算无缝衔接
实时开发调试
强大的 IDE 套件,支持 jar、SQL、画布三种开发模式,支持拖拽、模块化、多语言等特性,提供在线采样、上传数据多种调试方式,支持任务血缘、版本管理等
丰富数据源支持
支持主流消息队列:包含 RocketMQ 等;支持各种异构数据源类型,包括 HDFS、Hive、hbase、kudu、Redis、es、tsdb、MySQL、Oracle 等
支持开发/线上模式
提供开发/线上模式,以实现开发/运维隔离,保障开发工作不直接影响线上任务,支持快照版本管理;通过调试功能为开发者模拟低成本开发集群,在不引入额外成本前提下全面保障线上安全
统一元数据管理
配套流批一体的元数据中心,基于和离线统一的元数据结构管理数据源,实现数据在离线和实时场景下快速复用,利用统一元数据中心和离线共享数仓模型,消除二义性,支撑流批一体开发
全链路监控
提供任务的全生命周期事件管理,支持任务运行日志收集与检索,支持任务运行状态各种维度 metrics 的汇总与展示,基于全链路监控与智能诊断,实现问题快速排查和恢复,保障 SLA