RestCloud-领先的API混合集成中台解决方案提供商

全Web基于微服务架构的新一代分布式ETL数据交换平台

提供丰富的数据输入输出组件以及高效的数据传输性能

ETL平台介绍
  RestCloud ETL数据交换平台是由谷云科技基于微服务架构完全自主研发和创新的新一代数据交换产品,产品的定位是面向大中型企业的轻量级数据传输和交换平台,全Web化配置开箱即用, 多种异构数据源之间通过ETL平台快速进行数据交换,快速帮助企业构建数据总线或数据仓库。
  RestCloud ETL数据交换平台通过可视化的拖、拉、拽即可完成ETL流程的构建并实现数据抽取、转换、清洗、脱敏、加载等功能,RestCloud ETL从架构、易用性、传输性能、可视化、 功能丰富性等方面均全面超越Kettle等开源ETL工具。
  通过容器化技术RestCloud ETL支持大规模的分布式部署架构,可以根据资源利用率实现动态的弹性伸缩实现上万流程的同时调度与并发运行。
主要适用场景
RestCloud ETL的目标是基于新的技术架构打造一款完全超越kettle等开源的ETL工具,主要通过可视化的流程拖拽实现快速的从数据采集、传输、转换、脱敏、运算到加载的全过程, 通过ETL可以实现多个业务系统之间实现复杂的数据交换以及跨单位集团公司的数据交换与共享,协助企业快速构建数据仓库等场景, 同时RestCloud支持实时数据流的处理,可以实时接入物联网、Kafka等的实时数据流并进行实时运算处理后存入企业的实时数仓中。
平台的主要优势
1.基于微服务架构开发支持分布式部署同时支持上万流程的调度与执行
2.全Web化配置,极速传输性能(全面优于开源的kettle ETL工具)
3.支持完整的事务控制策略,跨数据库事务控制,保证多个数据源传输数据高度一致性
4.支持多数据源的多表对单一数据源的单表数据交换
5.支持多种数据源(RDBS,NOSQL,Elasticsearch,Rdids,Kafka,Retful API,Excel,JavaBean等)
6.支持数据过滤器,通过自定义的数据过滤器可以实现复杂的数据交换规则
7.支持各种不同数据源之间数据类型的自动转换,极大提升流程的构建速度
8.前后端分离架构ETL所有能力均发布为API可轻松对接第三方业务系统.
9.通过数据交换日记,记录所有数据投递情况并可实现数据朔源.
10.支持批流一体化处理,大幅提升数据的采集和同步时间
WEB可视化流程定义
通过Web界面的拖、拉、拽即可快速构建ETL流程,支持数据在线预览、流程全过程调试,Web界面追踪调试日志等功能。
实时数据流支持
  支持多种实时数据流的接入,支持Kafka实时数据流接入、支持MQTT物联网数据实时接入、支持HTTP实时数据流接入,实时数据流经过清选、转换、计算后可以实时存储到数据仓库中。
支持对接各种电商及SaaS系统
平台已内置多种电商及SaaS系统的对接接口及认证方式,通过ETL平台可以快速的协助企业把SaaS及电商平台中的数据拉取到私有的数据库中, 通过平台的清洗、转换、运算功能可以一步完成数据对接工作,大幅提升数据的时效性降低数据集成成本。
实时传输监控/动态回放传输过程
  提供Web化的实时数据传输监控平台,可以清析的看到每个节点读取的数据量、插入的数据量、更新的数据量、删除的数据量、同时可以在日志中看到所有传输成功和传输失败的数据记录, 传输失败的数据记录平台会自动记录失败原因和数据内容方便对数据质量进行控制。
  支持执行流程的动态回放功能,对于复杂的ETL流程可以清析的看到流程的数据传输路径。
人工审批支持
对于重要数据或手工填报数据为了保证数据质量和可靠性支持人工审核节点,人工审核节点支持会签模式,数据审批人员可以针对不合格的数据进行删除、修改、拒绝等操作阻止数据流入目标数据库表,同时提供Restful API接口可以对接OA系统的审批流程,实现 更为复杂的数据审批流程。
数据溯源/缓冲库支持
平台支持在MongoDB中存储所有源表到目标表之间的交换数据,可根据源表或目标查看数据的来龙去脉对数据交换的过程进行全程掌控,同时支持使用MongoDB作为缓冲库来存储传输的数据,可以把生产系统中的 数据先行抽取到缓冲库中,再从缓冲库中加载到目标业务系统,可以最大程度减轻对生产系统的压力。
字段级别的冲突解决方案
平台提供了多种数据冲突解决方案,对于增量数据传输时也可以定义冲突解决方案,可以极大提升ETL流程的设计速度并可处理复杂的数据交换逻辑,除了行级别的数据冲突处理外同时支持字段极别的冲突处理,对于目标表中的数据 可以实现禁止更新、仅插入时更新字段、设定默认值等多种字段级的更新模式。
支持最为广泛的数据源接入
1.支持Redis读取写入
2.支持MongoDB读取写入
3.支持Elasticsearch读取写入
4.支持Hive读取写入
5.支持HBase读取写入
6.支持Kafka读取写入
7.随着产品版本的迭代更多数据源支持将不断加入
丰富的监控指标
平台自带提供丰富的监控和统计数据同时可以通过Restful API快速接入第三方的大屏监控界面中,可监控流程每天的失败数量、失败的传输记录数据、 流程平均运行时间、流程插入成功数量、失败数量、更新数量、删除数量等多维度的监控指标,并支持自定义报表实现更为复杂的统计维度,真正实时掌控企业数据的交换和传输情况。
元数据管理支持
支持元数据管理功能,通过元数据管理可以在线管理数据库的元数据并可以在线预览数据,元数据建模后可以直接参与ETL流程的数据读取和写入操作,通过元数据可以快速的查找引用的流程,对于梳理众多的复杂的ETL流程提供 了很好的解决方案,全面优于不提供元数据管理功能的ETL工具。
完整的数据库事务控制
平台内置跨数据库事务控制功能,在同时写入多个不同业务系统的数据源时系统可以进行整体的事务控制,当有一个数据源写入失败时可以同时回滚所有数据库数据也支持只回滚单个数据源的数据。
丰富的数据处理组件
平台提供丰富的数据抽取、加载、清洗、运算、脱敏、行转列、列转行等组件,同时提供基于纯Java语法的自定义规则和算法(性能比基于JavaScript语法的脚本快几倍),可以通过规则实现复杂的自定义业务逻辑处理。
支持直接对外提供数据服务接口
数据经过清洗、转换、运算后可以直接通过Restful API为前端表单及数据可视化提供数据服务接口,ETL数据流无需落盘就可以直接实时通过API提供数据服务,可以把txt,Excel等文件处理后实时提供数据服务 无需存储到数据库中,同时也提供API接口供第三方系统对ETL流程进行调度。
大数据量,断点续传支持
在大数据量传输时如果传送到一定的数据量出错时系统支持断点续传功能,用户可以从断点位置继续传送未传送完成的数据,并可以全部重跑下游节点,支持手工调整断点位置。
批量传送、自动建表、断点传送
系统支持批量传送数据库表中的数据,在数据初始化时可以一次性传送多张表并可以在目标数据库中实现自动建表,支持手工调整断点位置。






版权所有 @ 谷云科技(广州)有限责任公司,粤ICP备17112776号