RestCloud领先的企业级API集成开发中台解决方案提供商

快速帮助企业构建数据中台,数据服务总线

我们是数据的搬运工和数据服务的提供者

ETL数据交换平台介绍
  RestCloud ETL数据交换平台是由谷云科技基于微服务架构完全自主研发和创新的数据交换产品,平台的定位是面向大中型企业的轻量级数据传输和交换平台,全Web化配置开箱即用, 异构数据源之间通过ETL平台统一交换数据,同时通过API集成开发平台快速把数据发布为服务,快速帮助企业构建数据中台。
  通过ETL平台并配合RestCloud ESB产品可以彻底解决企业业务系统之间通过JDBC读取业务系统数据的问题。RestCloud ETL数据交换平台可以完成数据抽取、转换、清洗、脱敏、加载等功能, 可以把企业业务系统的数据从一个系统按照一定的业务规则准确无误转换到另一个系统,通过严格的事务控制策略保证数据的安全性和可靠性。
数据中台架构
RestCloud ETL数据交换平台通过整合谷云科技的其他产品线可以快速构建企业的数据中台架构,首先通过ETL对业务系统数据进行数据的整合、清洗形成数据仓库,然后通过API集成开发平台实现数据的快速服务化发布构建DaaS数据即服务平台, 通过ESB数据服务总线实现数据的实时和定时交换、实现与外单位的数据交换和发布,通过API网关实现数据服务的鉴权、流量控制、熔断、安全防护等,通过API管理门户实现数据服务目录的发布供外单位或合作伙伴进行数据的查询和评价。
平台的主要优势
1.基于微服务架构开发支持分布式部署同时支持上万流程的调度与执行
2.全Web化配置,极速传输性能(全面优于开源的kettle ETL工具)
3.支持完整的事务控制策略,跨数据库事务控制,保证数据的一至性
4.支持多数据源的多表对单一数据源的单表数据交换
5.支持多种数据源(RDBS,NOSQL,API,Excel,JavaBean等)
6.支持数据过滤器,通过自定义的数据过滤器可以实现复杂的数据交换规则
7.支持各种不同数据源之间数据类型的自动转换,极大提升流程的构建速度
8.支持数据中心数据一键发布为API,彻底解决通过JDBC直链数据库获取数据的问题.
9.通过数据交换日记,记录所有数据投递情况.
WEB可视化流程定义
通过Web界面的拖、拉、拽即可快速构建ETL数据交换流程,支持分用户,分权限构建流程、支持流程交换数据的实时预览和运行调试。
实时数据传输监控
提供Web化的实时数据传输监控平台,可以清析的看到每个节点读取的数据量、插入的数据量、更新的数据量、删除的数据量、同时可以在日志中看到所有传输成功和传输失败的数据记录, 传输失败的数据记录平台会自动记录失败原因和数据内容方便对数据质量进行控制。
极速传输和计算性能
平台通过内存运算和传输机制优化具有极速传输性能,比开源的kettle速度更快且对原业务系统的数据库无需任何改造和侵入性,通过内存数据加载技术可以把对原业务系统的数据库的影响降到最低程度。
数据溯源
平台支持在MongoDB中存储所有源表到目标表之间的交换数据,可根据源表或目标查看数据的来龙去脉对数据交换的过程进行全程掌控。
多种数据冲突解决方案
平台提供了多种数据冲突解决方案,对于增量数据传输时也可以定义冲突解决方案,可以极大提升数据仓库流程的设计速度。
ETL与ESB的适用场景
使用ETL进行数据交换的场景
1.大批量离线数据交换场景时使用ETL
2.附件交换场景时使用ETL
3.源系统到数仓或前置库时使用ETL
4.业务系统之间定时批量、增量交换数据时使用ETL
使用ESB进行数据集成的场景
1.通过编排多个API、不同协议API之间实现业务数据交换和集成时使用ESB
2.小批量、复杂数据格式交换场景时使用ESB来编排API
3.复杂业务逻辑的数据处理和运算时使用ESB
4.需要高度实时并立即获取反馈结果时直接使用ESB
5.小量多维度多表的数据交换场景时使用ESB
6.数据要作为服务对前端提供能力时使用ESB
7.对多个API进行聚合、高并发响应时使用ESB






版权所有 @ 谷云科技(广州)有限责任公司,粤ICP备17112776号