云原生架构的新一代ETL数据融合平台

  RestCloud ETL数据融合平台是基于微服务架构完全自主研发和创新的新一代数据融合平台，产品的定位是为企业提供业务系统数据之间的集成以及异构数据源之间的数据传输于一体的一站式的数据处理平台，全Web化配置开箱即用， 多种异构数据源之间通过平台快速进行数据交换，快速帮助企业构建数据融合平台，同时通过叠加API服务平台即可快速落地构建一个轻量级的数据中台。
  RestCloud ETL数据融合平台通过可视化的拖、拉、拽即可完成数据集成流程的构建并实现数据抽取、转换、清洗、脱敏、加载等功能，RestCloud ETL从架构、易用性、传输性能、可视化、 功能丰富性等方面均全面超越常见的开源ETL工具。
  通过容器化技术RestCloud ETL支持大规模的分布式部署架构，可以根据资源利用率实现动态的弹性伸缩实现上万流程的同时调度与并发运行。

RestCloud ETL数据集成平台的目标是帮助企业快速实现数据集成、数据采集、数据服务于一体的轻量级数据中台产品，通过可视化的组件拖拽实现快速的从数据采集、传输、转换、脱敏、运算到服务发布的全过程， 通过数据集成平台可以在多个业务系统之间实现复杂的数据分发以及推送、同时也支持跨集团公司的数据传输与共享发布，协助企业快速构建轻量级数据中台等场景， 同时RestCloud支持实时数据流的处理，可以实时接入物联网、Kafka等的实时数据流并进行实时运算处理后存入企业的实时数仓中。

1.基于微服务架构开发支持分布式部署同时支持上万流程的调度与执行
2.专为解决大型企业的复杂数据集成场景而研发
3.支持完整的跨数据库事务控制，保证多个数据源传输数据高度一致性
4.支持多数据源之间数据流的合并、拆分、聚合等操作
5.支持超过40+数据源的链接包括国产数据库
6.支持自定义数据检查规则、质量规则、补全规则等可以实现复杂的数据集成需求
7.支持各种不同数据源之间数据类型的自动转换，极大提升集成流程的构建速度
8.全Web前后端分离架构,所有能力均发布为API可轻松对接第三方业务系统.
9.支持批流一体化处理，大幅提升数据的采集和同步时间

通过Web界面的拖、拉、拽即可快速构建数据集成流程，支持数据在线预览、流程全过程调试，Web界面追踪调试日志等功能。 平台兼具实时数据处理和数据集成分发功能，用户通过可视化的拖、拽即可完成数据处理逻辑，将数据加工处理后分发到下游业务系统或其他异构存储中。

  支持多种实时数据流的接入，支持Kafka实时数据流接入、支持MQTT物联网数据实时接入、支持HTTP实时数据流接入，实时数据流经过清选、转换、计算后可以实时存储到数据仓库中。

平台已内置多种电商及SaaS系统的对接接口及认证方式，通过数据集成平台可以快速的协助企业把SaaS及电商平台中的数据拉取到私有的数据库中， 通过平台的清洗、转换、运算功能可以一步完成数据对接工作，大幅提升数据的时效性降低数据集成成本。

  提供Web化的实时数据传输监控平台，可以清析的看到每个节点读取的数据量、插入的数据量、更新的数据量、删除的数据量、同时可以在日志中看到所有传输成功和传输失败的数据记录， 传输失败的数据记录平台会自动记录失败原因和数据内容方便对数据质量进行控制。
  支持执行流程的动态回放功能，对于复杂的数据集成流程可以清析的看到数据的传输路径及时定位错误。

对于重要数据或手工填报数据为了保证数据质量和可靠性支持人工审核节点，人工审核节点支持会签模式，数据审批人员可以针对不合格的数据进行删除、修改、拒绝等操作阻止数据流入目标数据库表，同时提供Restful API接口可以对接OA系统的审批流程，实现 更为复杂的数据审批流程。

平台支持在MongoDB中存储所有源表到目标表之间的交换数据，可根据源表或目标查看数据的来龙去脉对数据交换的过程进行全程掌控，同时支持使用MongoDB作为缓冲库来存储传输的数据，可以把生产系统中的 数据先行抽取到缓冲库中，再从缓冲库中加载到目标业务系统，可以最大程度减轻对生产系统的压力。

平台提供了多种数据冲突解决方案，对于增量数据传输时也可以定义冲突解决方案，可以极大提升ETL流程的设计速度并可处理复杂的数据交换逻辑，除了行级别的数据冲突处理外同时支持字段极别的冲突处理，对于目标表中的数据 可以实现禁止更新、仅插入时更新字段、设定默认值等多种字段级的更新模式。

1.支持Redis读取写入
2.支持MongoDB读取写入
3.支持Elasticsearch读取写入
4.支持Hive读取写入
5.支持HBase读取写入
6.支持Kafka读取写入
7.随着产品版本的迭代更多数据源支持将不断加入

平台自带提供丰富的监控和统计数据同时可以通过Restful API快速接入第三方的大屏监控界面中，可监控流程每天的失败数量、失败的传输记录数据、 流程平均运行时间、流程插入成功数量、失败数量、更新数量、删除数量等多维度的监控指标，并支持自定义报表实现更为复杂的统计维度，真正实时掌控企业数据的交换和传输情况。

支持元数据管理以及元数据变更告警功能，通过元数据管理可以在线管理数据库的元数据并可以在线预览数据、当元数据发生变更时系统自动发送告警信息，支持元数据直接参与数据集成流程的读取和写入操作，通过元数据可以快速的查找引用的数据集成流程以及节点，对于梳理众多的复杂的数据集成流程提供 了很好的解决方案，全面优于不提供元数据管理功能的数据交换工具。

平台内置跨数据库事务控制功能，在同时写入多个不同业务系统的数据源时系统可以进行整体的事务控制，当有一个数据源写入失败时可以同时回滚所有数据库数据也支持只回滚单个数据源的数据。

平台提供丰富的数据抽取、加载、清洗、运算、脱敏、行转列、列转行等组件，同时提供基于纯Java语法的自定义规则和算法(性能比基于JavaScript语法的脚本快几倍)，可以通过规则实现复杂的自定义业务逻辑处理。

数据经过清洗、转换、运算后可以直接通过Restful API为前端表单及数据可视化提供数据服务接口，ETL数据流无需落盘就可以直接实时通过API提供数据服务，可以把txt,Excel等文件处理后实时提供数据服务 无需存储到数据库中，同时也提供API接口供第三方系统对ETL流程进行调度。

在大数据量传输时如果传送到一定的数据量出错时系统支持断点续传功能,用户可以从断点位置继续传送未传送完成的数据，并可以全部重跑下游节点,支持手工调整断点位置。

系统支持批量传送数据库表中的数据，在数据初始化时可以一次性传送多张表并可以在目标数据库中实现自动建表,支持手工调整断点位置。

支持任意复杂的Excel文件数据采集并可实时写入指定的数据库表中，支持对Excel文件的行、列拆分写入不同数据库表，支持Excel表单数据的提取写入数据库表，快速对企业的 Excel数据进行收集并进行入库分析并形成API发布，无需编码只需几步即可完成Excel文件数据的采集。

系统支持设备、机床、产线产生的各种数据进行实时自动采集，通过数据切分、转换、清洗后实时转存到数据库表中，RestCloud ETL能高速稳定运行对各种数据进行采集，发现数据有问题时能及时预警到钉钉、微信并通知相关人员处理脏数据.

系统根据数据集成流程可以自动分析数据源、数据库表、数据库字段之间的血缘关系并形成拓朴图，可以清析的查看数据库表的上游以及下游关系。

1.脏数据自动记录可随时查看并重传
2.源数据量与目标表数据量自动对比，异常时自动告警
3.支持实时对传输数据的质量进行检测并把脏数据进行下发整改
4.支持对存量数据质量的监测，能自动发现问题数据并记录原因后下发整改
5.支持对数据异常波动的监控，超过波动范围自动告警
6.支持对数据传输任务执行超时、执行错误、异常停止等的监测并告警
7.支持元数据变更监控，当元数据变更时能立即告警并找出可能影响的任务
8.支持自定义数据质量检测规则
9.可满足大型企业对主数据采集、分发、质量监控的复杂需求

率先支持任务的单步调试能力的ETL平台，在ETL调试任务时，RestCloud ETL平台支持查看数据在流程图中每一步的变化值，非常有利于排查复杂数据集成逻辑中的问题，解决了传统ETL任务无法单步调试以及实时查看数据不方便的痛点。 对于ETL数据开发的新手用户可以快速的上手并实现复杂任务的编排，通过本功能可以实时查看数据是如何被转换后分发到不同业务系统或数仓中的。