{"repo":"risesoft-y9/DataFlow-Engine","free":true,"listed":false,"github":"https://github.com/risesoft-y9/DataFlow-Engine","clone":"git clone https://github.com/risesoft-y9/DataFlow-Engine.git","description":"数据流引擎是一款面向数据集成、数据同步、数据交换、数据共享、任务配置、任务调度的底层数据驱动引擎。数据流引擎采用管执分离、多流层、插件库等体系应对大规模数据任务、数据高频上报、数据高频采集、异构数据兼容的实际数据问题。","language":"Java","stars":696,"topics":["jackson","java","kafka","nacos","quartz","springboot2","springcloud","springdata-jpa","vue3","data-engineering"],"license":"GPL-3.0","category":"data-pipelines","readme_excerpt":"基于SpringBoot+Vue前后端分离的Java分布式国产纯净数据集成引擎 简介 数据流引擎是一款面向数据集成、数据同步、数据交换、数据共享、任务配置、任务调度的底层数据驱动引擎。数据流引擎采用管执分离、多流层、插件库等体系应对大规模数据任务、数据高频上报、数据高频采集、异构数据兼容的实际数据问题。系统在线体验----- 源码目录 逻辑架构图 1. 数据流引擎分为管理端和执行端，管理端具备可视化界面面向用户操作，执行端无界面无状态 2. 管理端主要负责对于执行端任务的配置和监控 3. 执行端接收任务，数据从输入流至数据闸口，最终通过输出流推出 4. 插件库是数据流引擎的重要核心，每个环节中使用哪些插件的灵活组合可以应对多种定制化复杂业务 功能架构图 1. 管理端的功能主要为任务配置和、任务调度和插件库配置 2. 执行端的每一个环节中均有不等的插件对数据任务进行处理 3. 数据流引擎可以依赖数字底座进行使用，也可以单独进行使用 部署架构图 1. 管理端可以平行部署，执行端可以根据业务分类和业务量进行大规模部署，从而提高数据流转效率 2. 正式环境为保证安全，建议将数字底座与数据流引擎进行结合，用系统管理员账号进行管理端操作 3. 数据流引擎支持容器化方式部署 4. 数据流引擎单体在信创环境中，4核8GB的虚拟机可以轻松管理5000任务（需合理匹配多个执行端） 后端技术选型 序号 依赖 版本 官网 ---- ----------------- --------- -------------------------------------------------------------------------------------------------------------------- 1 Spring Boot 2.7.10 官网 2 SpringDataJPA 2.7.10 官网 3 SpringDataRedis 2.7.10 官网 4 SpringCloud 3.1.5 官网 5 nacos 2.2.1 官网 6 druid 1.2.16 官网 7 Jackson 2.13.5 官网 8 javers 6.13.0 官网 9 lombok 1.18.26 官网 10 logback 1.2.11 官网 前端技术选型 序号 依赖 版本 官网 ---- -------------- --------- ------------------------------------------------------------------------ 1 vue 3.3.2 官网 2 vite2 2.9.13 官网 3 vue-router 4.0.13 官网 4 pinia 2.0.11 官网 5 axios 0.24.0 官网 6 typescript 4.5.4 官网 7 core-js 3.20.1 官网 8 element-plus 2.2.29 官网 9 sass 1.58.0 官网 10 animate.css 4.1.1 官网 11 vxe-table 4.3.5 官网 12 echarts 5.3.2 官网 13 svgo 1.3.2 官网 14 lodash 4.17.21 官网 中间件选型 序号 工具 版本 官网 ---- ------------------ ------ --------------------------------------------------------------------------","default_branch":null,"files":null,"tree":[],"storefront":"/r/risesoft-y9","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/risesoft-y9/DataFlow-Engine/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}