{"repo":"shaiwz/data-platform-open","free":true,"listed":false,"github":"https://github.com/shaiwz/data-platform-open","clone":"git clone https://github.com/shaiwz/data-platform-open.git","description":"🔥🔥🔥可视化拖拽式大数据集成平台、大数据平台、大数据，包含数据流、数据源、数据对齐、查询模板、智能问数、AI集成、完善的监控等。像画流程图一样且无代码方式同步、清洗数据。","language":"Java","stars":634,"topics":["big-data","dataflow","doris","java","kafka","starrocks"],"license":null,"category":"data-pipelines","readme_excerpt":"📌可视化拖拽式大数据集成平台后端 📌 以数据为舟，驭流而上，让大数据如流水般自由汇聚、智能流转，零代码构建您的数字未来！ AI驱动的下一代数据流平台 本项目已申请外观专利+发明专利，未经明确书面授权，任何单位或个人不得对本软件进行抄袭、复制、修改、分发、逆向工程、商业用途等任何形式的非法使用。违者将面临人民币 100 万元的法定罚款及可能的法律追责。举报侵权行为可获得实际罚款金额 40% 的现金奖励。 官网：https://shaiwz.com/home 前端代码地址：https://gitee.com/shaiwz/data-platform-front-open 项目展示地址：http://dataplatform.cn/login 举报、咨询联系方式： - QQ：761945125 - Email：761945125@qq.com 页面预览 全家图 功能应有尽有，绝大数都支持 AI能力增强（更节约你的宝贵时间） 平台已经全面、深度集成AI能力，一句话，无论是数据流构建，还是查询模板构建等，都可以通过AI来辅助完成，极大降低使用门槛，提高使用效率。 数据流构建过程中一个组件一个组件进行流渲染或修改删除，以及会提供整个思考过程 可以按照行增量方式修改、或者删除，而不是全部重新渲染，节约Token等。 Token用量以及对话明细记录，方便查看AI的思考过程，排查问题等。 智能问数 相关发布文章：数海文舟-最新专利产品：AI智能问数（问，就有答案。） 数据看板 首页 综合看板，方便查看系统运行情况，数据一致性，数据源健康率，以及告警信息等。 数据流统计 用来监控数据流的运行情况，数据流的运行情况，以及数据流服务器的压力。 点击处理器、或者内存时展示服务器运行信息 同时可以在服务监控中看具体的服务器信息 查询模板统计 用来查看查询模板的调用情况，查询服务器运行信息 数据管理 数据流 支持随意构建数据流向，拖拖拽拽完成数据同步，清洗，过滤等任何操作，全程不需要写任何代码。 数据流列表 查看有哪些数据流任务 数据流画布 支持在一个画布里面完成数据同步，清洗，过滤、报表数据生成等任何操作，全程不需要写任何代码。 下游节点支持指定执行顺序。 支持接收FlinkCDC、Canal消息，基于策略模式可以随机接入其他平台的数据，无缝、快速对接，数据发送方不需要任何改动。 发布服务器资源可控，自动容错，节点支持动态扩容，服务节点越多，性能越好。支持多版本，支持回滚。 数据流实时运行日志 数据流发布记录 数据源 支持若干种数据源，插件方式，便于扩展其他数据源 数据源创建 支持分表算法、健康检查、脱敏配置 数据源控制台 不同数据源支持不同的控制台，例如MySQL、StarRocks、Doris、Oracle等控制台样式如下 Kafka控制台 ElasticSearch控制台 等等其他控制台 数据对齐 通过页面简易配置即可能完成两个任意数据源、不同类型数据源数据表、索引等一致性校验，告警、并支持自动化修复！ 数据对齐列表 这里方便查看有哪些对齐任务 数据对齐创建 配置何时触发，以及策略对齐策略：数量一致、内容一致、随机数量，对比时间范围等等配置。 数据对齐日志 开源快速方便查看任务的运行情况 数据对齐日志详情 针对某次对齐任务，不一致的数据快速查看，并提示出差异字段等。 查询模板 通过查询模板可以快速创建查询任务，支持多种数据源。不用后端开发再去编写查询报表、对外提供数据查询接口。 查询模板列表 支持版本控制、密钥、权限配置等 查询模板创建 支持动态条件 支持限流、记","default_branch":null,"files":null,"tree":[],"storefront":"/r/shaiwz","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/shaiwz/data-platform-open/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}