{"repo":"hexnn/Stark","free":true,"listed":false,"github":"https://github.com/hexnn/Stark","clone":"git clone https://github.com/hexnn/Stark.git","description":"基于Spark+SparkMLlib+Debezium+Deequ打造的简单易用、超高性能大数据治理引擎。适用于批流一体的数据集成和数据分析，支持CDC实时数据采集、机器学习算法模型、数据质量校验、数据标注、敏感数据识别、数据建模、算法建模和OLAP数据分析","language":"Scala","stars":37,"topics":["cdc","datax","debezium","flink","hadoop","seatunnel","spark","dataworks","etl","kettle"],"license":null,"category":"data-pipelines","readme_excerpt":"Stark一站式大数据治理引擎 基于Spark内核的简单易用、超高性能批流一体数据集成和数据分析引擎 【开箱即用】零编码，基于规则文件即可完成一站式数据采集、数据建模、算法建模和数据分析等任务 【来源丰富】支持关系数据库、NoSQL数据仓库、图数据库、文件等几十种数据源，满足各种数据对接需求 【批流一体】支持离线、实时、离线实时混合三种读写模式，离线和实时数据全流程打通 【变化捕获】支持CDC变化数据捕获，实时监测数据变化并更新到目标，支持离线与实时数据多源异构融合 【信创支持】支持基于X86及ARM架构的国产CPU及操作系统部署，支持达梦、人大金仓等国产信创数据源 【机器学习】支持几十种机器学习算法，与各种数据源全流程融合，基于简单配置即可实现复杂的算法模型分析 【算法调优】支持机器学习算法参数调优，支持超参动态优化，算法训练及预测过程可观测，让数据更智能 【质量校验】内置50+数据质量校验规则，支持对各种离线和实时数据进行数据质量监测，同时生成校验报告 【数据标注】支持自动化数据标注，可对100+敏感类型数据进行自动识别，用于数据安全管控和动态脱敏 【过程观测】支持单步调试，可监测每一个环节的任务执行情况，了解数据处理过程，核查计算结果和数据质量 【性能高效】支持跨数据源单表、多表、多表关联、整库数据采集和数据分析，可利用集群能力处理百亿级数据 【易于扩展】基于Stark规则引擎界面化封装，可在极短时间实现整套数据采集、数据建模和数据分析等中台产品 引擎技术架构 数据源读写特性（持续扩展中） 类型 数据源 批模式(读) 批模式(写) 流模式(读) 流模式(写) CDC(读) CDC(写) :------------ :------------ :--------: :--------: :--------: :--------: :------: :------: 关系型数据库 MySQL √ √ √ √ 增,删,改 增,删,改 MariaDB √ √ √ √ 增,删,改 增,删,改 Oracle √ √ √ √ 增,删,改 增,删,改 PostgreSQL √ √ √ √ 增,删,改 增,删,改 SQLServer √ √ √ √ 增,删,改 增,删,改 DB2 √ √ √ √ 增,删,改 增,删,改 NoSQL数据库 HBase √ √ √ √ 增,删,改 增,删,改 Phoenix √ √ √ 增,删,改 Cassandra √ √ √ √ 增,删,改 增,删,改 MongoDB √ √ √ √ 增,删,改 增,删,改 Redis √ √ √ √ 增 增,删,改 Elasticsearch √ √ √ √ 增 增,删,改 MPP架构数据库 Impala √ √ √ 增 StarRocks √ √ √ 增,删,改 Doris √ √ √ 增,删,改 ClickHouse √ √ √ √ 增,删,改 增,删,改 Greenplum √ √ √ √ 增,删,改 增,删,改 数据仓库 Hive √ √ √ 增 数据湖 Iceberg √ √ √ √ 增 增,删,改 Hudi √ √ √ √ 增,删,改 增,删,改 DeltaLake √ √ √ √ 增,删,改 增,删,改 Paimon √ √ √ √ 增,删,改 增,删,改 消息中间件 Kafka √ √ √ √ 增 增 图数据库 Neo4j √ √ √ √ 增 增,删,改 空间数据库 PostGIS √ √ √ √ 增,删,改 增,删,改 文件数据源 Text √ √ √ √ 增 增 CSV","default_branch":null,"files":null,"tree":[],"storefront":"/r/hexnn","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/hexnn/Stark/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}