{"repo":"fancyChuan/bigdata-hub","free":true,"listed":false,"github":"https://github.com/fancyChuan/bigdata-hub","clone":"git clone https://github.com/fancyChuan/bigdata-hub.git","description":"数据建设与大数据技术知识体系，包含hadoop、hive、spark、flink主流框架和系列框架，数据中台、数据湖、数据治理、数仓建设、数据化转型等","language":"Java","stars":461,"topics":["bigdata","hadoop","spark","flink","hive","bigdata-construction","bigdata-platform","hudi","kafka","clickhouse"],"license":null,"category":"data-pipelines","readme_excerpt":"bigdata-hub 大数据相关的技术可以分为：传输、存储、计算三大方面 知识体系 - 基础框架 - hadoop：HDFS、MR、YARN及高级话题、企业优化 - hive：基础使用、优化、SQL编译过程、数据血缘、进阶、权限控制 - hive优化 - hivesql功力提升专项：各类难度较高的需求场景的实现方式 - hive数据血缘 - 数仓工作与建设 - 数仓建模 - spark：spark-core、spark-sql、streaming、优化、进阶 - flink：flink基础知识、API、CEP、CDC、流式架构、案例实践 - 数据存储 - hbase：核心API、进阶、与Hive和MR集成、Phoenix集成 - kafka：命令行、API、企业级实战 - elasticsearch - zookeeper - 数据传输（数据交换、数据集成） - datax - sqoop - flume - seatunnel - bitsail：字节开源的高性能数据集成引擎 - 大数据调度：满足复杂大规模作业的调度场景 - oozie - azkaban - dolphinscheduler - 第三方or商业集成技术 - aliyun-bigdata：阿里云大数据（包括DataWorks、MaxCompute等） - DataSphere Studio：微众开源一站式数据平台（DataSphere Studio） - 计算中间件：linkis - 数据交换：exchangis - 其他框架 - StreamPark：原名StreamX，是一个流处理应用程序开发管理框架 - 环境搭建 - apache版本搭建 - CDH集群搭建 - HDP集群搭建 - DataSophon：快速部署、管理、监控、自动化运维大数据服务组件和节点，用于快速构建大数据集群 - 大数据建设 - 可视化 - 标签/指标体系 - 数据质量 - 混合计算 - 实时数仓建设 - 元数据管理 - 开源元数据管理平台 - Apache Atlas - LinkedIn DataHub - Amundsen - Metacat - OpenMetadata - 前沿 - 增强性数据分析 - 数据中台 - 数据湖 - Hudi - 湖仓一体Lakehouse - DataOps：数据工程化 - 其他 - 数字化转型 程序包下载 - Apache版本： http://archive.apache.org/dist/ - CDH5单个版本： http://archive.cloudera.com/cdh5/cdh/5/ - CDH5离线包： https://archive.cloudera.com/cdh5/parcels/ - CDH6： https://archive.cloudera.com/cdh6/ - CM6： https://archive.cloudera.com/cm6/ - 清华Apache镜像： https://mirrors.tuna.tsinghua.edu.cn/apache/ 学习资料 - 《离线和实时大数据开发实战》-朱松岭 - 《Hadoop构建数据仓库实践》-王雪迎 - 《Hadoop技术内幕：深入解析YARN架构设计与实现原理》 - 《spark快速大数据分析(learning-spark)》: https://github.com/databricks/learning-spark - 《Hive性能调优实战》-林志煌 - 笔记：01感受hiv","default_branch":null,"files":null,"tree":[],"storefront":"/r/fancyChuan","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/fancyChuan/bigdata-hub/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}