{"repo":"geekyouth/SZT-bigdata","free":true,"listed":false,"github":"https://github.com/geekyouth/SZT-bigdata","clone":"git clone https://github.com/geekyouth/SZT-bigdata.git","description":"深圳地铁大数据客流分析系统🚇🚄🌟","language":"Scala","stars":2473,"topics":["kafka","szt-bigdata","flink","spark","scala","elasticsearch","kibana","hive","redis","mongodb"],"license":null,"category":"data-pipelines","readme_excerpt":"SZT-bigdata 深圳地铁大数据客流分析系统 🚇🚇🚇 --- --- --- 项目说明🚩： - 🎈 该项目主要分析深圳通刷卡数据，通过大数据技术角度来研究深圳地铁客运能力，探索深圳地铁优化服务的方向； - ✨ 强调学以致用，本项目的原则是尽可能使用较多的常用技术框架，加深对各技术栈的理解和运用，在使用过程中体验各框架的差异和优劣，为以后的项目开发技术选型做基础； - 👑 解决同一个问题，可能有多种技术实现，实际的企业开发应当遵守最佳实践原则； - 🎉 学习过程优先选择较新的软件版本，因为新版踩坑一定比老版更多，坑踩的多了，技能也就提高了，遇到新问题可以见招拆招、对症下药； - 🚀 ... --- 第一期架构图 原图 .file/.doc/SZT-bigdata-2.png --- 核心技术栈 + 版本选择 + 点评 (持续更新)⚡： - Java-1.8/Scala-2.11，生态丰富，轮子够多； - Flink-1.10，流式业务、ETL 首选。发展势头如日中天，阿里巴巴背书，轻快灵活、健步如飞；就问你信不信马云？？？😚😚😚 - Redis-3.2，天然去重，自动排序，除了快还是快。廉价版硬盘实现同类产品 SSDB。Win10 CentOS7 Docker Redis-3.2 三选一，CentOS REPL yum 安装默认使用3.2版本； - Kafka-2.1，消息队列业务解耦、流量消峰、订阅发布场景首选。最佳 CP：kafka-eagle-1.4.5，集生产、消费、Ksql、大屏、监控、报警于一身，同时监控 zk。其他我用过的 Kafka 监控组件最后都放弃了： - KafkaOffsetMonitor 问题太多，丑拒； - Kafka Manager，已更名为 CMAK，老外写的软件用起来就觉得很别扭，而且最高只兼容 Kafka 0.11，但是 Kafka 官方已经升级到 2.4 了啊喂； - 其他各种开源的 Kafka 监控基本都试过，一个能打的都没有。 - Zookeeper-3.4.5，集群基础依赖，选举时 ID 越大越优势，通过会话机制维护各组件在线状态； - CDH-6.2，解决了程序员最难搞的软件兼容性问题，全家桶服务一键安装； - Docker-19，最快速度部署一款新软件，无侵入、无污染、快速扩容、服务打包。如果当前没有合适的运行环境，那么 docker 一定是首选； - SpringBoot-2.13，通用 JAVA 生态，敏捷开发必备； - knife4j-2.0，前身为 swagger-bootstrap-ui，REST API 项目调试简直不要太方便，秒杀原版丝袜哥十个数量级； - Elasticsearch-7，全文检索领域唯一靠谱的数据库，搜索引擎核心服务，亿级数据毫秒响应，真实时，坑也多🔊🔊🔊； - Kibana-7.4，ELK 全家桶成员，前端可视化，小白也不怕； - ClickHouse，家喻户晓的 nginx 服务器就是俄罗斯的代表作，接下来大红大紫的 clickhouse 同样身轻如燕，但是性能远超目前市面所有同类数据库，存储容量可达PB级别。目前资料还不多，正在学习中； - MongoDB-4.0，文档数据库，对 Json 数据比较友好，主要用于爬虫数据库； - Spark-2.3，目前国内大数据框架实时微批处理、离线批处理主流方案。这个组件太吃资源了，曾经在我开发时，把我的笔记本搞到蓝屏，于是我直接远程提交到 spark 集群了。接下来预计 Flink 开始表演","default_branch":null,"files":null,"tree":[],"storefront":"/r/geekyouth","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/geekyouth/SZT-bigdata/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}