{"repo":"vbluuiza/YT-batch-ETL-NYC--Yellow-Taxi-Data-Engineer-First-Project","free":true,"listed":false,"github":"https://github.com/vbluuiza/YT-batch-ETL-NYC--Yellow-Taxi-Data-Engineer-First-Project","clone":"git clone https://github.com/vbluuiza/YT-batch-ETL-NYC--Yellow-Taxi-Data-Engineer-First-Project.git","description":"📄 Projeto-base de ETL batch com Python, Pandas e Streamlit, pensado para quem quer estudar e reproduzir um fluxo completo de Engenharia de Dados pela primeira vez.","language":"Jupyter Notebook","stars":26,"topics":["dataengineer","engenhariadedados","etl","python","streamlit"],"license":null,"category":"data-pipelines","readme_excerpt":"Pipeline ETL em Batch - NYC Yellow Taxi 🚕 Projeto de Engenharia de Dados com pipeline ETL em lote para dados de corridas de táxi de NYC, persistência em Parquet e dashboard interativo com Streamlit. --- Links Importantes do Tutorial Recurso Link -------- ------ Vídeo no YouTube Assistir Tutorial Completo Documentação Completa Notion Repositório GitHub YT-batch-ETL-NYC--Yellow-Taxi-Data-Engineer-First-Project Padrão de Commits Guia Completo com Emojis Instagram @vbluuiza LinkedIn vbluuiza --- Índice - Sobre o Projeto - Arquitetura do Pipeline - Dashboard - Stack Tecnológica - Estrutura do Projeto - Pré-requisitos - Instalação e Configuração - Como Executar - Contato --- Sobre o Projeto Este repositório mostra um fluxo ETL completo em batch usando dados reais de Yellow Taxi de NYC. O pipeline cobre as etapas de: 1. Extração dos dados CSV 2. Validação e tratamento de qualidade de dados 3. Transformação e criação de métricas 4. Agregações para análise 5. Persistência em formato Parquet 6. Visualização no Streamlit Objetivo: servir como projeto-base para quem quer estudar e reproduzir um processo de Engenharia de Dados ponta a ponta. --- Arquitetura do Pipeline --- Dashboard Visão Geral Análise por Fornecedor Análise por Pagamento Análise por Dia da Semana --- Stack Tecnológica Camada Tecnologia Versão Por que usamos -------- ------------ -------- ---------------- Core Python 3.14+ Linguagem principal para construir o ETL e o dashboard. Core Streamlit 1.44+ Cria o dashboard inter","default_branch":null,"files":null,"tree":[],"storefront":"/r/vbluuiza","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/vbluuiza/YT-batch-ETL-NYC--Yellow-Taxi-Data-Engineer-First-Project/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}