{"repo":"vinitg96/elt-data-lakehouse","free":true,"listed":false,"github":"https://github.com/vinitg96/elt-data-lakehouse","clone":"git clone https://github.com/vinitg96/elt-data-lakehouse.git","description":"Data Lakehouse moderno com MinIO, DuckDB, dbt, metabase e airflow","language":"Python","stars":13,"topics":["data-engineering","dbt","duckdb","lakehouse","metabase","minio","python","airflow"],"license":null,"category":"data-pipelines","readme_excerpt":"Data Lakehouse Moderno Este projeto simula um ambiente moderno de Data Lakehouse em execução local, permitindo estudar conceitos de ingestão, transformação (dbt), orquestração (Airflow) e visualização (Metabase). A stack é ideal para cenários de dados estáticos (sem necessidade de ingestão incremental) ou para a criação de provas de conceito (POCs) voltadas à exploração e análise de dados, antes de uma eventual migração para a nuvem. O pipeline segue a abordagem ELT (Extract, Load, Transform), onde: 1. Os dados são extraídos das fontes (ERP e CRM) em formato csv e carregados no Lake (armazenado no MinIO) via script Python; 2. O DuckDB atua como data warehouse local, conectando-se diretamente aos arquivos no Lake para consulta e processamento; 3. O dbt direciona as transformações, utilizando a engine do warehouse (DuckDB) para processar as queries SQL. As transformações seguem a arquitetura em camadas: Bronze → Silver → Gold, garantindo rastreabilidade, qualidade e organização dos dados. Contexto A empresa de e-commerce tem como objetivo integrar dados provenientes de duas origens distintas (CRM e ERP) para construir uma visualização unificada que consolide informações comerciais e operacionais. O sistema CRM concentra os dados relacionados a clientes, produtos e vendas, refletindo as interações comerciais e o desempenho de vendas da empresa. Já o sistema ERP armazena informações cadastrais complementares sobre clientes (como data de nascimento e gênero), dados geográficos e a","default_branch":null,"files":null,"tree":[],"storefront":"/r/vinitg96","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/vinitg96/elt-data-lakehouse/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}