{"repo":"mpraes/ingestao_no_limite","free":true,"listed":false,"github":"https://github.com/mpraes/ingestao_no_limite","clone":"git clone https://github.com/mpraes/ingestao_no_limite.git","description":"Desafio Ingestão no Limite: Edição Hardware Leve: Provando que engenharia de dados de verdade se faz com código otimizado, não com máquina cara.","language":"Python","stars":26,"topics":["challenge","data-engineering","homelab","python3","shell"],"license":"MIT","category":"self-hosted-apps","readme_excerpt":"Ingestão no Limite: Um desafio para os engenheiros de dados \"engenhocar\" seus pipelines Seja bem-vindo ao Ingestão no Limite , o desafio de Engenharia de Dados focado em eficiência extrema, código performático e FinOps . Contexto Narrativo : Uma agência de marketing B2B precisa de uma base de dados grande e robusta para criar campanhas automatizadas e conquistar o maior número possível de prospectos. No entanto, a agência não está disponível a investir em máquinas virtuais, clusters Kubernetes ou instâncias no Databricks, pois acredita que não são necessários custos elevados para atingir seus objetivos. Eles baixaram arquivos de empresas no formato CSV pelo site dados.gov.br. Contudo, não conseguem sequer abrir esses arquivos, pois estão compactados em .zip , possuem um formato interno incomum e, além disso, são grandes demais para manipular no Excel. Diante disso, a agência contratou você para criar um processo de ingestão e tratamento simples desses dados, de forma a permitir melhores consultas utilizando ferramentas de BI, como Tableau, Metabase ou Power BI. O detalhe importante: o único equipamento disponível é um notebook antigo, que eles acreditam ser suficiente para o serviço. 🎯 Objetivo da Competição Criar o pipeline de ingestão e tratamento dos dados empresariais mais eficiente possível , operando sob rigorosas restrições de hardware (máximo de 1 GB de RAM , 2 CPUs e 60 min para processar 68,6M linhas). Ao final, seu trabalho deve gerar uma tabela padronizada e pron","default_branch":null,"files":null,"tree":[],"storefront":"/r/mpraes","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/mpraes/ingestao_no_limite/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}