{"repo":"jmfeck/cnpj-data-extractor","free":true,"listed":false,"github":"https://github.com/jmfeck/cnpj-data-extractor","clone":"git clone https://github.com/jmfeck/cnpj-data-extractor.git","description":"This project automates the extraction, transformation, and processing of CNPJ (Brazilian tax ID) data from publicly available datasets. It simplifies downloading, unzipping, renaming, and processing large CNPJ datasets for analysis. Designed to help developers, analysts, and companies efficiently work with Brazilian business registration data.","language":"Python","stars":12,"topics":["cnpj","cnpj-numbers","data-engineering","tax-id","brazil","receita-federal"],"license":"MIT","category":"data-pipelines","readme_excerpt":"CNPJ Data Extractor 📘 English version available here → README.en.md Video Tutorial Para uma apresentação em vídeo deste projeto, acesse: CNPJ Data Extractor - Video Tutorial Visão Geral do Projeto O CNPJ Data Extractor é um projeto de código aberto que automatiza o processo de download, extração e transformação de conjuntos de dados do CNPJ (Cadastro Nacional da Pessoa Jurídica) a partir de fontes públicas disponíveis. O projeto é dividido em duas partes: 1. Extração de Dados : Baixar e extrair automaticamente os conjuntos de dados do CNPJ particionados. 2. Unificação de Dados : Combinar as tabelas particionadas em conjuntos de dados consolidados para processamento ou análise posterior. Funcionalidades - Download Automático de Dados : Download multithreaded dos conjuntos de dados com verificação de tamanho dos arquivos remotos, evitando downloads redundantes. - Processamento Eficiente de Dados : Lida com grandes volumes de dados particionados e os consolida em uma única saída. - Formatos de Exportação Flexíveis : Suporte a CSV e Parquet. - Configuração Modular : Caminhos, logs e opções de exportação são facilmente ajustáveis por meio de um arquivo de configuração ( config.yaml ). Estrutura do Projeto Iniciando o Projeto Pré-requisitos - Python 3.12+ Clone o repositório, crie um ambiente virtual em Python e instale as dependências Configuração Antes de executar os scripts, certifique-se de que o arquivo config.yaml esteja configurado corretamente. Esse arquivo contém a URL ba","default_branch":null,"files":null,"tree":[],"storefront":"/r/jmfeck","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/jmfeck/cnpj-data-extractor/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}