{"repo":"Bruno-Furtado/cloud-cnpj","free":true,"listed":false,"github":"https://github.com/Bruno-Furtado/cloud-cnpj","clone":"git clone https://github.com/Bruno-Furtado/cloud-cnpj.git","description":"Ingestão, preparação e disponibilização gratuita de dados de CNPJs de empresas do Brasil no Google Cloud.","language":"JavaScript","stars":30,"topics":["bigquery-public-datasets","cloud-storage","data-pipeline","empresas-brasileiras","etl","google-cloud-platform","javascript","nodejs","public-data","sql"],"license":"MIT","category":"data-pipelines","readme_excerpt":"🇺🇸 English version Acesso gratuito aos dados de empresas do Brasil Com o Cloud CNPJ , você tem acesso aos dados das empresas brasileiras, obtidos do site oficial da Receita Federal e disponibilizados gratuitamente. Neste momento, estamos fornecendo os dados de forma gratuita por meio de uma tabela no Google BigQuery. Pretendemos, em breve (buscando alternativas de baixíssimo custo), disponibilizar uma API. 🩺 Como funciona Toda a infraestrutura para obtenção, tratamento e distribuição dos dados está hospedada no Google Cloud Platform. As etapas citadas abaixo são orquestradas por um fluxo no Google Workflow. 1. Ingestão Os arquivos são obtidos do repositório oficial da Receita Federal e armazenados em um bucket privado no Google Cloud Storage por meio de um job criado no Google Cloud Run. Para obter mais detalhes sobre a obtenção dos arquivos, acesse ingestion . 2. Preparação Fazendo uso do BigQuery Data Transfers, esses arquivos são migrados e se transformam em registros brutos dentro de tabelas do BigQuery, tornando-se posteriormente registros tratados em outras tabelas a partir de execuções de queries agendadas. A etapa de transformação dos dados é detalhada em prepare . 3. Uso Essas tabelas com dados tratados são disponibilizadas ao público e podem ser consultadas por qualquer usuário com conta no Google Cloud. Mais detalhes sobre como consumir os dados estão disponíveis em use . 🚴‍♂️ Como utilizar 1. Acesse o Google Cloud e clique em Comece a usar gratuitamente . 2. C","default_branch":null,"files":null,"tree":[],"storefront":"/r/Bruno-Furtado","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/Bruno-Furtado/cloud-cnpj/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}