{"repo":"alexcamargos/bacen-ifdata-scraper","free":true,"listed":false,"github":"https://github.com/alexcamargos/bacen-ifdata-scraper","clone":"git clone https://github.com/alexcamargos/bacen-ifdata-scraper.git","description":"Um scraper e processador de dados automatizado para extrair, limpar e organizar relatórios financeiros do portal IF.data do Banco Central do Brasil.","language":"Python","stars":16,"topics":["python","selenium","webscraping","pandas","pandera"],"license":"MIT","category":"scrapers-browser-automation","readme_excerpt":"Bacen IF.data AutoScraper & Data Manager Um sistema ETL ponta a ponta para extrair, transformar e carregar relatórios financeiros do portal IF.data do Banco Central do Brasil. Este projeto automatiza a coleta, o processamento e a carga dos relatórios financeiros disponibilizados pelo Banco Central do Brasil através do portal IF.data. Diante do desafio de extrair dados valiosos de um formato de CSV não padronizado e de um processo de download manual, esta ferramenta utiliza Selenium para a automação da navegação e download, e scripts Python com Polars , DuckDB e dbt para a limpeza, transformação e modelagem dos dados. O objetivo é transformar os dados brutos e inconsistentes do Bacen em um conjunto de dados limpo, organizado e pronto para análise, eliminando a necessidade de trabalho manual e garantindo a precisão das informações através de um pipeline ETL (Extract, Transform, Load) completo. Sumário - Bacen IF.data AutoScraper \\& Data Manager - Tecnologias Utilizadas - Funcionalidades Principais - Demonstração de Execução - Motivação - O Portal IF.Data - O Banco Central do Brasil - Objetivo Geral - Instalação - Uso do Pipeline - Extração (Scraping) - Limpeza (Cleaning) - Transformação (Transforming) - Carga (Loading) - Execução Padrão - Arquitetura do Sistema - Desafios e Aprendizados - Autor - Licença Tecnologias Utilizadas - Linguagem Principal: Python - Gerenciador de Dependências e Build: uv - Automação Web (Scraping): Selenium - Manipulação de Dados: Polars - Banco de Da","default_branch":null,"files":null,"tree":[],"storefront":"/r/alexcamargos","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/alexcamargos/bacen-ifdata-scraper/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}