{"repo":"ziggy-data/Brazilian-Real-Estate-Intelligence","free":true,"listed":false,"github":"https://github.com/ziggy-data/Brazilian-Real-Estate-Intelligence","clone":"git clone https://github.com/ziggy-data/Brazilian-Real-Estate-Intelligence.git","description":"Faz web scraping no site Zap-Imoveis, ETL, RegEx, análise de dados, dashboard e modelo preditivo.","language":"Python","stars":38,"topics":["scikit-learn","machine-learning","pandas","beautifulsoup","seaborn","linear-regression","powerbi","etl","spark","regex"],"license":null,"category":"data-pipelines","readme_excerpt":"scrapping Zap Imoveis Neste projeto estou fazendo web scrapping de apartamentos em todo o Brasil no site Zap-Imoveis, ETL, análise de dados e dashboard. O notebook \"Zap-imoveis\" é responsável pelo scrapping de dados. Neste caso ele está especializado em fazer 4 diferentes dados, sendo: Uma amostra de dados geral de casas no Brasil Uma amostra de dados geral de apartamentos no Brasil Uma amostra de dados de casas no Rio de Janeiro Uma amostra de dados geral de imóveis no Brasil Explicação dos notebooks: Notebook: Zap-imoveis Esse notebook possui 2 tipos de tratamento de dados, sendo: Realiza scrapping de 400 páginas (aceita alterações), possui tratamento de exceções com erro de url ou site inacessível, utilizando 3 tipos de links diferentes com diferentes facilidades de acesso e uma extração de informação de parte da descrição com Regular Expression. Todos os scrapy possuem tratamentos de RegEx diferentes seguindo a demanda de cada dataset. As duas primeiras amostras de dados não possui distinção entre uma amostra máxima ou mínima de especificações. A penultima possui um tratamento com a distinção dos imóveis e também uma redundância se não ocorrer uma distinção . Notebook: regressao-linear Neste notebook estou aplicando tecnicas de regressão linear com o dataset: dataset-casas-rj.csv O modelo apresentou um acerto de 43% em relação ao preços dos imóveis considerando todas as variáveis numéricas presentes nesse dataset. É possivel fazer melhorias futuras em relação a taxa de ac","default_branch":null,"files":null,"tree":[],"storefront":"/r/ziggy-data","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/ziggy-data/Brazilian-Real-Estate-Intelligence/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}