{"repo":"HarimxChoi/anti_bot_scraper","free":true,"listed":false,"github":"https://github.com/HarimxChoi/anti_bot_scraper","clone":"git clone https://github.com/HarimxChoi/anti_bot_scraper.git","description":"✨Open-source Anti-Bot Scraper(Naver-Land)✨","language":"Python","stars":70,"topics":["crawling","playwright","scraper"],"license":"MIT","category":"scrapers-browser-automation","readme_excerpt":"Anti-Bot-Scraper 🏘️ English 한국어 Advanced web scraper for anti-bot system applied site with advanced Anti-bot bypassing bot detection. Designed for Korean property market research and investment opportunities. English documentation → --- 🎬 데모 --- 📋 목차 - 주요 기능 - 설치 방법 - 사용법 - 설정 상세 설명 - 출력 결과 - 기술 상세 - 갭투자 분석 - 주의사항 - English Documentation --- 🎯 주요 기능 🛡️ Anti-Bot 우회 기술 이 스크래퍼가 네이버의 봇 탐지를 우회하는 핵심 기술들: - 사람처럼 움직이는 맵 네비게이션 : 랜덤 줌 레벨, 자연스러운 드래그 동작 - 마우스 이동 시뮬레이션 : 20단계로 부드럽게 이동하여 봇 티 안 남 - 그리드 스윕 알고리즘 : 체계적이지만 패턴이 명확하지 않은 수집 방식 - 리소스 차단 최적화 : 이미지/폰트 차단으로 빠른 로딩 + 실제 브라우저처럼 보임 최근 네이버 업데이트로 대부분의 스크래퍼가 차단되어 네이버 부동산 스크래퍼를 교육 목적으로 개발하였습니다. 📊 데이터 수집 - 아파트(APT) 및 빌라/연립/다세대(VL) 매물 정보 - 중개사 상호, 이름, 연락처 (전화 2개까지) - 과거 전세가 분석 (최근 몇 년간 최고가/최저가) - 매물 상세 정보 (층수, 면적, 방향, 특징) - 실시간 등록 매물 💰 갭투자 분석 핵심 기능 : 기전세금이 매매가보다 높거나 비슷한 매물 자동 필터링 ⚡ 고성능 처리 - 12개 동시 워커 : 병렬로 매물 상세 정보 수집 - 1회 실행당 10,000+ 매물 수집 가능 - 지리적 그리드 기반 수집 : 누락 없이 체계적으로 수집 - 비동기 처리 : Python asyncio 기반 고속 처리 --- 🚀 설치 방법 1. 필수 요구사항 - Python 3.9 이상 - 안정적인 인터넷 연결 - 최소 2GB RAM (12 워커 사용 시) 2. 의존성 설치 3. 코드 다운로드 --- 💻 사용법 기본 사용 실행하면 다음 정보를 입력하라고 나옵니다: 좌표 찾는 법 : 1. 네이버 지도 접속 2. 원하는 지역 검색 3. 마우스 우클릭 → \"이 장소의 URL 복사\" 4. URL에서 ?lng=126.9888&lat=37.5608 부분 확인 실행 예시 강남역 주변 수집 : 여의도 주변 수집 : 실행 과정 실행 시간: 줌 레벨과 지역에 따라 1분 7분 --- ⚙️ 설정 상세 설명 코드 상단의 설정값들을 수정하여 동작을 커스터마이징할 수 있습니다. 지리적 범위 설정 설명 : 한국 영토 범위를 정의합니다. 스크래퍼가 이 범위를 벗어나지 않도록 제한합니다. - 제주도 포함: 33.0 (최남단) - 강원도 북부: 39.5 (최북단) - 서해안: 124.0 (최서단) - 동해안: 132.1 (최동단) 수정 필요 : 없음 (한국 전역 포함) --- 수집 규모 설정","default_branch":null,"files":null,"tree":[],"storefront":"/r/HarimxChoi","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/HarimxChoi/anti_bot_scraper/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}