{"repo":"elky84/web-crawler","free":true,"listed":false,"github":"https://github.com/elky84/web-crawler","clone":"git clone https://github.com/elky84/web-crawler.git","description":"web-crawling (with AngleSharp)","language":"C#","stars":12,"topics":["crawler","dotnet","asp-net-core","csharp","anglesharp"],"license":"GPL-3.0","category":"scrapers-browser-automation","readme_excerpt":"web-crawler .NET 9, ASP NET CORE 를 기반으로 작성되었습니다. 크롤링 대상은 Source로 등록되어야 합니다. 예시 Source로 등록된 게시판들은 테스트를 거쳐 크롤링 됨을 확인한 사이트와 게시판 들이지만, 규격이 달라져 추가적인 예외처리가 필요할 수 있습니다. 알림은 Discord, Slack을 지원합니다. Notification 데이터를, Source와 매핑 시켜서 해당 Source에 새 데이터가 갱신되면 알림이 날라오게 되어있습니다. DB로는 mongoDB를 사용합니다. API는 swagger를 통해 확인하셔도 좋지만, http 폴더 안에 예제가 포함되어있습니다. 사용법 MongoDB 설정 (Server 프로젝트) MONGODB CONNECTION 환경 변수에 MONGODB 커넥션 문자열 입력 선택적 MongoDB 데이터베이스 기본 값은 rss-feed-crawler MONGODB DATABASE 환경 변수 사용시 override 환경 변수 미사용시, appSettings.[환경].json 파일에 있는 값을 사용합니다. (환경에 맞는 파일 미제공시, appSettings.json 의 값을 그대로 이용) Crawling 처리를 하는 스레드에 제한 기능 THREAD LIMIT 환경 변수에 제한 스레드 수를 입력 현재 지원중인 크롤링 대상 (사이트) Clien FmKorea 웃긴대학 (HumorUniv) Itcm 인벤 뉴스 (InvenNews) Ppomppu Ruliweb Slrclub 오유 (TodayHumor) DC Inside 각종 API 예시 VS Code의 RestClient Plugin의 .http 파일용으로 작성 .http 파일 경로 해당 경로 아래에 .vscode 폴더에 settings.json.sample을 복사해, settings.json으로 변경하면, VSCode로 해당 기능 오픈시 환경에 맞는 URI로 호출 가능하게 됨 Swagger로 확인해도 무방함 Notification.http 예시 Discord Alert Sample","default_branch":null,"files":null,"tree":[],"storefront":"/r/elky84","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/elky84/web-crawler/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}