{"repo":"fengzhizi715/NetDiscovery","free":true,"listed":false,"github":"https://github.com/fengzhizi715/NetDiscovery","clone":"git clone https://github.com/fengzhizi715/NetDiscovery.git","description":"NetDiscovery 是一款基于 Vert.x、RxJava 2 等框架实现的通用爬虫框架/中间件。","language":"Java","stars":646,"topics":["rxjava2","vertx3","crawler","spider","selenium","htmlunit","kotlin","coroutines","dsl","redis"],"license":"Apache-2.0","category":"scrapers-browser-automation","readme_excerpt":"NetDiscovery IPWO爬虫代理资源为采集、跨境与测试项目提供支持(免费试用，流量不过期，爬虫使用保护账号不封号提升爬虫成功率)学习者务必遵循法律！ 顶级真实住宅 IP源于195 + 国家 / 地区精准定位，大幅降低被封禁风险，试用好用再来个优惠折扣码\"feng\"。 动态ip不过期，不限最低消耗 静态ip福利价格9.9 官网地址 访问IPWO官网 --- 功能特点： 轻量级爬虫 模块化设计，便于扩展：支持多种消息队列(Disruptor、Redis、Kafka、RabitMQ、RocketMQ)、多种网络框架(Http Client、Okhttp3、Selenium等)，也支持自己实现。 支持分布式 多线程、异步化：底层使用 RxJava 2 的多线程机制 支持线程池隔离：爬虫的 Parser、Pipeline 过程可以放在独立的线程池中进行处理 支持 Request 动态添加到正在运行爬虫的 Queue 中 支持 Kotlin 协程 支持 JS 渲染 支持 Request 自定义 header 信息 支持 debug 功能：在调试时 Request 可以打开 debug 的开关，使用 Local Cache(RxCache) 存储请求的结果，从而避免多次请求同一个网页。 支持失败重试的机制 多纬度控制爬取速度（Pipeline、Request、Download、Domain）等等 支持代理池、User Agent 池、Cookies 池 支持爬虫的深度抓取：能够在 Pipeline 中发起深度抓取 支持 URL 去重：使用布隆过滤器 支持 Spider 的监控、SpiderEngine 的监控 (基于Etcd、Zookeeper) agent 模块能够对当前服务器的 CPU 和内存进行实时监控 SpiderEngine 整合 Quartz SpiderEngine 提供 http、RPC 接口 最新版本 模块名 最新版本 --- :-------------: netdiscovery-core-core netdiscovery-core-engine netdiscovery-core-engine-monitor netdiscovery-downloader-htmlunit netdiscovery-downloader-httpclient netdiscovery-downloader-okhttp netdiscovery-downloader-selenium netdiscovery-pipeline-couchbase netdiscovery-pipeline-elasticsearch netdiscovery-pipeline-mongo netdiscovery-pipeline-redis netdiscovery-queue-kafka netdiscovery-queue-rabbitmq netdiscovery-queue-redis netdiscovery-queue-rocketmq netdiscovery-kotlin-coroutines netdiscovery-kotlin-dsl NetDiscovery 是基于 Vert.x、RxJava 2 等框架实现的爬虫框架。目前仍在不断地完善中，期望能成为通用的爬虫框架。 对于 Java 工程，如果使用 gradle 构建，由于默认没有使用 jcenter()，需要在相应 module 的 build.gradle 中配置 Gradl","default_branch":null,"files":null,"tree":[],"storefront":"/r/fengzhizi715","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/fengzhizi715/NetDiscovery/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}