{"repo":"overflow0verture/proxy_harvester","free":true,"listed":false,"github":"https://github.com/overflow0verture/proxy_harvester","clone":"git clone https://github.com/overflow0verture/proxy_harvester.git","description":"Modular proxy pool with pluggable fetchers, proxy validation, and rotating proxy API gateway","language":"Go","stars":14,"topics":["proxy-server","proxypool","yaegi","crawler","spyder","rad-team"],"license":"MIT","category":"scrapers-browser-automation","readme_excerpt":"🚀 Proxy Harvester - 智能代理收集器 多源、智能的代理服务器收集与管理平台 🚀 快速开始 📖 文档 🔌 插件 🌟 API --- 为开发者、安全工作者提供多源、高效的代理池解决方案 📋 目录 - 🎯 项目简介 - ✨ 功能特性 - 🚀 快速开始 - 🔌 插件系统 - 🌟 API 接口 - 🤝 贡献指南 - 📄 许可证 - 🚀 参考项目 - ⚠️ 免责声明 🎯 项目简介 Proxy Harvester 是一个用 Go 语言开发的高性能代理服务器收集与管理平台。它支持从多个数据源自动收集 HTTP、HTTPS、SOCKS5 代理，并提供 API 接口供应用程序使用。 🎯 适用场景 - Web 爬虫 - 为爬虫提供大量可用代理IP - 数据采集 - 轮换ip，提高采集成功率 - API 集成 - 为第三方应用提供代理服务 ✨ 功能特性 🔥 核心功能 功能 描述 状态 ------ ------ ------ 多源收集 支持网络空间引擎、免费ip网站等多个数据源 ✅ 智能验证 自动检测代理可用性 ✅ 类型支持 HTTP/HTTPS/SOCKS5 ✅ IP轮换 对检验可用的ip进行轮换代理 ✅ API 标准化的API接口，支持多种查询方式 ✅ 插件架构 基于yaegi的动态插件系统，易于扩展（go源码插件方便更改） ✅ 定时任务 Cron表达式支持，自动定时收集 ✅ 🚀 快速开始 📦 安装部署 方式一：源码编译 方式二：预编译二进制 https://github.com/overflow0verture/proxy harvester/releases/tag/v1.0.0 ⚡ 快速体验 configs目录下存放项目配置，在使用前请阅读基础配置 plugin目录下存放着插件，网络空间引擎需要对应的api-key，启动服务后，轮换代理端口默认10086，web api接口默认10087 修改完config.toml直接运行即可 🔌 插件系统 🎯 插件架构 Proxy Harvester 采用基于 yaegi 的动态插件系统，支持运行时加载和热更新，使用时将需要的插件下载后，直接加入plugins路径即可。 🧩 插件介绍 网络空间引擎 名称 插件路径 网站 备注 ------ ------ ------- ------ hunter hunter requests.go 地址 每日/月免费积分 fofa fofa requests.go 地址 可以修改fofa请求地址 daydaymap daydaymap requests.go 地址 每日/月免费积分 quake quake requests.go 地址 shodan shodan requests.go 地址 zoomeye zoomeye requests.go 地址 效率较低 免费代理网站 名称 插件路径 网站 备注 ------ ------ ------- ------ ip3366 ip3366 crawler.go 地址 可用ip少 scdn scdn requests.go 地址 可用ip多 付费代理API调用（todo） 📝 开发新插件 👉 查看 插件文档 请点击：PLUGIN README.md 🌟 API 接口 👉 查看 API 文档 请点击：API README.md 🖼️ 运行截图 📁 数据持久化 本项目目前提供简单的文件储存和redis存储，短期使用可以使用文件存储，长期使用建议使用redis存储 🤝 贡献","default_branch":null,"files":null,"tree":[],"storefront":"/r/overflow0verture","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/overflow0verture/proxy_harvester/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}