{"repo":"XiaomingX/proxy-pool","free":true,"listed":false,"github":"https://github.com/XiaomingX/proxy-pool","clone":"git clone https://github.com/XiaomingX/proxy-pool.git","description":"Python ProxyPool for web spider.ProxyPool 是一个用于采集、验证和管理代理IP的轻量级工具，旨在帮助用户自动维护高质量的代理池，方便在爬虫、网络请求中灵活使用匿名代理。","language":"Python","stars":134,"topics":["crawler","poc","proxy","rce","spider","tool"],"license":"Apache-2.0","category":"networking-infra","readme_excerpt":"ProxyPool Architect 基于 Python 3.11+、FastAPI 和 Redis 构建的现代化、快速且可靠的代理池。 特性 - 现代化技术栈 : FastAPI, aiohttp, Redis, APScheduler, Loguru。 - 异步 : 从抓取到验证完全异步。 - 权重评分 : 动态基于评分的管理（成功 +10，失败 -20）。 - 易于部署 : 使用 uv 管理。 项目结构 快速开始 1. 安装 Redis (前提条件) macOS Linux (Ubuntu/Debian) 2. 配置 如果需要，在根目录创建 .env 文件以覆盖默认设置： 3. 安装与运行项目 确保已安装 uv (安装 uv)。 API 接口 - GET /get : 获取一个高质量的随机代理。支持 format=text 。 - GET /stats : 查看代理池健康状况和统计数据。 - GET /all : 列出代理池中的所有代理。 构建自 --- 使用 Docker 部署 本项目支持通过 Docker 和 Docker Compose 快速部署。 1. 使用 Docker Compose (推荐) 这是最简单的方法，会自动启动 Redis 和 ProxyPool 容器： 2. 仅构建 ProxyPool 镜像 如果你已有运行中的 Redis： --- 快速使用示例 获取代理并使用 curl 访问百度： 在 Python 脚本中使用： 主要功能 - 自动抓取多来源的代理IP - 实时验证代理IP的可用性和速度 - 支持批量运行和定时更新 - 简洁易用，快速部署 安装与运行 1. 克隆本仓库： 2. 安装依赖（假设您使用 Python 环境，请根据实际需求调整）： 3. 运行代理抓取脚本： 4. 运行代理验证脚本： 如果你对网络安全感兴趣，如下开源代码不容错过： - rust实现的端口扫描器： - https://github.com/XiaomingX/RustProxyHunter - python实现的代理池检测： - https://github.com/XiaomingX/proxy-pool - golang实现的供应链安全，CVE-POC的全自动收集（注无人工审核，可能被投毒，仅限有基础的朋友）： - https://github.com/XiaomingX/data-cve-poc - python实现的检查.git泄漏的工具 - https://github.com/XiaomingX/github-sensitive-hack 参考与灵感来源 本项目部分设计思路和实现参考了以下优秀开源项目： - ProjectDiscovery Katana —— 一款现代化的爬虫和蜘蛛框架，提供强大的爬取与解析功能。 - Spider-rs Spider —— 一个高性能、可扩展的爬虫框架，适合大规模爬取任务。 贡献指南 欢迎提交 issues 和 pull requests，帮助我们不断改进。 许可证 该项目采用 MIT 许可证，详情请查看 LICENSE 文件。 --- 祝您使用愉快！如有任何问题，请联系作者。","default_branch":null,"files":null,"tree":[],"storefront":"/r/XiaomingX","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/XiaomingX/proxy-pool/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}