{"repo":"wuchunfu/IpProxyPool","free":true,"listed":false,"github":"https://github.com/wuchunfu/IpProxyPool","clone":"git clone https://github.com/wuchunfu/IpProxyPool.git","description":"Golang 实现的 IP 代理池, 涉及到的技术点: go gorm proxy proxypool ip crawler 爬虫 mysql viper cobra","language":"Go","stars":151,"topics":["go","proxypool","proxy","proxy-server","ip","crawler"],"license":"Apache-2.0","category":"scrapers-browser-automation","readme_excerpt":"Golang实现的IP代理池 采集免费的代理资源为爬虫提供有效的IP代理 系统功能 - 自动爬取互联网上公开的免费代理IP - 周期性验证代理IP有效性 - 提供http接口获取可用IP 系统架构 代理池设计 代理池由四部分组成： - Fetcher： 代理获取接口，目前有几个 免费代理源 ，每调用一次就会抓取这些网站最新的代理放入Channel，可自行 添加额外的代理获取接口 - Channel： 临时存放采集来的代理，通过访问稳定的网站去验证代理的有效性，有效则存入数据库 - Schedule： 用定时的计划任务去检测数据库中代理IP的可用性，删除不可用的代理。同时也会主动通过 Fetcher 去获取最新代理 - Api： 代理池的访问接口，提供 get 接口输出 JSON ，方便爬虫直接使用 目前支持的代理 代理获取接口，目前抓取这几个网站的 免费代理 ，当然也支持自己扩展代理接口； - 89免费代理 - 66免费代理网 - 云代理 - 快代理 - Proxylist+ 安装及使用 源码安装 Docker 安装 Docker 请自行安装，安装完 docker 后查看是否安装 docker-compose 执行这个命令查看是否成功安装 docker-compose , docker-compose -version 访问 计划任务 - [ ] 西拉免费代理IP - [ ] 站大爷 诚挚的感谢 - 首先感谢您的使用，如果觉得程序还不错也能帮助您解决实际问题，不妨添个赞以鼓励本人继续努力，谢谢！ - 如果您对程序有任何建议和意见，也欢迎提交issue。 - 当然，如果您愿意贡献代码和我一起改进本程序，那再好不过了。 注意 本代码库仅用于学习研究使用，请勿用于非法用途，本人不承担由此带来的任何法律问题。 交流 欢迎关注 全栈公园 ，有什么问题可以在 全栈公园 公众号输入 开源交流 进行咨询","default_branch":null,"files":null,"tree":[],"storefront":"/r/wuchunfu","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/wuchunfu/IpProxyPool/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}