{"repo":"kiddyuchina/Beanbun","free":true,"listed":false,"github":"https://github.com/kiddyuchina/Beanbun","clone":"git clone https://github.com/kiddyuchina/Beanbun.git","description":"Beanbun 是用 PHP 编写的多进程网络爬虫框架，具有良好的开放性、高可扩展性，基于 Workerman。","language":"PHP","stars":1261,"topics":["php","spider","crawler","beanbun"],"license":"MIT","category":"scrapers-browser-automation","readme_excerpt":"简介 Beanbun 是一个简单可扩展的爬虫框架，支持分布式，支持守护进程模式与普通模式，守护进程模式基于 Workerman，下载器基于 Guzzle。 文档 https://github.com/kiddyuchina/Beanbun/blob/master/docs/chs/README.md 广告 IPWO爬虫代理资源为采集、跨境与测试项目提供支持（免费试用，爬虫使用强烈推荐!!!）学习者务必遵循法律！ IPWO提供的真实住宅 IP，大幅降低被封禁风险。 195 + 国家 / 地区精准定位，轻松应对大型爬虫任务。让爬虫更简单，让数据更安全。戳本信息注册可获得有效保护账号的高匿名ip流量。 官网地址 访问IPWO官网 --- 推荐一下最近发现的一个很好用的全球代理：SmartProxy 专业海外http代理商，有1亿真实住宅IP资源，覆盖全球，高匿稳定提供100%原生住宅IP，支持社交账户、电商平台、网络数据收集等服务。 匿名性很好，伪装度很高，IP限制问题轻松解决。 本人测试用过之后感觉很不错。 现春季价格优惠，动态住宅代理只要65折！ 特点 - 支持守护进程与普通两种模式（守护进程模式只支持 Linux 服务器） - 默认使用 guzzle 进行爬取 - 支持分布式 - 支持内存、Redis 等多种队列方式 - 支持自定义URI过滤 - 支持广度优先和深度优先两种爬取方式 - 遵循 PSR-4 标准 - 爬取网页分为多步，每步均支持自定义动作（如添加代理、修改 user-agent 等） - 灵活的扩展机制，可方便的为框架制作插件：自定义队列、自定义爬取方式... 安装 Beanbun 可以通过 composer 进行安装。 快速开始 创建一个文件 start.php，包含以下内容 在命令行中执行 接下来就可以看到抓取的日志了。 插件 - beanbun-parser 数据抽取插件 https://github.com/kiddyuchina/beanbun-parser 更多详细内容，请查看 文档","default_branch":null,"files":null,"tree":[],"storefront":"/r/kiddyuchina","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/kiddyuchina/Beanbun/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}