{"repo":"Boris-code/feapder","free":true,"listed":false,"github":"https://github.com/Boris-code/feapder","clone":"git clone https://github.com/Boris-code/feapder.git","description":"🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单，功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度","language":"Python","stars":3734,"topics":["scrapy","feapder","spider","crawler","python","feaplat"],"license":null,"category":"scrapers-browser-automation","readme_excerpt":"FEAPDER 简介 1. feapder是一款上手简单，功能强大的Python爬虫框架，内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。 2. 支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。 3. 更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度 读音: [ˈfiːpdə] 文档地址 - 官方文档：https://feapder.com - github：https://github.com/Boris-code/feapder - 更新日志：https://github.com/Boris-code/feapder/releases - 爬虫管理系统：http://feapder.com/#/feapder platform/feaplat 环境要求： - Python 3.6.0+ - Works on Linux, Windows, macOS 安装 From PyPi: 精简版 浏览器渲染版： 完整版： 三个版本区别： 1. 精简版：不支持浏览器渲染、不支持基于内存去重、不支持入库mongo 2. 浏览器渲染版：不支持基于内存去重、不支持入库mongo 3. 完整版：支持所有功能 完整版可能会安装出错，若安装出错，请参考安装问题 小试一下 创建爬虫 创建后的爬虫代码如下： 直接运行，打印如下： 代码解释如下： 1. start requests： 生产任务 2. parse： 解析数据 感谢以下代理赞助商 LokiProxy 支持免费测试，住宅代理低至 $0.48/GB，移动代理低至 $0.91/GB，不限量住宅代理仅 $12/小时即可体验 ⚡， 支持ASN精准定位及无限并发会话，高稳定、高性价比 链接： https://www.lokiproxy.com 参与贡献 贡献之前请先阅读 贡献指南 感谢所有做过贡献的人! 爬虫工具推荐 1. 爬虫在线工具库：http://www.spidertools.cn 2. 爬虫管理系统：http://feapder.com/#/feapder platform/feaplat 3. 验证码识别库：https://github.com/sml2h3/ddddocr 微信赞赏 如果您觉得这个项目帮助到了您，您可以帮作者买一杯咖啡表示鼓励 🍹 也可和作者交个朋友，解决您在使用过程中遇到的问题 学习交流 知识星球：17321694 作者微信： boris tm QQ群号：521494615 加好友备注：feapder","default_branch":null,"files":null,"tree":[],"storefront":"/r/Boris-code","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/Boris-code/feapder/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}