{"repo":"mouday/spider-admin-pro","free":true,"listed":false,"github":"https://github.com/mouday/spider-admin-pro","clone":"git clone https://github.com/mouday/spider-admin-pro.git","description":"spider-admin-pro 一个集爬虫Scrapy+Scrapyd爬虫项目查看 和 爬虫任务定时调度的可视化管理工具，SpiderAdmin的升级版","language":"Python","stars":614,"topics":["scrapy","python3","spider","scrapyd"],"license":"MIT","category":"scrapers-browser-automation","readme_excerpt":"Spider Admin Pro 简介 Spider Admin Pro 是Spider Admin的升级版，一个可视化的Scrapy爬虫管理平台，依赖于Scrapyd - Github: https://github.com/mouday/spider-admin-pro - Gitee: https://gitee.com/mouday/spider-admin-pro - Pypi: https://pypi.org/project/spider-admin-pro - Docker: https://hub.docker.com/r/mouday/spider-admin-pro - releases: https://github.com/mouday/spider-admin-pro/releases 广告 爬虫总遇 403、IP 秒封？IPWO爬虫住宅代理 9000 万真实住宅 IP，黑名单率低于 3%，模拟真人访问，成功率 99%+ IPWO爬虫代理资源为采集、跨境与测试项目提供支持(免费试用，流量不过期，爬虫使用保护账号不封号)学习者务必遵循法律！ IPWO访问入口 v3.0 和 v2.0 注意：v3.0 和 v2.0版本不兼容，无法平滑迁移 - v3.0 版本支持多Scrapyd - v2.0 版本仅支持一个Scrapyd - Spider Admin Pro V2版本文档看这里 - Spider Admin Pro V1版本文档看这里 安装启动 本项目基于Python3.7.0 开发，所以推荐使用Python3.7.0及其以上版本 运行项目前，请先确保scrapyd服务已经启动 方式一： 方式二： 安装 scrapy 全家桶 [可选] 方式三： 配置参数 自定义配置 在运行目录下新建 config.yml 文件，也就是执行启动命令的目录，运行时会自动读取该配置文件 例如 强烈建议：修改密码和秘钥项 eg: 使用扩展 收集运行日志：scrapy-util 可以帮助你收集到程序运行的统计数据 技术栈： 1、前端技术： 功能 第三方库及文档 - - 基本框架 vue2.js 仪表盘图表 echarts 网络请求 axios 界面样式 Element-UI 2、后端技术 功能 第三方库及文档 - - 接口服务 Flask 任务调度 apscheduler scrapyd接口 scrapyd-api 网络请求 session-request ORM peewee jwt jwt 系统信息 psutil 项目结构 【公开仓库】基于Flask的后端项目spider-admin-pro: https://github.com/mouday/spider-admin-pro 【私有仓库】基于Vue的前端项目spider-admin-pro-web: 获取方式往下看 备注：前端Vue项目，可入QQ群发送github用户名获取权限 获取前端源码的几个方式： - 方式一：提供github的用户名 - 方式二：先赞助项目，再提供github的用户名 - 方式三：关注微信公众号： 回复： spider-admin-web ，获取完整的前端代码 回复： spider-admin ，可加入Python技术交流群，和更多开发者学习交流遇到的问题 spider-admin-pro项目主要目录结构： 经验总结 Scrapyd 不能直接暴露在外网 1. 其他人通过deploy部署可以将代码部署到你的机器上，如果是root用户运行，还会在你机器上做其他的事情 2. ","default_branch":null,"files":null,"tree":[],"storefront":"/r/mouday","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/mouday/spider-admin-pro/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}