{"repo":"taskPyroer/taskpyro","free":true,"listed":false,"github":"https://github.com/taskPyroer/taskpyro","clone":"git clone https://github.com/taskPyroer/taskpyro.git","description":"爬虫管理系统,爬虫管理平台,分布式爬虫管理平台, 流程编排,openclaw龙虾,AI助手,可视化操作,完整监控,灵活的Python环境管理,,环境隔离,资源占用小,支持 Scrapy 等主流爬虫框架,支持 Selenium、Playwright、DrissionPage 等浏览器自动化工具,支持node环境下的js逆向代码,支持windows分布式调度","language":"Shell","stars":206,"topics":["drissionpage","js","playwright","python","react","selenium"],"license":"MulanPSL-2.0","category":"scrapers-browser-automation","readme_excerpt":"TaskPyro 是什么？ TaskPyro 是一个轻量级、功能丰富、稳定的 Python 任务调度平台，专注于提供简单易用的任务管理、爬虫调度解决方案和 AI 智能助手功能。它能够帮助您轻松管理和调度 Python 任务，特别适合需要定时执行的爬虫任务、数据处理任务，以及通过 AI 智能交互进行系统管理的场景。专业版独有\"流程编排\"功能，实现 Python 脚本零 API 封装化，让您的 Python 脚本秒变 HTTP 接口，无缝接入 n8n/Dify/Coze 等低代码生态，打造\"脚本即服务\"的轻量级 Serverless 函数计算平台\"+\"低代码集成网关。 官网文档：https://docs.taskpyro.cn/ 特别感谢以下赞助商的支持（排序不分先后）： 开发背景 在当今数字化时代，自动化数据采集、处理和 AI 智能管理变得越来越重要。然而，现有的任务调度解决方案要么过于复杂，要么缺乏针对 Python 环境的特定优化，更缺乏智能化的交互方式。特别是许多用户的代码需要在 Windows 环境下才能更好地运行（如使用特定的 Windows API、COM 组件或依赖 Windows 特有的软件或一些浏览器自动化爬虫代码），但却缺乏合适的系统来进行统一的管理、调度、监控和智能交互。TaskPyro 正是为了解决这些痛点而诞生的，旨在为 Python 开发者提供一个简单、高效、可靠的跨平台任务调度平台，同时集成 AI 智能助手，通过自然语言交互实现智能化管理。 为什么选择TaskPyro？ - 🏢 大型企业 ：需要跨机器、跨地域的分布式任务调度管理 - 🔍 数据工程师 ：需要在多台服务器上执行大规模数据采集和处理任务 - 🕷️ 爬虫开发者 ：需要管理分布在不同节点的爬虫任务集群 - 📊 数据分析师 ：需要在多个计算节点上并行执行数据分析任务 - 🛠️ 系统运维人员 ：需要统一管理多台服务器的定时维护任务 - 👥 开发团队 ：需要多用户协作和权限管理的任务调度平台 - 🌐 混合环境 ：需要同时管理 Windows 和 Linux 服务器的任务调度 - 🤖 AI 爱好者 ：希望通过自然语言交互智能管理任务的开发者 - 💬 即时通讯用户 ：想通过企业微信、钉钉、飞书随时监控系统状态 - 🔄 集成开发者 ：需要将 Python 能力快速接入 n8n/Dify/Coze 等低代码平台 使用流程 - 部署主控节点（Docker） - 配置分布式工作节点（Windows/Linux）（可选，不配置也可以直接本机部署任务） - 配置Python环境和版本 - 创建项目并分发到工作节点 - 配置用户权限和访问控制 - 配置消息通知和监控告警 - 创建本机/分布式定时任务 核心功能 TaskPyro 专业版提供了一系列企业级功能，帮助您构建高可用的分布式任务调度系统： - 🌐 分布式架构 - 支持 Windows 和 Linux 混合节点部署 - 无需 Docker 环境的轻量级工作节点 - 通过 Docker 一键安装主控节点统一管理所有分布式节点 - 跨平台任务调度和执行 - 优化分布式架构，提升跨平台任务调度能力 - 📊 企业级监控 - 系统概览：实时展示集群整体状态 - 性能指标：CPU、内存、磁盘使用率监控 - 任务统计：成功率、执行时间、错误分析 - 工作节点：节点状态、资源使用、连接状态 - 指标图表：历史趋势分析和性能报表 - 📅 任务调度 - 支持 Cron 表达式定时调度 - 自主选择节点和任务分发 - 支持任务","default_branch":null,"files":null,"tree":[],"storefront":"/r/taskPyroer","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/taskPyroer/taskpyro/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}