{"repo":"wutongci/crawl-mcp","free":true,"listed":false,"github":"https://github.com/wutongci/crawl-mcp","clone":"git clone https://github.com/wutongci/crawl-mcp.git","description":"完整的微信文章抓取MCP服务器 - 基于Model Context Protocol (MCP)的智能网页抓取工具，专为Cursor IDE和AI工具设计。","language":"TypeScript","stars":38,"topics":[],"license":"MIT","category":"mcp-servers","readme_excerpt":"Crawl-MCP Server 🚀 真正能下载图片的微信文章抓取工具 - 基于Model Context Protocol (MCP)的智能抓取服务器，专为Cursor IDE和AI工具设计。 🎉 v1.1.0 重大升级 ：从\"指令生成器\"升级为\"真正下载工具\"，支持完整的图片本地化！ ✨ 主要特性 🎯 核心功能 (v1.1.0) - 真正的图片下载 : ✅ 实际下载微信图片，不只是生成指令 - 双模式设计 : 指令模式（学习用）+ 自动模式（效率用） - 完整本地化 : 图片下载 + 路径更新 + 离线可用的Markdown文档 - 智能处理 : 微信域名识别、正确Headers、并发控制、重试机制 🔧 技术特色 (v1.1.0) - 专业图片处理 : - 🎯 微信图片域名识别（mmbiz.qpic.cn） - 🎯 正确的HTTP Headers（Referer, User-Agent） - 🎯 wx fmt参数处理（jpeg, png, gif） - 🎯 并发控制（同时下载3张）+ 重试机制 - MCP协议支持 : 完整的Model Context Protocol实现 - 模块化架构 : ImageDownloader + ArticleProcessor + CrawlTool - TypeScript支持 : 完整的类型定义和编译支持 - Node.js 18+ : 使用内置fetch API，无额外HTTP库依赖 🎮 Cursor IDE集成 - 一键安装 : npx crawl-mcp-server@1.1.0 - 开箱即用 : 无需复杂配置，直接可用 - AI工具支持 : 在Cursor中直接使用AI进行完整抓取 - 工具自动识别 : Agent自动调用相关抓取工具 🚀 快速开始 💻 安装使用 方法1: npx直接运行（推荐） 方法2: 全局安装 方法3: 项目本地安装 💡 提示 : 推荐使用 @1.1.0 版本，确保获得最新的图片下载功能 🔌 Cursor IDE配置 1. 创建MCP配置文件 在项目根目录创建 .cursor/mcp.json : 2. 重启Cursor 重启Cursor让配置生效 3. 开始使用 在Cursor中直接使用AI助手进行网页抓取： 指令模式 （学习推荐）： 自动模式 （效率优先）： 🛠️ MCP工具说明 1. crawl wechat article 单篇文章抓取工具 参数: - url (必需): 微信文章链接 - outputFormat (可选): 输出格式 (markdown/json/html，默认: markdown) - strategy (可选): 抓取策略 (basic/conservative/fast，默认: basic) - includeImages (可选): 是否包含图片 (默认: true) 示例: 2. crawl wechat batch 批量文章抓取工具 参数: - urls (必需): 文章链接数组 - outputFormat (可选): 输出格式 - strategy (可选): 抓取策略 - maxConcurrent (可选): 最大并发数 (默认: 3) 示例: 3. crawl get status 状态查询工具 参数: - sessionId (可选): 会话ID，不提供则返回所有会话状态 ⚙️ 抓取策略说明 策略 速度 稳定性 适用场景 ------ ------ -------- ---------- fast","default_branch":null,"files":null,"tree":[],"storefront":"/r/wutongci","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/wutongci/crawl-mcp/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}