{"repo":"ma-pony/deepspider","free":true,"listed":false,"github":"https://github.com/ma-pony/deepspider","clone":"git clone https://github.com/ma-pony/deepspider.git","description":"智能爬虫工程平台 - 基于 DeepAgents + Patchright 的 AI 爬虫 Agent | Intelligent Web Scraping Platform - AI-powered Crawler Agent built on DeepAgents + Patchright","language":"JavaScript","stars":18,"topics":["ai-agent","anti-detect","automation","captcha","crawler","javascript","reverse-engineering","web-scraping","deepagents","langchain"],"license":null,"category":"scrapers-browser-automation","readme_excerpt":"DeepSpider AI 原生的智能爬虫与 JavaScript 逆向工程平台——基于 DSH、Patchright/CDP 与独立语义运行时，从浏览器证据恢复参数生成逻辑，并交付经过真实请求验证的可运行 Solver。 DeepSpider 将 DSH Web、Patchright Chromium、Chrome DevTools Protocol（CDP）和独立 Node 语义运行时组合成一套逆向工作台。浏览器负责采集请求、脚本与运行时事实；最终结果必须由非浏览器运行时重新生成，并通过真实请求验证，而不是停留在页面自动化或一次抓取结果。 English 快速开始 需要 Node.js =24.15.0 。全局安装会下载 Patchright Chromium。 deepspider 同时发布为原生 DSH Bundle。主启动命令会通过 DSH Profile 管理器将它挂载到 web Profile；已有 DSH 环境也可以直接安装： 这是主启动命令。DSH Web 会加载 Spider Preset；新建一个 Session，说明目标 URL、触发路径和目标输出。首版自动语义恢复只支持 Cookie。Header、Query、Body、返回值和导航仍可作为浏览器证据、Output Contract 和手工分析目标，但当前不会由高层工具自动生成 reproduced 结果或 Solver。多个 Session 可以同时运行，各自持有独立浏览器、SessionArtifactStore、Worker 和产物目录。 Ctrl+C 会关闭 DSH Web，并等待所有 Session 的 Patchright Chromium、sdenv Worker 和运行资源退出。 DeepSpider 解决什么问题 - 沿真实请求的 Initiator、调用栈和脚本源码定位参数写入边界。 - 分析动态执行、Webpack、Worker、WebAssembly、状态机和高度混淆代码。 - 用 Hook、Debugger 和属性采集补足浏览器事实，而不是直接修改捕获源码。 - 将 Cookie 生成所需的浏览器依赖描述成可审计的 Runtime Recipe，再由独立 Worker 执行。 - 用真实请求验证自动生成的 Cookie，并导出可以脱离浏览器 Session 重跑的 Solver；其他输出继续使用通用浏览器、Hook、Debugger 和 Code Mode 定位与实现。 唯一完成定义 对于当前自动支持的 Cookie 恢复，只有以下链路全部成立才算完成：Browser Oracle 已保存目标证据；Output Contract 与 Runtime Recipe 已绑定当前 Session；独立 sdenv Worker 用全新状态生成 Cookie；CycleTLS 仅使用这些生成值完成真实请求；验证等级为 reproduced ；导出的 Solver 能在浏览器关闭后再次得到同一验收结果。 浏览器结果、页面自动化脚本、捕获 Cookie、单次 Hook 日志或仅能回放的请求都不是完成证据。 输出驱动的语义恢复 阶段 作用 边界 --- --- --- Browser Oracle 用 Patchright Chromium + CDP 观察真实页面、请求、脚本和运行时事实 浏览器最终值只形成 observed 证据 Session Artifact Graph 关联 Document、Script、动态源码、请求、响应及后续恢复产物 原始内容","default_branch":null,"files":null,"tree":[],"storefront":"/r/ma-pony","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/ma-pony/deepspider/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}