{"repo":"SiVeci/JavDB_magnet_Spider","free":true,"listed":false,"github":"https://github.com/SiVeci/JavDB_magnet_Spider","clone":"git clone https://github.com/SiVeci/JavDB_magnet_Spider.git","description":"基于 Python 的跨平台 JavDB 爬虫与数据管理系统。集成 curl_cffi 绕过 Cloudflare 校验；内置 WebUI 与 SQLite，支持断点续传与 Android 后台静默运行；基于权重矩阵与标签动态过滤最优磁力，支持结构化 CSV 导出。","language":"Python","stars":25,"topics":["crawler","data-extraction","javdb","magnet-links","python","python3","scraper","spider"],"license":"MIT","category":"scrapers-browser-automation","readme_excerpt":"JavDB Magnet Spider --- 核心架构概述 本项目是跨平台 JavDB 自动化数据采集引擎，兼容 Docker、PC 桌面端与 Android 移动端。核心业务流覆盖端侧人机验证（CF WAF）穿透、守护进程静默采集、WebUI 远程任务调度与状态同步，支持按目标路由批量抓取并持久化数据。 核心特性 任务调度与实时事件 ： spider engine.py / /api/v1/events 提供内存队列、批量采集调度、SSE 实时进度与任务暂停、恢复、终止控制。 账号直登与登录态恢复 ： auth browser service.py / /api/auth/browser/ 通过 curl cffi 同出口直登并捕获 Cookie，无需浏览器、VNC 或额外容器；Cookie 失效时自动挂起至 waiting cookie 并支持重新授权恢复。 排行榜与标签过滤 ： ranking utils.py / /api/v1/rankings 解析日/周/月榜、热播流与 TOP250； useMovieTags.ts 支持实体标签提取、交并差过滤及过滤结果导出。 Android 端侧运行 ： Chaquopy / WebViewBridge.java 将 FastAPI 后端打包进 Android，并在端侧完成 WAF 质询拦截、Cookie 同步与 Python 引擎鉴权移交。 增量存储与断点恢复 ： db store.py / spider data.db 基于 SQLite 做去重、游标记录、异常恢复与幂等持久化。 数据视图与导出 ： export service.py / routers/storage.py 提供集合与实体视图、候选磁力管理、优先级调整、CSV 导出和磁力链聚合复制。 收藏演员管理 ： actor collection repo.py / /api/v1/actors 支持演员收藏看板、远端快照刷新、历史标签展开及聚合下发抓取任务。 磁力评估与自动降级 ： magnet service.py / magnet checker.py / /api/v1/storage/magnets/auto-select 负责候选磁力评分、Tracker 探测、Active/Weak/Dead 状态回调、失败重试与首选链路自动切换。 Tracker 配置与网络穿透 ： settings repo.py / curl cffi 支持自定义 Tracker 聚合，并通过浏览器 TLS 指纹与 JA3 特征提升 WAF 穿透稳定性。 WebUI 与应用安全 ： spider core/web/src 基于 Vue 3 + Vite 构建响应式控制台； main.py / JAVDB AUTH TOKEN 提供 Bearer 鉴权与导出路径边界保护。 局域网控制入口 ： SpiderService.java / 0.0.0.0:8000 允许 Android 后台服务开放局域网 HTTP 控制信令，实现无头化终端调度。 --- 部署与初始化环境 方案一：Android 端部署与运行 1. 分发包安装 ：从 [Releases] 渠道获取最新 APK 并完成安装。 2. 三阶段运行流程 ： 阶段 1：人机质询接管 ：触发 1. 手动登录过盾 。系统调用 WebViewBridge 容器发起鉴权会话，完成 CF 防护校验与用户认证后，导航至目标采集入口并提取 URI。关闭 WebView 时，后台进程自动捕获并持久化当前会话 Cook","default_branch":null,"files":null,"tree":[],"storefront":"/r/SiVeci","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/SiVeci/JavDB_magnet_Spider/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}