{"repo":"DerpZhenjun/RxSentinel","free":true,"listed":false,"github":"https://github.com/DerpZhenjun/RxSentinel","clone":"git clone https://github.com/DerpZhenjun/RxSentinel.git","description":"End-to-end pipeline: multi-platform crawl → rule-based filtering → LLM structuring → MongoDB with dedup; FastAPI, Streamlit orchestration, Vue dashboard.处方类灰产情报全链路：多平台采集 / 规则清洗 / LLM 结构化 → MongoDB 去重；FastAPI 接口、Streamlit 调度、Vue 数据大屏。","language":"Python","stars":24,"topics":["dashboard","deepseek","media-crawler","mongodb","ollama"],"license":null,"category":"dashboards-admin","readme_excerpt":"🔭 RxSentinel — 处方类灰产情报管线 # RxSentinel — 处方类灰产情报管线 English / 中文 在线演示： https://derpzhenjun.github.io/RxSentinel/ 感谢 MediaCrawler 开源项目： RxSentinel 内置的 MediaCrawler/ 爬虫子模块来源于此。 请务必同时阅读并遵守该仓库自带的免责声明与用户义务 ，使用前以原项目文档为准。 --- 📖 项目简介 RxSentinel 是一套完整的 处方类灰产情报管线系统 。它从多平台爬虫采集或手动导入的社媒评论文本出发，经过规则过滤和 大模型结构化处理 后写入 MongoDB，再用 Vue 数据大屏 展示，可通过 Streamlit 调度 UI 配参并实时监控各阶段执行。 🎯 核心价值 - 全链路自动化 ：从数据采集到结构化存储的完整管线，一键执行 - 智能去重与更新 ：基于指纹识别，同源数据只更新不重复 - 多端实时展示 ：API、Web UI、大屏三端同步，支持实时监控 --- 🎬 项目演示 系统架构 数据大屏 大屏实时汇总多平台线索、AI 研判与高险实体排行，用于处方类灰产监控指挥。 在线体验： https://derpzhenjun.github.io/RxSentinel/（静态演示，数据来自 extracted channels.jsonl ） --- 🔄 核心流程（四阶段管线） 📍 各阶段详解 阶段 模块 功能说明 ------ ------ ---------- 1️⃣ 采集 MediaCrawler/ 多平台爬虫采集社媒评论、用户信息；或通过 API 手动导入数据 2️⃣ 清洗 ProcessCdata/data filter.py 基于词库、规则过滤无效数据，去重，格式规范化 3️⃣ AI处理 deepseek processor.py / ollama processor.py 使用 DeepSeek/Ollama 对文本进行结构化提取，生成标准字段 4️⃣ 存储展示 pipeline runner.py + API + Vue 通过 fingerprint 去重写入 MongoDB，HTTP API 查询，大屏可视化 --- ✨ 能力一览 能力域 说明 -------- ------ 数据采集 支持多平台爬虫采集，也可手动导入数据 智能清洗 基于规则过滤无效内容，自动格式化数据 AI结构化 使用大模型将文本转换为标准化的结构化字段 去重存储 通过指纹识别避免重复，灵活选择存储方式 多端查询 提供HTTP API、Streamlit界面和Vue大屏三种访问方式 实时监控 Streamlit界面实时显示管线执行状态和日志 --- 🗂️ 仓库结构（核心路径） 路径 职责 ------ ------ RxServer/sentinel api.py FastAPI 宿主 RxServer/routers/ 路由（健康检查、线索、统计等） RxServer/sentinel contract.py 入库字段校验、链接/平台名归一、 fingerprint RxServer/pipeline runner.py 管线内核与写库侧编排 RxServer/webui.py · webui core.py Streamlit 调度与子进程封装 ProcessCdata/ 过滤、DeepSeek/Ollama 处理器、JSON 配置（词库、提示词等） SentinelDashboard/ 大屏前端","default_branch":null,"files":null,"tree":[],"storefront":"/r/DerpZhenjun","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/DerpZhenjun/RxSentinel/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}