{"repo":"599yongyang/DatasetLoom","free":true,"listed":false,"github":"https://github.com/599yongyang/DatasetLoom","clone":"git clone https://github.com/599yongyang/DatasetLoom.git","description":"一个面向多模态大模型训练的智能数据集构建与评估平台","language":"TypeScript","stars":293,"topics":["dataset","llm","nextjs","shadcn-ui","typescript","vlm","nestjs","ai"],"license":"MIT","category":"ui-components","readme_excerpt":"DatasetLoom - 多模态大模型训练数据智能构建平台 🚀 一个面向 多模态大模型训练 的智能数据集构建与评估平台，支持图文问答、图像描述、DPO 数据集生成、AI 评分、训练语料导出等全流程。 🌐 简体中文 English --- 🌟 项目简介 DatasetLoom 是一款高质量的 多模态训练数据集构建平台 ，专为 AI 工程师、研究人员和团队设计。 基于 Next.js + NestJS + Turborepo 的现代化 Monorepo 架构，实现前后端解耦、高可维护性与灵活扩展。平台支持从文档解析、图像标注到模型评分、语料导出的完整数据流水线，集成 RAG 能力，让大模型“基于真实知识”生成对话数据集， 进而 构建更专业、准确、可追溯的 SFT 与 DPO 训练数据。 🎯 核心能力： - 监督微调（SFT）语料生成 - 偏好对齐（DPO）数据集构建 - 图文问答（VQA）与图像描述生成 - 模型输出自动评分与对比 - 基于上传文档与 RAG 生成真实、专业、有依据的对话数据集 - 支持嵌入模型配置与 Qdrant 向量数据库 - 支持 GPT-4V、LLaVA、Qwen-VL 等多模型接入 - 多人协作与权限管理 --- ✨ 核心特性 特性 说明 ------------------- ------------------------------------------- 多模态数据支持 支持图像、PDF、Word、Markdown、TXT 等格式上传与解析 智能文档分块 支持按段落、标题、语义等方式自动分块 图像标注与生成 支持区域标注、图文问答、图像描述一键生成 AI 自动评分系统 集成大模型对输出质量打分，支持多模型对比 DPO/SFT 数据集构建 可配置策略生成偏好对或指令微调语料 RAG 增强对话生成 结合向量数据库， 驱动模型 基于真实文档生成专业对话数据 嵌入模型管理 支持 OpenAI、Hugging Face、本地部署的 Embedding 模型 向量数据库集成 内建 Qdrant 支持，高性能向量存储与相似度检索 用户与权限管理 支持角色控制（管理员、协作者、访客） 训练语料导出 支持 JSON、CSV、HuggingFace Dataset 等格式导出 API 文档化 后端集成 Swagger，访问 /api-docs 即可调试 --- 📸 截图预览 登录页 项目列表 --------------------------------------- ----------------------------------------------- 文档管理 分块策略 ------------------------------------------------ --------------------------------------------------- 问题生成 数据集导出 ------------------------------------------------ ------------------------------------------------- 🔍 API 文档地址 ：http://localhost:3088/api-docs --- 🛠 技术栈 层级 技术 ------- ---------------------------------------------- 前端 Next.js App Router + React 18 + Tailwind CSS 后","default_branch":null,"files":null,"tree":[],"storefront":"/r/599yongyang","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/599yongyang/DatasetLoom/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}