{"repo":"xiaofuqing13/redbooks","free":true,"listed":false,"github":"https://github.com/xiaofuqing13/redbooks","clone":"git clone https://github.com/xiaofuqing13/redbooks.git","description":"小红书爬虫工具 - 支持关键词搜索、主页推荐、博主主页爬取，图片视频批量下载，评论采集，Excel导出，SQLite存储，GUI图形界面 | Python + DrissionPage","language":"Python","stars":28,"topics":["crawler","gui","python","scraper","xiaohongshu"],"license":null,"category":"scrapers-browser-automation","readme_excerpt":"小红书爬虫工具 一个功能完整的小红书笔记爬虫工具，支持关键词搜索、主页推荐、博主主页爬取，具有图形化界面。 界面预览 以下均为应用真实运行截图（v5.4）。 搜索爬取 爬取结果 :---: :---: 笔记详情卡片 数据分析 :---: :---: 功能特点 - 多种爬取模式 ：标准模式（完整数据）、极速模式（快速采集） - 多种爬取类型 ：关键词搜索、主页推荐、博主主页 - 完整数据采集 ：标题、作者、正文、标签、发布时间、IP地区、互动数据 - 媒体下载 ：图片批量下载、视频下载、评论图片单独存储 - 智能过滤 ：表情包过滤、Live图去重（只保留一张） - 数据导出 ：Excel导出、SQLite数据库存储 - 图形化界面 ：斑马纹表格、搜索筛选、排序、数据统计、图片预览 - 配置持久化 ：自动保存上次设置 环境要求 - Python 3.8+ - Windows 10/11 安装依赖 主要依赖： - DrissionPage - 浏览器自动化 - pandas - 数据处理 - openpyxl - Excel导出 - Pillow - 图片处理 - jieba - 中文分词（词云） 使用方法 目录结构 功能说明 速度模式 模式 说明 适用场景 ------ ------ ---------- 标准模式 点击笔记进入详情页提取完整数据 需要完整内容、评论、互动数据 极速模式 仅从列表页提取基础信息 快速批量采集封面图 v5.3 起移除了原“快速模式”——它与标准模式在引擎中完全等价，是误导性选项。 爬取类型 - 关键词搜索 ：搜索指定关键词的笔记（关键词框支持逗号分隔多词） - 热门榜单 / 主页推荐 ：爬取首页推荐内容（忽略关键词） - 博主主页 ：填写博主主页 URL，爬取该博主的笔记 数据字段（SQLite notes 表） 字段 说明 ------ ------ note id 笔记唯一 ID（去重键） title / author / content 标题 / 作者 / 正文 tags 标签（JSON 数组） publish time / ip region 发布时间 / IP地区 like count / collect count / comment count 点赞 / 收藏 / 评论数 note type / note link 类型（图文/视频）/ 原文链接 image urls / video url / comments 图片链接 / 视频链接 / 评论（JSON） keyword / crawl time 搜索关键词 / 爬取时间 local dir 本地媒体目录（图片预览定位用） GUI功能 - 小红书品牌红主题（v5.4 全界面统一 CustomTkinter 渲染） - 结果页数据源三选一：当前爬取 / 历史数据库 / 本地批次 - 斑马纹表格、点击表头排序、搜索筛选（标题/作者/正文/关键词四列） - 统计药丸（总计、图文数、视频数、总点赞）与数据分析仪表盘 - 右键菜单（复制、打开原文、删除） - 小红书式笔记详情卡片：暗遮罩一体弹窗、模糊填充轮播、悬浮翻页圆钮、 流式评论区、上一条/下一条翻页 - 跨运行去重开关：重复采集同一主题时自动跳过库里已有笔记 配置说明 配置保存在 data/settings.json ，在 每次开始爬取时 以及 正常关闭窗口时 自动保存 （v5.3 起：不再仅依赖点 X 关闭，崩溃也不丢已开始过爬取的设置）。高级设置页 （Cookie/日志/延迟/数据库路径）现已一并持久化","default_branch":null,"files":null,"tree":[],"storefront":"/r/xiaofuqing13","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/xiaofuqing13/redbooks/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}