{"repo":"Wlz-Hit/Topic_and_user_profile_analysis_system","free":true,"listed":false,"github":"https://github.com/Wlz-Hit/Topic_and_user_profile_analysis_system","clone":"git clone https://github.com/Wlz-Hit/Topic_and_user_profile_analysis_system.git","description":"基于微博的网络舆情话题分析和用户画像系统","language":"Python","stars":407,"topics":["celery","scrapy","user-profiles","topic-analysis"],"license":null,"category":"scrapers-browser-automation","readme_excerpt":"Topic and user profile analysis system 介绍 微博的 话题 、 博文 及 用户画像 分析系统。 功能: - 微博话题博文搜索：根据用户输入关键字搜索出热度最高的50页近1000条博文 - 微博话题分析：用户可以将相关话题加入分析任务队列中，后端会异步执行分析任务(基于celery) - 话题任务列表：当前系统中的所有任务，包括分析中、完成和异常的任务。 - 话题最热博文：展示出该话题下热度最高的十条博文。 - 话题热度：展示该话题近一天、一个月、三个月的关注热度。 - 话题词云：根据话题中爬取到的所有博文内容分析出话题关联的词语。 - 话题简略传播关系图：用有向图展示出该话题的传播关系。 - 博文分析：对话题中热度前十的博文进行详细分析。 - 博文详情：展示博文的文本内容和发博用户的粗略信息。 - - 博文关键转发节点：列出在博文传播过程中起重要扩散作用的转发节点，通常是转发后产生相对大量关注的节点。 - 博文传播树：博文的转发传播树。 - 博文评论词云：博文评论下关联的词语。 - 博文主题分析：博文下 评论 主题及其占比。 - 博文热点转发：显示关注较高的热点转发内容。 - 用户画像：根据用户在 不同话题 下微博文本的聚类主题为用户打标签，逐步完善用户画像。 设计 概要设计：前端页面低保真原型设计) 详细设计： 架构设计：项目整体采用BS架构实现前后端分离。前端具体使用vue框架，参照[前端页面低保真原型设计)来实现，后端使用python的fastapi](https://fastapi.tiangolo.com/zh/))框架搭建，结合分布式异步任务处理框架celery](https://www.celerycn.io/ru-men/zhong-jian-ren-brokers/shi-yong-redis))实现任务发布和任务执行的解耦，使得异步、快速处理话题分析任务成为了可能。 涉及算法： 基于MGP的博文短文本聚类分析算法gsdmmCluster,用于对某一博文的 评论 进行聚类分析。 LDA，用于对话题内 舆论场 进行聚类分析。 Single Pass，用于对话题 舆论场 进行聚类分析。 路由、数据库设计文档：在 \\doc\\desgin 文件中 配置 后端配置： 在文件 \\code\\back end\\config\\config class 中修改如下配置： 在 \\code\\back end\\celery task\\config\\task config class.py 文件中修改 celery 相关配置： 微博爬虫微服务配置: 请参照 \\code\\weibo crawler\\README.md 文件进行配置 启动 后端 安装Redis数据库 依据项目中 requestments.txt 文件，安装好后端需要的所有依赖库 强烈建议参照 doc\\话题分析系统后端部署.docx 文件构建虚拟运行环境。 运行 \\code\\back end\\main.py 启动fastapi的app 启动Redis数据库 进入 \\code\\back end 文件夹，运行 celery -A celery task.celeryapp worker --loglevel=info -P threads 命令启动 celery 前端 进入 \\code\\back end 文件夹，按照 README.md 文件安装依赖。 执行 npm install 命令安装vue项目。 执行 npm run server 运行前端。 微博爬虫 ","default_branch":null,"files":null,"tree":[],"storefront":"/r/Wlz-Hit","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/Wlz-Hit/Topic_and_user_profile_analysis_system/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}