{"repo":"AkagawaTsurunaki/ZerolanLiveRobot","free":true,"listed":false,"github":"https://github.com/AkagawaTsurunaki/ZerolanLiveRobot","clone":"git clone https://github.com/AkagawaTsurunaki/ZerolanLiveRobot.git","description":"AI VTuber with LLM, ASR, TTS, OCR, CV and more technologies to live stream or play Minecraft with you.","language":"Python","stars":788,"topics":["ai","asr","bilibili","cv","llm","minecraft","tts","ai-vtuber","image-captioning","ocr"],"license":"MIT","category":"media-processing","readme_excerpt":"Zerolan Live Robot 你或许已经听说过著名的 Neurosama，或者是来自中国的木几萌。你是否也想要拥有一个自己的 AI 虚拟形象陪你直播、聊天、打游戏？开源的 Zerolan Live Robot 正致力于实现您的梦想！而这仅仅需要一张消费级显卡！ Zerolan Live Robot 是一款多功能的直播机器人（AI VTuber），它可以听懂你所说的话，也可以自动在直播间中读取弹幕，观察电脑屏幕的指定窗口，理解其画面内容和文字信息，操纵 Minecraft 中的游戏角色，做出带情感的语音聊天回应。 相关项目：KonekoMinecraftBot、ZerolanCore、ZerolanData、ZerolanPlayground。 本项目持续开发中，您可以关注开发者的 Bilibili 账号赤川鹤鸣 Channel，正在根据此项目调教 AI 猫娘，不定时直播展示最新进展。 特点与功能 - [x] 💭 基于大语言模型的自然语言对话，上下文理解和人机聊天 - [x] 🍻 连接至 Bilibili、YouTube（实验）、Twitch（实验）直播间，根据弹幕内容挑选并回复 - [x] 🎙️ 识别用户麦克风语音输入内容，理解并回复（例如： 你叫什么名字？ 、 请关闭麦克风！ ） - [x] 📣 根据回复文本的带情感的语音合成 - [x] 📄 识别指定窗口中的文字内容，并分析其中的文字（例如： 能看见这里写了什么吗？ ） - [x] 🖼️ 识别指定窗口中的图像内容，并理解其中的含义（例如： 你看见了什么东西？ ） - [x] 🔍️ 打开、控制浏览器并执行百科搜索（例如： 搜索一下什么是二次元。 ） - [x] 🖱️ 语音指令控制鼠标点击 UI 界面（例如： 点击屏幕上的搜索按钮 ） - [x] 🛠️ 根据上下文语境采取行动或挑选工具（例如： 好了，你可以关机了！ 、 请关闭浏览器 ） - [x] 🎮️ 语音指令可控制的 Minecraft AI 智能体（例如： 在游戏中跟大家说你好！ ） - [x] 📓 基于最大记录条数的简单的运行时上下文短期记忆 - [x] 📖 基于 向量数据库的长期记忆存储与提取（例如： 你还记得我说过春日影是什么嘛？ ） - [x] 🎞️ OBS 直播流式打字机字幕显示与控制 - [x] ⚙️ 系统配置和实时控制器的 WebUI 界面 - [x] 🥳 Live2D 形象控制，嘴型同步、自动眨眼和自主呼吸 - [x] 🥽 基于 Unity 的 Live2D 形象控制和 3D 模型控制的展示应用 - [x] ⌨️ 键盘热键控制机器人的麦克风开关 - [x] 🐧 QQ 机器人的文字、语音和图像多模态回复 安装并运行 Zerolan Project 由 ZerolanLiveRobot、ZerolanCore、ZerolanData、ZerolanPlayground、KonekoMinecraftBot 等项目共同组成。下表简要地介绍了各个项目的用途，您可以根据需要使用： 项目名 用途 ------------------------------------------------------------ ------------------------------------------------------------ ZerolanLiveRobot 直播机器人的控制框架，通过采集各类数据，并综合分析做出动作响应。 ZerolanCore 为直播机器人提供 AI 推理服务的核心模","default_branch":null,"files":null,"tree":[],"storefront":"/r/AkagawaTsurunaki","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/AkagawaTsurunaki/ZerolanLiveRobot/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}