{"repo":"PriceNing/LLM-AIO-Gateway","free":true,"listed":false,"github":"https://github.com/PriceNing/LLM-AIO-Gateway","clone":"git clone https://github.com/PriceNing/LLM-AIO-Gateway.git","description":"A unified OpenAI / Anthropic / Responses API gateway with built-in vision model injection — let any text-only model \"see\" images.","language":"Python","stars":38,"topics":["ai-agents","claude-code","codex","deepseek","fastapi","llm","opencode"],"license":"MIT","category":"ai-agents","readme_excerpt":"简体中文 English LLM AIO Gateway - 多合一 LLM API 网关 LLM AIO Gateway 是一个基于 FastAPI 的统一 LLM API 网关，用一个服务代理多个 OpenAI 兼容和 Anthropic 兼容的上游提供商。它同时暴露 OpenAI Chat Completions、旧版 Completions、Anthropic Messages、OpenAI Responses 等接口，并提供路由规则、API Key 管理、reasoning 连续性、工具调用修复和视觉模型注入。 当前代理核心基于统一内部消息格式：所有客户端协议先转换为 InternalRequest / InternalMessage ，再进入共享策略层。策略层会产出结构化 RoutingDecision ，随后由上游适配器发送给 OpenAI/liteLLM 或 Anthropic 兼容接口，最后再渲染回客户端需要的协议格式。 功能特性 功能 说明 --- --- 统一协议网关 支持 /chat/completions 、 /completions 、 /messages 、 /responses 、 /models ，同时挂载在根路径和 /v1 前缀。 OpenAI / Anthropic 提供商 OpenAI 兼容提供商走 liteLLM；Anthropic 兼容提供商从内部 IR 直接投影到 Anthropic Messages 请求。 共享 IR 流程 路由、预处理、reasoning 缓存、工具修复、断路器都运行在统一内部消息上，避免端点各自维护转换逻辑。 结构化路由 策略层返回 RoutingDecision ，记录 requested/resolved/target model、目标 provider、命中的规则和原因。 视觉模型注入 图片可先由配置的视觉模型生成描述，再替换为文本，让纯文本模型也能处理图片上下文。 图像生成网关 支持 /images/generations 、Codex /responses 生图工具桥接、原图短期存储、压缩缩略图、批量生成和生图统计。 工具调用可靠性 保留工具调用 ID，修复 malformed JSON 工具参数，并提供工具调用循环断路器。 Reasoning 连续性 对 DeepSeek 等 thinking 模型自动缓存和回传 reasoning content ，保证多轮工具调用不中断。 Web 管理面板 管理提供商、用户、API Key、路由规则、模型预处理器和调用统计。 SQLite 存储 提供商、用户、密钥、路由规则、统计和请求记录保存在 data.db 。 快速开始 环境要求 - Python 3.10+ - pip 手动安装 默认服务地址为 http://localhost:8000 。首次启动会自动创建 config.json 和 data.db 。 Docker 使用已发布的 GHCR 镜像： 或从源码本地构建： 首次配置 1. 打开 http://localhost:8000 。 2. 创建第一个管理员账号。 3. 在管理面板添加上游提供商。 4. 刷新模型列表，或手动添加模型。 5. 创建普通用户并生成 API Key。 6. 使用 Authorization: Bearer sk-aio-... 调用网关。 提供商类型 类型 上游接口 网关行为 --- --- --- openai OpenAI 兼容接口 内部请求投影为 OpenAI Chat 格式，经 l","default_branch":null,"files":null,"tree":[],"storefront":"/r/PriceNing","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/PriceNing/LLM-AIO-Gateway/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}