{"repo":"kanchengw/cnllm","free":true,"listed":false,"github":"https://github.com/kanchengw/cnllm","clone":"git clone https://github.com/kanchengw/cnllm.git","description":"Python toolkit for Chinese LLMs, with flexible batch capacity, structured real-time visulization and automated accumulation for streaming, and explicit feedback on vendor-native parameter validation.","language":"Python","stars":172,"topics":["ai","api","api-wrapper","doubao","glm","langchain","machine-learning","minimax","openai","package"],"license":"Apache-2.0","category":"ai-agents","readme_excerpt":"![Figure 1][Figure 1] [Figure 1]: pics/figure 1.png CNLLM - Chinese LLM Adapter English 中文 Why CNLLM? CNLLM Python 工具包为各类中文大语言模型提供 统一的 OpenAI 兼容接口层 ，并配套一系列 增强工具 ，大幅简化大模型开发流程。 通过 CNLLM，开发者可以无障碍地在 OpenAI 生态内的 langchain、LlamaIndex、AutoGen、Haystack、DeepEval 等主流大模型应用框架中使用中文大模型；尤其在需要多模型协作的开发和应用场景中，使用 CNLLM 可 显著减少适配解析、功能实现及维护工程量，并有效降低 AI agent 开发中的 Token 消耗 。 - 统一接口 - 一套接口和参数调用不同中文大模型，返回 OpenAI API 标准响应 - 参数验证 - 对所有参数进行验证和明确反馈，尤其是厂商原生参数，并支持参数处理行为控制 ( drop params ) - 流式响应 - 通过 repr() 进行流式生命周期监测，以及通过 .still/.think/.tools 属性访问增量字段自动累积 - 批量能力 - 支持批量任务中单个请求的独立配置，并提供实时批量进度统计 ( .status )，可配置的失败策略 ( stop on error ) 和内存管理 ( keep ). 演示：流式生命周期视图与增量提取/自动累积： ![Figure 2][repr] [repr]: pics/repr demo.gif 开发者招募 欢迎开发者共同参与 CNLLM 的发展，创建 Pull Request 前请先提交 Issue 说明问题并讨论您的解决方案。 或在以下邮箱联系我们： 方向 说明 ------------ ----------------------------- 🌐 新厂商适配 接入更多中文大模型（如阿里千问、百度文心一言、腾讯混元等） 🔗 框架适配 深化与 LlamaIndex、LiteLLM 等框架的集成 🐛 能力扩展 多模态功能的适配框架开发 📖 文档完善 补充使用案例、优化开发指南 💡 功能建议 提出您的想法与需求 项目开发文档： - 系统架构 - 功能性文档 更新日志 v0.9.10 (2026-06-12) - ⚡ 自适应调度算法 + 池化算法 - chat.batch(stream=False) 路径支持自适应调度器：动态调整并发度、RPS 限速、RPM 学习、429 冻结/解冻 - 流式/混合批量调用依然需要手动配置 max concurrent 和 rps 或使用默认值，非流式批量也可通过指定覆盖自适应调度 - 配置 fallback models + performance=True 按模型吞吐量加权分发，快慢模型互不阻塞，不支持配置 max concurrent 和 rps - 配置 performance=False 或不配置 performance 时，默认主模型优先，失败请求自动重试 fallback 模型 - ✨ 阶跃星辰 Step 新厂商接入 - 支持 step-3-5-flash 、 step-3-7-flash 模型 - 支持非流式/流式 Chat Completions、Tools、推理强度 ( reasoning effort ) - ✨ MiniMax 新增 minimax-m3 （ MiniMax-M3 ）模型 - thinking 参数支","default_branch":null,"files":null,"tree":[],"storefront":"/r/kanchengw","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/kanchengw/cnllm/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}