{"repo":"PaddlePaddle/Serving","free":true,"listed":false,"github":"https://github.com/PaddlePaddle/Serving","clone":"git clone https://github.com/PaddlePaddle/Serving.git","description":"A flexible, high-performance carrier for machine learning models（『飞桨』服务化部署框架）","language":"C++","stars":924,"topics":["paddle-serving","rpc-service","gpu","python","docker","serving","pipeline","paddle","deep-learning","online-service"],"license":"Apache-2.0","category":"machine-learning","readme_excerpt":"(简体中文 English) 【更新说明】 我们在新开源项目FastDeploy里面，基于Triton Inference Server，集成FastDeploy Runtime(包括Paddle Inference、ONNX Runtime、TensorRT以及OpenVINO等)，可支持飞桨模型的高性能服务化部署，对服务化部署有需求的开发者，可以参考如下文档进行使用，有任何问题，欢迎在FastDeploy开源项目里通过issue反馈。 - FastDeploy服务化部署 Paddle Serving 依托深度学习框架 PaddlePaddle 旨在帮助深度学习开发者和企业提供高性能、灵活易用的工业级在线推理服务。Paddle Serving 支持 RESTful、gRPC、bRPC 等多种协议，提供多种异构硬件和多种操作系统环境下推理解决方案，和多种经典预训练模型示例。核心特性如下： - 集成高性能服务端推理引擎 Paddle Inference 和端侧引擎 Paddle Lite，其他机器学习平台（Caffe/TensorFlow/ONNX/PyTorch）可通过 x2paddle 工具迁移模型 - 具有高性能 C++ Serving 和高易用 Python Pipeline 2套框架。C++ Serving 基于高性能 bRPC 网络框架打造高吞吐、低延迟的推理服务，性能领先竞品。Python Pipeline 基于 gRPC/gRPC-Gateway 网络框架和 Python 语言构建高易用、高吞吐推理服务框架。技术选型参考技术选型 - 支持 HTTP、gRPC、bRPC 等多种协议；提供 C++、Python、Java 语言 SDK - 设计并实现基于有向无环图(DAG) 的异步流水线高性能推理框架，具有多模型组合、异步调度、并发推理、动态批量、多卡多流推理、请求缓存等特性 - 适配 x86(Intel) CPU、ARM CPU、Nvidia GPU、昆仑 XPU、华为昇腾310/910、海光 DCU、Nvidia Jetson 等多种硬件 - 集成 Intel MKLDNN、Nvidia TensorRT 加速库，以及低精度量化推理 - 提供一套模型安全部署解决方案，包括加密模型部署、鉴权校验、HTTPs 安全网关，并在实际项目中应用 - 支持云端部署，提供百度云智能云 kubernetes 集群部署 Paddle Serving 案例 - 提供丰富的经典模型部署示例，如 PaddleOCR、PaddleClas、PaddleDetection、PaddleSeg、PaddleNLP、PaddleRec 等套件，共计40+个预训练精品模型 - 支持大规模稀疏参数索引模型分布式部署，具有多表、多分片、多副本、本地高频 cache 等特性、可单机或云端部署 - 支持服务监控，提供基于普罗米修斯的性能数据统计及端口访问 教程与案例 - AIStudio 使用教程 : Paddle Serving服务化部署框架 - AIStudio OCR 实战 : 基于Paddle Serving的OCR服务化部署实战 - 视频教程 : 深度学习服务化部署-以互联网应用为例 - 边缘 AI 解决方案 : 基于Paddle Serving&百度智能边缘BIE的边缘AI解决方案 - 政务问答解决方案 : 政务问答检索式 FAQ System - 智能问答解决方案 : 保险智能问答 - 语义索引解决方案 : In-batch Negatives 论文 - 论文","default_branch":null,"files":null,"tree":[],"storefront":"/r/PaddlePaddle","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/PaddlePaddle/Serving/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}