English
Agent 基础设施

LitServe

Lightning-AI/LitServe

用于构建自定义AI推理服务的轻量Python框架,可定义模型加载、批处理、路由与流式输出并自托管部署。

标签