WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
Agent 基础设施
vllm-omni
vllm-project/vllm-omni
面
向
全
模态
模型
的
推理
与
服务
框架,
支持
文本、
图像、
音频、
视频
与
动作生成
及
OpenAI
兼容 API。
去 GitHub 看仓库
复制链接
标签
diffusion
inference
model-serving
pytorch
transformer
audio-generation
image-generation
multimodal
同类项目
nano-vllm
16.4k
从
零实现
的
轻量
vLLM
推理
引擎,
代码
精简
可读,
推理
速度
可
比肩
原版vLLM。
sglang
38.9k
面
向
大模型
与
多
模态
模型
的
高性
能
推理
服务
框架,
优化
智
能
体
负载、
大规模
serving
与
强化
学习 rollout。
freetoken
17.3k
面
向
个
人
硬件
的
边缘
MoE
推理
引擎,
可
在
消费
级
GPU
上
运行
超大
开源
模型,
并
提供
桌面
应用、
CLI
与
OpenAI/Anthropic
兼容 API。
LMCache
12.4k
面
向
大模型
推理
的
KV
缓存
管理层,
实现
跨
引擎持久化
复用
与
可
观测,
显著降低
首字
延迟
提升
吞吐。
inference
9.7k
统
一
的
大模型
推理
服务库,
一
条
命令部署
开源
模型,
兼容OpenAI
接口
并
支持
分
布式
运行。
stable-diffusion.cpp
8k
纯 C/C+
+
的
扩散
模型
推理
引擎,
支持
SD、
Flux、
Wan、
Qwen Image
等
图像
与
视频
模型,
可
在
CPU/GPU
本
地
运行。
7770
diffusion,inference,model-serving
面向全模态模型的推理与服务框架,支持文本、图像、音频、视频与动作生成及 OpenAI 兼容 API。
←
上一个
oh-my-bash
下一个
→
code2prompt