WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
Agent 基础设施
semantic-router
vllm-project/semantic-router
面
向
混合模型
系统
的
可编程语义路
由
决策层,
为
智
能
体
网关
按
质量、
延迟
与
成本
在
本
地
云
边模型
间
选择
组合。
去 GitHub 看仓库
复制链接
标签
mixture-of-models
semantic-router
vllm
ai-gateway
kubernetes
llmrouter
llm
guardrails
同类项目
LMCache
12.4k
面
向
大模型
推理
的
KV
缓存
管理层,
实现
跨
引擎持久化
复用
与
可
观测,
显著降低
首字
延迟
提升
吞吐。
bifrost
9.5k
高性
能
开源
AI
网关,
用 OpenAI
兼容 API
统
一
接入
23
+ 模型
提供
商,
提供
自动
回退、
负载
均衡、
语义
缓存、
护栏、
预算
治理
与
可观测性。
superagent
6.9k
面
向
开发者
的
AI Agent
安全
SDK,
可
在
运行
时拦截
提示
词
注入、
脱敏
PII/密钥
并
扫描仓库
威胁,
支持
TS、
Python
与
MCP
集成。
agentgateway
6.3k
面
向
Agent
通信
的
开源
智
能
网关,
提供
模型
路由、
MCP工具
联邦
与
安全
可
观测
能力。
GoModel
1.3k
GoModel
是
Go
编写
的
可自
托管 AI
网关,
统
一
OpenAI/Anthropic
兼容
接口,
支持
多
供
应商、
路由、
缓存、
成本
追踪
与
可观测性。
SurrogateShield
962
面
向
LLM
与
RAG
管线
的
隐私护
栏
代理:
在
文本
发给
模型
前
检测
并
用
拟真替
身替
换
PII,
回复
后
再
还
原
真
实值。
6511
mixture-of-models,semantic-router,vllm
面向混合模型系统的可编程语义路由决策层,为智能体网关按质量、延迟与成本在本地云边模型间选择组合。
←
上一个
gemini-notebook-mcp-cli
下一个
→
sourcegit