WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
Agent 基础设施
pooled
Nehanth/pooled
浏览器内
的
点
对
点 LLM
推理
网络:
多
台
设备
各持
部分
模型
层,
通过
WebRTC
协作
运行
大模型,
并
提供
聊天、
Code
模式
及
OpenAI/Anthropic
兼容
接口。
去 GitHub 看仓库
复制链接
标签
browser
distributed-inference
inference
llm
local-llm
peer-to-peer
speculative-decoding
webgpu
同类项目
mlx-serve
2.5k
面
向
Apple Silicon
的
原生本
地
LLM
推理
服务
与
macOS
应用,
兼容
OpenAI、
Anthropic、
Ollama
接口,
支持
聊天、
编程
代理
以及
图像、
视频、
语音
等
生成。
sglang
38.9k
面
向
大模型
与
多
模态
模型
的
高性
能
推理
服务
框架,
优化
智
能
体
负载、
大规模
serving
与
强化
学习 rollout。
web-llm
19.4k
浏览器
端
高性
能
大模型
推理
引擎,
基于
图形
加速且
兼容
开放
接口,
开发者
可用
软件
包集
成构
建本
地化
AI
应用。
nano-vllm
16.4k
从
零实现
的
轻量
vLLM
推理
引擎,
代码
精简
可读,
推理
速度
可
比肩
原版vLLM。
LMCache
12.4k
面
向
大模型
推理
的
KV
缓存
管理层,
实现
跨
引擎持久化
复用
与
可
观测,
显著降低
首字
延迟
提升
吞吐。
inference
9.7k
统
一
的
大模型
推理
服务库,
一
条
命令部署
开源
模型,
兼容OpenAI
接口
并
支持
分
布式
运行。
647
browser,distributed-inference,inference
浏览器内的点对点 LLM 推理网络:多台设备各持部分模型层,通过 WebRTC 协作运行大模型,并提供聊天、Code 模式及 OpenAI/Anthropic 兼容接口。
←
上一个
manage-my-damn-life-nextjs
下一个
→
kition