WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
Agent 基础设施
qwen38-27b-rtx3090
syv-ai/qwen38-27b-rtx3090
让
Qwen
大模型
在
单张
消费
级
显卡上
高速
推理
的
vLLM
补丁
与量化
部
署
方案。
去 GitHub 看仓库
复制链接
标签
kv-cache
llm-inference
local-llm
quantization
qwen
qwen3
rtx-3090
speculative-decoding
同类项目
beellama.cpp
1.2k
llama.cpp
的
性能
优化
分支,
加入
KVarN KV cache
量化、
精度
尾段
与
低比
特缓存,
提升
本
地
GGUF
推理
速度
与
上
下文。
lucebox
3k
面
向
AMD
消费
级
硬件
的
开源
LLM
推理
引擎,
支持
投机
解码、
长
上
下文
与
多
用户,
提供
OpenAI/Anthropic
兼容 API 供
编程
agent
接入。
project-maya
3k
Project Maya
是
本
地
大模型
推理
引擎,
可
在
自有
GPU
上
运行
GLM、
DeepSeek、
MiniMax
并
提供
兼容 API
与
面板。
mlx-dspark
742
苹果
芯片
上
原生
的
推测
解码
加速
推理
引擎,
兼容
多
模型
并
提供
本
地
API
服务。
pooled
647
浏览器内
的
点
对
点 LLM
推理
网络:
多
台
设备
各持
部分
模型
层,
通过
WebRTC
协作
运行
大模型,
并
提供
聊天、
Code
模式
及
OpenAI/Anthropic
兼容
接口。
little-coder
2.7k
面
向
小型
本
地
模型
的
编码
智
能体,
基于
pi
扩展
出
计划
模式、
子
代理、
技能
注入
和
上下
文
压缩,
可
在
笔记本
上
离线写
代码。
2751
kv-cache,llm-inference,local-llm
让Qwen大模型在单张消费级显卡上高速推理的vLLM补丁与量化部署方案。
←
上一个
Tracearr
下一个
→
LxgwNeoXiHei