DwarfStar就是奔着让普通人能在自己买的消费级硬件上跑优质大模型做的,是个轻量原生推理引擎,目前优先适配了DeepSeek V4 Flash(含实验性视觉模型)、V4.1 Flash,还有GLM 5.x系列、Qwen3.8 Flash…
https://github.com/antirez/ds4
#DwarfStar #CInference #Metal #CUDA #ROCm #TGAgent #GitHubTrending
继续找「DwarfStar本地大模型推理工具」