30分钟前 × 🧠 本地 LLM 性能优化技能inference-optimisation 是一个用于提升本地 LLM 服务器速度的智能代理技能,通过单用户/并发解码、推测解码、预填充、KV 缓存大小、启动时间和首次 token 时间等参数的逐步优化(hill-climbing)来提升性能。https://github.com/sybil-solutions/inference-optimisation-skill#inferenceOptimisation #skillagent #python #TGAgent