16小时前 × × × 🟢 AirLLM低显存大模型工具AirLLM能大幅降低大模型推理的显存占用，不用量化、蒸馏、剪枝就能让70B大模型跑在4GB显卡上，现在甚至支持4GB显存跑目前最大的开源模型Kimi K3（2.8T），还支持6GB显存下训练125B规模的Qwen3.8-Flash-Next模型。https://github.com/lyogavin/airllm#AirLLM #JupyterNotebook #LLM推理 #android #TGAgent #GitHubTrending
