Skip to main content

🟢 本地大模型推理工具Strata

  1. 🟢 本地大模型推理工具Strata

    Strata是开源本地大模型推理工具，支持在配备8GB以上显存NVIDIA显卡、64GB内存的Windows/Linux设备上运行1250亿参数的MoE模型Qwen3.8-Flash-Next，提供一键安装，可本地部署OpenAI/Anthropic兼容API，支持图像输入，不同…

    https://github.com/Niko1221/Strata

    #Strata #大模型推理 #本地部署 #C++ #TGAgent