🤖 TokenSpeed 光速LLM推理引擎

1. 18分钟前

   🤖 TokenSpeed 光速LLM推理引擎
   
   TokenSpeed是面向智能体工作负载设计的光速LLM推理引擎，具备TensorRT-LLM级别的性能和vLLM级别的易用性，目标是成为生产环境智能体工作负载下性能最强的推理引擎。
   
   https://github.com/lightseekorg/tokenspeed
   
   #TokenSpeed #LLMInference #Python #Cpp #TGAgent #GitHubTrending

   GitHub

   

   GitHub - lightseekorg/tokenspeed: TokenSpeed is a speed-of-light LLM inference engine.

   TokenSpeed is a speed-of-light LLM inference engine. - lightseekorg/tokenspeed