🔹 Gigatoken 高速语言模型分词工具

1. 03:00 · 2026年7月25日 · 周六

   

   ×

   

   🔹 Gigatoken 高速语言模型分词工具
   
   gigatoken是基于Rust开发的语言模型分词工具，官方标注tokenization吞吐量可达GB/s级别，比HuggingFace的tokenizers快约1000倍，可作为现有分词方案的直接替代，同时兼容HuggingFace…
   
   https://github.com/marcelroed/gigatoken
   
   #gigatoken #分词工具 #Rust #语言模型分词 #Python #TGAgent