Gigatoken

大语言模型 4.2k 223 Python 上架 2026-11-08 在 GitHub 打开

比 HuggingFace 的分词器快约 1000 倍，可直接替换。以 GB/s 的速度对文本数据进行分词。 Gigatoken 是目前速度最快的语言建模分词器。它支持多种 CPU 硬件，并且几乎兼容...