English
库 / 框架

gigatoken

marcelroed/gigatoken

GB/s 级语言模型 tokenizer 库,兼容 HuggingFace 与 Tiktoken,可大幅加速数据预处理。

标签