tokenization 专题

Tokenizer 新综述梳理多语言、成本与安全取舍

9 月 30 日提交的新综述系统覆盖分词算法、评估、多语言分配、约束生成与安全问题，面向模型训练与应用工程的 tokenizer 选型。文章强调分词粒度会改变序列长度、参数预算和不同语言处理成本，且更少 token...