对应论文

Retrofitting language models to operate over bytes

视频简介

子词分词隐藏了字符级信息,纯字节模型又往往在性能与效率上落后。论文研究能否复用已有语言模型而不是从头训练字节模型。 byteification通过两阶段训练将子词模型改造为字节输入/输出模型,重用源模型内部能力并设计高效推理路径;作者验证Olmo、Qwen3和Llama三类模型及转换预算。 两阶段byteification以49.1B额外token改造Olmo/Qwen3/Llama三模型家族,低于通常预训练预算1%;表1平均能力接近子词源模型(Bwen69.8对70.3),字符推理明显提升,提供可复用字节级改造与推理架构。 未达到paradigm:未充分验证前沿大规模与广泛多语言场景,代码pass@1/数学仍有退化,不能视作通用分词替代。

外部视频链接

论文链接