这项由英国剑桥MediaTek Research团队完成的估量，以预印本形状发布于2026年4月，论文编号为arXiv:2604.07466v2，感兴味的读者可通过该编号查阅完整原文。

你有莫得试过让两个说着不同方言的东说念主相互寄语？假定一个东说念主只说粤语，另一个东说念主只说闽南语，中间那位寄语的东说念主若是不懂这两种方言，音尘就会失真甚而根柢传不外去。这个窘境，在面前东说念主工智能领域相似真实存在——而且范围更大、影响更深。

这项估量措置的，恰是面前最刚劲的AI话语模子之间一说念险些无东说念主能买通的隔膜。

一、为什么AI之间会相互"听不懂"

要邻接这个问题，需要先了解当代话语AI是何如"读"翰墨的。普通东说念主阅读著述时，是一个字一个字地看。但AI话语模子读翰墨的款式更接近速读高东说念主：它们不是逐字阅读，而是将翰墨切成一块一块的"词片"来处理，这个切割器具就叫作念"分词器"（tokenizer）。

以英文为例，单词"playing"可能被切成"play"和"ing"两片，"unfortunately"可能被切成"un"、"fort"、"unate"、"ly"四片。不同的AI厂商根据我方检会数据的特色，瞎想了各自不同的分词有规划，于是出身了各自利有的"词汇表"。Meta公司开发的Llama模子的词汇表约莫有12.8万个词片，而Qwen模子的词汇表约有15万个，谷歌的Gemma系列则又是另一套体系。

这带来了一个实验问题。在AI领域，有一种极为灵验的工夫叫作念"知识蒸馏"（knowledge distillation）——简略说，就是用一个弘远、强悍的"淳厚"AI，去检会一个轻量、快速的"学生"AI，让学生接收淳厚的才气。这种工夫关于把巨型AI"瘦身"成能在手机上运行的小模子至关裂缝。但现存的蒸馏工夫有一个根柢前提：淳厚和学生必须使用并吞套分词有规划，领有弥散换取的词汇表。

换句话说，若是淳厚AI和学生AI说的是不同的"方言"，传统顺次就弥覆没效了。估量者们把这个难题称为"跨分词器蒸馏"（Cross-Tokenizer Distillation，简称CTD），而在这篇论文发表之前，这个问题在学术界基本被视为悬而未决的难题。

二、前东说念主都想了哪些办法，为何都不太理想

在这支MediaTek Research团队提议新有规划之前，学术界也曾有一些估量者尝试绕过这说念扼制，但每种顺次都有其较着的局限。

一种想路是"强行对王人词汇表"——就像手动制作一册粤语-闽南语对照字典，试图找出两套词汇表之间的对应干系。法国估量者Boizard等东说念主提议了一种基于"最优传输表面"的顺次，通过数学技能让两套不同的输出空间尽量对王人。Wan等东说念主则尝试把多个AI的知识会通在一齐。Zhang等东说念主提议了"双空间蒸馏"，同期在词汇层面和荫藏暗示层面作念对王人。还有Minixhofer等东说念主提议通过"访佛似然匹配"来作念通用跨分词器蒸馏。

这些顺次无一例外，都需要瞎想小巧的启发式计谋、引入止境的复杂机制，而况在表面上存在信息死亡——就像那本对照字典恒久不行能作念到弥散精准，两种方言之间总有无法逐个双应的抒发。

另一种更原始的想路是"样本蒸馏"——让淳厚AI先生成一批文本，再让学生在这批文本上进行普通检会。这相配于不径直传授想维款式，而是让学生师法淳厚写出来的功课。这种顺次野心遵循低下，而且死亡了淳厚在每个词上的雅致概率判断。

这两类顺次的共同缺陷在于：它们都在试图强行架设一座团结两种不同话语体系的桥梁，而这座桥自己就是不结识的。

三、字节：扫数AI都能"听懂"的底层话语

MediaTek Research团队的冲破口，来自一个看似简略却颇为精妙的发现：扫数的分词有规划，不管是Llama的、Qwen的照旧Gemma的，最终都诱骗在并吞套基础之上——字节（byte）。

字节是野心情处理翰墨的最基本单元。任何一段翰墨，非论是汉文、英文照旧阿拉伯文，在野心情里最终都会被暗示为一串字节序列。扫数的分词器，本体上都是先把翰墨转机成字节，再在字节的基础上进行切割和归组。换句话说，字节是扫数AI话语体系共同的"地基"。

这个发现促成了本文提议的顺次：与其徒劳无功建造一座团结两套词汇体系的桥梁，不如径直找到它们共同耸峙的那块地基。估量团队把这个顺次定名为"字节级蒸馏"（Byte-Level Distillation，简称BLD）。

四、字节级蒸馏是若何责任的

中枢想路不错用一个直不雅的场景来邻接。假定你要把一位法语厨师的深通厨艺传授给一位汉文厨师。传统顺次是：先把法语食谱翻译成汉文，但翻译经过中不免有偏差，有些法语烹调见地根柢莫得对应的汉文词汇。而字节级蒸馏的想路是：绕过话语扼制，径直让两位厨师都去不雅察食材自己——食材是无国界的，一块牛肉对法国东说念主和中国东说念主来说莫得分辩。

在AI的天下里，"字节"就是阿谁无国界的食材。

具体操作分为两个明晰的智商。

第一步是为学生AI装配一个"字节级感知器"。估量团队在预检会好的学生模子上，在其原有的词汇输出层傍边，并联装配一个轻量级的字节级解船埠（byte-level decoder head）。这个止境的模块由10个并行的线性投影层组成，每一层庄重预测刻下词片位置对应的一个字节是什么。这个解船埠的参数目比拟通盘模子来说相配小，但它给学生AI开了一扇全新的窗口——能够用字节这种通用话语来感知和抒发信息。字节级词汇表只包含256个可能的字节值加上4个特别标志（序列开动、序列完结、填充、未知字符），共260个元素，比任何分词词汇表都要浅近得多。

第二步是通过字节这个共同通说念完成知识传递。关于淳厚AI，估量团队借助Vieira等估量者开发的一套算法，将淳厚在词汇层面的输出概率转机成字节层面的概率——也就是说，在给定一段已有翰墨的情况下，淳厚合计下一个字节是'a'的概率是若干，是'b'的概率是若干，以此类推。这个转机经过不是杜撰推断，而是有严格数学依据的：通过对扫数可能的词片分割有规划进行加权乞降，精准推导出字节层面的概率散播。

有了淳厚在字节层面的"判断"，以及学生通过新装配的字节级解船埠作念出的"判断"，两者之间就不错进行径直比较，用"KL散度"这个数学器具来量度差距，并通过检会让学生的判断尽量结伴淳厚的判断。与此同期，检会经过还保留了两个援助目的：让学生在原有的词汇层面不时预测下一个词片（确保词汇层的解船埠也能得到更新），以及在字节层面预测下一个字节的正确谜底（确保字节感知才气的得当性）。三个检会目的协同作用，组成了完整的蒸馏死亡函数。

检会完成后，阿谁临时装配的字节级解船埠会被摘除，留住的是一个神态全非、使用新分词有规划的学生AI——它的里面知识也曾从淳厚那边接收罢了，外在却是一个法度的、干净的话语模子。

五、一个毒手的工夫细节：若何把词汇概率变成字节概率

把淳厚的输出从词汇层面转机到字节层面，听起来简略，实验上波及相配精妙的数学处理，邻接这少许有助于咱们更好地意识这个顺次的价值。

问题的难点在于，一个词片（token）频频包含多个字节。比如英文词片"playing"包含7个字节。淳厚AI在某个时刻输出的，是对下一个完整词片的概率散播——"playing"有30%的概率，"played"有25%的概率，等等。但咱们需要的是对下一个字节的概率散播：下一个字节是'p'的概率是若干？

这个转机的表面依据来自"字节-词片暗示引理"（Byte-Token Representation Lemma），由Phan等估量者系统论说，而Vieira等估量者提供了高效的访佛野心算法。中枢想想是：关于任何一段已有的字节序列，下一个字节的概率等于扫数"遮蔽"该字节序列的词片序列的概率之和。具体野心时，算法通过"集束搜索"（beam search）的款式，在扫数可能的词片分割旅途中找出概率最高的若干条，以此访佛全局谜底。

估量团队对这套访佛算法进行了仔细的参数调优。他们测试了不同的集束宽度K（保留若干条候选旅途）和剪枝阈值ε（概率低于若干的旅途不错丢弃）。评估法度是访佛斥逐与高精度参考斥逐之间的"詹森-香农散度"（JSD），这个斟酌不错邻接为两个概率散播之间的"相似进度"——数值越接近0，说明访佛越精准。

经过测试，估量团队发现K=10、ε=0.01这个组合是最好均衡点：访佛误差只好0.0045，远低于会影响卑劣任务进展的阈值0.005；同期，内存使用量只好高精度参考设立的十分之一，使得更高的并行度成为可能。实验运行时，在四块NVIDIA RTX 3090显卡上，处理100到150字节长度的序列平均只需约10.4秒。用这套设立处理完通盘Tulu-3检会数据集的字节概率，亚搏app下载约莫需要两天时刻——这是一次性的离线预测算，不影响实验检会速率。

六、实验何如瞎想的，和谁比较

为了考证字节级蒸馏的实验恶果，估量团队严格免除了Minixhofer等东说念主在同类估量中诱骗的实验框架，瞎想了三类任务，遮蔽了实验愚弄中最常见的场景。

第一类是"BPE到BPE的分词器迁徙"——把一个也曾检会好的模子从一套词片分词有规划迁徙到另一套。具体操作是：取Meta的Llama 3.2 3B（30亿参数）指示跟班模子，把它的分词器换成阿里巴巴Qwen 2模子所使用的分词器，然后用不同的蒸馏顺次让这个"换了话语体系"的模子再行学会运转。对比的基准顺次包括：仅作念监督微调（SFT）、DSKD双空间知识蒸馏、MinED最小裁剪距离对王人法，以及ALM+SFT访佛似然匹配顺次。

第二类是"BPE到字节级的分词器迁徙"——这是更极点的场景，相配于把一个风气以词片为单元想考的模子，改形成一个逐字节处理翰墨的模子。相似使用Llama 3.2 3B当作起始，将其变嫌为字节级话语模子。

第三类是"确实的跨模子、跨分词器蒸馏"——这是最迫临实验愚弄需求的场景。具体任务是：把专诚针对数学问题优化的OpenMath2-Llama 3.1 8B（80亿参数）淳厚模子的数学才气，蒸馏到谷歌的Gemma 2 2B（20亿参数）学生模子中去。淳厚和学生不仅分词有规划不同，架构和检会布景也弥散不同。检会数据使用OpenMathInstruct-2数学指示数据集，评估在GSM8K（小学数学愚弄题）和MATH（竞赛级数学题）两个法度基准上进行。

检会计谋上，估量团队对扫数顺次调解使用LoRA低秩符合工夫（rank=64），只更新查询和数值投影矩阵，其余主干权重保抓冻结。学习率设为2×10??，领受余弦衰减加线性热身的诊疗计谋，检会5个轮次，最大序列长度512词片，使用bf16夹杂精度。这么的调解竖立确保了不同顺次之间的公道比较。

七、实验斥逐说明了什么

在分词器迁徙（从Llama词汇表切换到Qwen词汇表）的斥逐上，字节级蒸馏展现出具体的竞争力。在PiQA（物理知识推理）上，BLD得到了75.68分的最高获利，与原始Llama 3.2 3B的75.46分险些抓平，说明通过字节通说念传递知识后，模子在知识推理上归附得相配充分。在汉文AGIEval（AGI-ZH）上，BLD相似拿到了最高的35.97分。在MMLU（大范围多任务话语邻接）和BoolQ（是否判断）上，BLD的进展也接近原始模子水准。

有关词，BLD并非在扫数方面都最优。ALM+SFT在ARC-Challenge（科学推理）、BoolQ、MMLU、英文AGIEval四个榜单上起先。最值得堤防的短板出现在IFEval（指示跟班才气评估）上：BLD只得到30.58分，而MinED达到62.83分，ALM+SFT达到58.51分，原始模子的基准是66.31分。这说明字节级蒸馏面前在保留模子"按特定形状和范例输出"的才气上存在较着不及。

在更难的场景——把模子迁徙到字节级分词器上——扫数顺次都遭逢了大幅性能下滑：MMLU从60.50骤降至约39分区间，ARC-Challenge从45.73降至约31-33分区间，这反应出将一个以词片为想维单元的模子改形成逐字节运作的模子，是一项根人道的挑战。在这个沉重场景下，BLD在PiQA上以67.52分略起先于MinED的67.41分，但差距聊胜于无。各顺次的进展差距远比第一类任务小，说明在极点清贫的情形下，扫数顺次都触到了相似的才气天花板，莫得哪种顺次能确实破局。DSKD在两类迁徙任务中都垫底，阐发了不作念任何词汇对王人而径直进行散播匹配的款式在这类问题上行欠亨。

在跨模子、跨分词器的数学蒸馏任务中，BLD在GSM8K上以62.55分（±1.33）得到了所测顺次中的最高分，杰出了ALM+SFT的61.56分和纯SFT的59.29分，也大幅高于Gemma 2 2B原始基准的51.48分。不外，在更难的MATH竞赛题上，SFT反而以22.40分起先，BLD为20.08分，说明BLD的上风并不均匀地遮蔽扫数数学任务类型。尽管如斯，即等于最好获利（62.55分）与淳厚模子（87.26分）之间，依然存在杰出24分的巨大领域，这明晰地教唆了跨模子知识迁徙仍是一项远未措置的难题。

八、一个道理的"随机发现"

估量团队在考证字节级解船埠的灵验性时，用Llama 3.2 1B模子作念了一个纯字节级监督微调实验——也就是说，只用字节层面的预测误差来更新模子，根柢不给词汇层面任何径直监督信号。

出其不备的是，词汇层面的检会损成仇考证死亡也随之下落了，而且下落趋势相配平滑结识。字节层面的检会死亡从约0.8降到约0.1，考证死亡从约0.44渐渐降至约0.34；词汇层面的检会死亡从约3.5降到约1.5，考证死亡从约2.8降到约2.0。

这个发现颇具启示道理：在字节粒度上学习话语，能够灵验地带动词片粒度上的话语邻接才气擢升。字节层面的信号并不是一种简略的替代品，而是佩戴着丰富的、能够浸透到更高级次的话语知识。这也从另一个角度印证了"字节是话语的通用地基"这一中枢直观。

九、浑厚濒临局限性

估量团队并莫得规避这项责任的局限性。野心资源的敛迹使得实验范围被限定在3B（分词器迁徙任务）和8B到2B（跨模子蒸馏任务）的范围内，更大范围模子上的举止尚未探索。参数高效的LoRA微调诚然镌汰了野心需求，但也可能限定了性能上限——全参数优化大致能得到更好的获利。

字节级解船埠的瞎想也还有越过空间。面前使用的是10个并行的简略线性层，每个位置最多预测10个字节的信息，关于词片长度杰出10字节的情况（诚然较罕有），监督信号会被截断。更先进的作念法不错是使用一个微型自总结Transformer当作字节级解船埠，让它能够按限定生成苟且长度的字节序列，从而捕捉字节之间的序列依赖干系——这一创新标的在论文中被明确列为异日责任。

此外，估量团队对斥逐的评价保抓了相配的克制：他们明确指出，在扫数测试的任务和基准上，莫得任何一种顺次（包括他们我方的）能够抓续结识地优于其他顺次。不同的基准、不同的迁徙目的、不同的模子对，会导致人大不同的顺次排行。由此可见，跨分词器蒸馏在刻下阶段仍然是一个通达性问题，距离竣工措置还有相配距离。

归根结底，这项估量作念到的事情是：用一个出东说念主预感地简略、表面上班班可考的有规划，说明了字节层面是跨AI知识传递的一个可行共同界面。它莫得措置扫数问题，但它开辟了一条此前险些无东说念主明确探索过的旅途，而况用充分的实考凭证标明，这条路值得不时走下去。

关于那些正在想考若何高效组合不同AI系统、或者但愿把某个专科领域的大模子知识"压缩"进小模子的估量者和工程师来说，这个标的有着相配实验的道理。当各家AI厂商都在构建我方的分词体系，当开源生态中并存着数十种互不兼容的模子家眷时，找到一个通用的知识传递渠说念，其裂缝性显而易见。字节，这个野心情天下里最基础的存在，大致恰是买通这些孤岛的那把钥匙。有兴味深化估量这一问题的读者，可通过论文编号arXiv:2604.07466查阅完整原文及扫数工夫细节。

Q&A

Q1：字节级蒸馏（BLD）和传统知识蒸馏有什么根柢分辩？

A：传统知识蒸馏条件淳厚AI和学生AI使用弥散换取的词汇表，因为蒸馏是在词汇层面径直比较输出概率。BLD的不同之处在于，它把淳厚的输出概率从词汇层面转机到字节层面，同期给学生模子临时装配一个字节级解船埠，让两者都在"字节"这个扫数AI共有的底层话语上交流知识，从而绕过词汇不匹配的问题。蒸馏完成后，字节级解船埠会被移除，学生归附为法度的词汇级模子。

Q2：字节级蒸馏在哪些任务上恶果不好？

A：根据实验斥逐，字节级蒸馏在"指示跟班"才气上存在较着短板。在IFEval基准测试中，BLD只得到30.58分，远低于MinED的62.83分和ALM+SFT的58.51分。此外，在MATH竞赛级数学题上，BLD的20.08分也低于纯监督微调顺次的22.40分。这说明当任务条件模子严格免除特定形状范例或派遣复杂推理时，字节级蒸馏的上风会削弱甚而覆没。

Q3：跨分词器蒸馏在实验中有什么用？

A：实验愚弄场景主要有两类。一是把某个专科领域的大模子（比如专诚检会了数学才气的大模子）的知识迁徙到一个使用不同词汇体系、参数目更小的模子中亚搏app，得到高效的专科小模子。二是在多个不同厂商的顶级开源模子之间进行集成蒸馏，让一个小模子同期学习来自DeepSeek、Qwen、GPT等多个模子的抽象知识，表面上不错超越任何单一训导模子的才气。

开云app登录入口

• amp
• quot
• 亚搏app
• 英国
• 相互