Google 让模型依任务学习路由,有效提高大型语言模型推理效率

Google发布新的新型混合专家模型TaskMoE,大小不只是典型混合专家模型TaskMoE的七分之一,吞吐量更是提升达2倍

Google 让模型依任务学习路由,有效提高大型语言模型推理效率

谷歌在其最新的人工智能研究,发表了一种用于加速大型模型推理的方法TaskMoE(Task-level Mixture-of-Experts),也就是说,使用该方法,在模型扩大的情况下,推理的成本不会显著增加,因此能继续提供有效率的服务。

由于扩展大型语言模型,能够使像是T5、GPT-3和M4这类语言模型的结果,获得明显的提升,因此在追求更高质量结果的目标下,研究人员无不尽可能扩展模型。 建构更大模型的常用方法,通常是增加层数,或是增加层的维度,使模型更深更宽。

这类密集模型采用输入序列,序列会被切分成更小的组件,称为令牌(Tokens),这些令牌会传递给整个网络,活化每一层和参数。 谷歌提到,虽然这些大型且密集的模型,在多自然语言处理任务上获得很不错的结果,但是训练成本也会随着模型规模线性增加。

因此为了降低成本,研究人员开始采用混合专家(Mixture of Experts,MoE)方法,建构稀疏活化模型。 与密集模型方法不同之处,在于传递给网络的每个令牌,会藉由跳过部分的模型参数,依循被称作专家的独立子网络,藉此减少计算量。

而将输入令牌分配给各子网络的决定,则由一个小型的路由网络决定,混合专家方法让扩增模型大小所付出的成本,不会成比例地线性增加,进而提升效能。

但谷歌提到,虽然这是一个有效的训练策略,但是将长序列令牌发送给多个专家,会再次使推理计算成本增加,因为专家会分散在大量的加速器中,像是1.2T参数的GLaM模型,就需要用到256个TPU-v3芯片。 因此又会与密集模型遭遇到相同的问题,混合专家模型提供服务所需要的处理器数量,与模型大小成线性关系增加,因而增加计算需求,并导致明显的通讯开销和工程复杂度。

因此谷歌发展了一种成为TaskMoE的方法,在模型扩展的同时,仍然能够有效率地提供服务。 谷歌的方法是训练一个大型多任务模型,并在推理时,丢弃每个任务未使用的专家,从中萃取出更小、独立的任务子网络,能够适用于推理,又不会损失模型质量,并且显著降低推理延迟,与其他混合专家模型以及使用知识蒸馏压缩(Distillation)的模型相比,谷歌证明,他们的方法在多语言神经机器翻译方面更为有效。

Google 让模型依任务学习路由,有效提高大型语言模型推理效率

谷歌比较TaskMoE、典型混合专家模型TokenMoE和基准密集模型的吞吐量和每秒解码令牌数,TaskMoE模型比TokenMoE模型小达7倍,可以直接在单个TPU-v3芯片上运算,不需要像是TokenMoE使用64个TPU-v3芯片,且TaskMoE吞吐量峰值是TokenMoE的2倍,谷歌提到, TokenMoE模型花了25%的推理时间在设备间的通讯,而TaskMoE几乎没有通讯成本。

以结果来看,在多语言翻译任务中,TaskMoE模型的分数,硬是比经蒸馏的TokenMoE模型平均高了2.1 BLEU。

(0)
打赏 微信扫一扫 微信扫一扫

相关推荐

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注