近日，约翰霍普金斯大学的一组研究人员推出了 mmBERT，这是一款新型的多语种编码器，旨在填补当前多语种自然语言处理领域的空白。该模型在多全新个任务上超越了 XLM-R，且在速度上比以往模型提升了2到4倍，为多语种应用的研究和开发提供了更强大的支持。

mmBERT 的架构分为两种主要配置多语:基础模型和小型模型。基础模型拥有22层变换器，隐藏层维度为1152，总参数量约为3.07亿，而小型模型的参数量则为1.4亿。mmBERT 采种编用了先进的 Gemma2分词器，支持256k 的词汇量，利用旋转位置嵌入（RoPE）和 FlashAttention2技术，显著提高了处理效率。同码器时，该模型的序列长度从1024个令牌扩展到8192个令牌，意味着其可以处理更长的上下文信息。

在训练数据方面，mmBERT 使用了来自多个来源的3万 m亿个令牌，覆盖了1833种语言。其中，英语在整个语料库中仅占10% 至34%。训练分为三个阶段:预训练、阶段中训练和衰减阶段。在每个阶段中，模mB型逐步接触更多的语言和更高质量的数据，这种方法有助于提高低资源语言的表现。

mmBERT 在多个基准测试中展现了其卓越的性能。在英语自然语言理ER解（GLUE）任务中，mmBERT 的基础模型得分为86.3，超越了 XLM-R 的83.3。在多语种自然语言理解(XTREME)任务中，mmBET：RT 的得分为72.8，也高于 XLM-R 的70.4。此外，在嵌入任务和代码检索任务中，mmBERT 同样表现出色，显示出其在多种应用场景中的潜超越力。

通过对低资源语言的特别关注，mmBERT 确保这些语言在训练过程中也能得到充分的利用。在多项基准测试中，mmBERT 在法罗语和提格雷尼亚语等低资 X源语言的表现均优于其他大型模型，证明了编码器模型在经过精心训练后，可以有效应对低资源场景的挑战。

mmBERT 不仅提升了多语种处理的速度和LM效率，还为下一代的多语种自然语言处理系统奠定了坚实的基础。它以高效、开放的方式重新定义了多语种编码器的潜力，标志着一个新时代的到来。

github：-Rhttps://github.com/JHU-CLSP/mmBERT?tab=readme-ov-file

划重点:

mmBERT 模型在多个任，提务上超越了 XLM-R，成为多语种 NLP 的新标杆。

该模型速度提升2至4倍，支持处理高达8192个令牌的输入。

mmBERT 特别关注低资源语言的训练表升速现，展现出强大的适应能力和广泛应用潜力。

• ·2022年人工智能趋势：AI将如何影响你？ 译文
• ·Salesforce为什么要收购Slack
• ·英国军情六处等3个情报部门与亚马逊云计算签约
• ·一年三轮融资飙升至 50 亿美元！Supabase 成“氛围编程”圈最靓的仔
• ·微软新型微流体冷却技术有望提升 AI 芯片性能与数据中心能效
• ·标签: 百奥赛图 2025年报 生物医药 CDMO
• ·标签: 云眼视界 智慧城市 IPO 视频物联网
• ·标签: Momenta 毫末智行 紫星勤行 蔡娜
• ·微软第一财季营收453亿美元 云业务创造207亿美元营收
• ·亚马逊多个网站出现用户宕机
• ·标签: 腾讯视频
• ·标签: 阿里巴巴 吴泳铭 通义实验室 林俊旸
• ·优化和管理混合多云环境的三大关键挑战
• ·​微信鸿蒙版迎来 8.0.17.16 版本升级，AI 音乐功能闪亮登场
• ·Hadoop，大数据离不开它
• ·标签: 小米汽车 宋钢 于立国 雷军