新加坡国家AI计划核心模型更换:从Meta Llama转向阿里巴巴通义千问,Sea-Lion v4登顶东南亚语言榜

新加坡人工智能计划(AISG)近日宣布,其新一代大语言模型Qwen-Sea-Lion-v4已完成核心技术架构的重大调整,全面弃用Meta的Llama系列,转而采用阿里巴巴的“通义千问”Qwen3-32B作为底层基础模型。这一战略性转变旨在更好地服务东南亚地区多元的语言和文化需求,并已在东南亚语言综合评估基准(Sea-Helm)中,在参数小于2000亿的开源模型榜单中位列第一。

此次模型“换芯”的主要驱动因素在于Qwen3对东南亚低资源语言的优越适配性。此前,Meta Llama模型在处理印度尼西亚语、泰语和马来语等语言时表现不佳。相比之下,Qwen3在预训练阶段便覆盖了119种语言和方言,处理了36万亿个token,其原生的多语言架构显著降低了后续针对区域语言进行训练的难度。

此外,Qwen-Sea-Lion-v4在分词技术上也进行了优化。新模型放弃了西方常用的“句子分词器”,转而采用字节对编码(BPE)技术。这使得模型能够更有效地对泰语、缅甸语等无空格切分的字符进行处理,从而显著提升了翻译准确率和推理速度。模型还具备算力友好的特性,经过量化后的版本可在配备32GB内存的消费级笔记本电脑上运行,这对于东南亚地区众多算力资源相对稀缺的中小企业而言,提供了更具成本效益的AI部署方案。

在训练数据方面,AISG贡献了超过1000亿个东南亚语言token,其内容浓度是Llama2的26倍。阿里巴巴则运用“高级后训练”技术,为模型注入了丰富的区域知识,使其能更好地理解和处理新加坡式英语、马来式英语等混合语言现象以及当地的俚语和语境。

性能评估结果显示,Qwen-Sea-Lion-v4在Sea-Helm榜单上表现出色。在印度尼西亚语、越南语、泰语和马来语任务上,该模型平均领先原Llama基线8.4%。同时,它在文档级推理和跨语言摘要等关键指标上也位居第一。

Qwen-Sea-Lion-v4模型已在Hugging Face和AISG官方网站上免费开放下载,并提供了4位和8位量化版本。新加坡政府已将该模型纳入其于2023年启动的、总额达7000万新元的国家级多模态大型语言模型计划(NMLP)中。该计划预计将于2026年在教育、医疗、金融等多个关键领域实现大规模部署,进一步推动新加坡及东南亚地区的AI应用发展。

上一篇:

下一篇:

发表回复

登录后才能评论