更新时间:2025-07-11 05:39:55点击: 6328
元象XVERSE发布中国最大MoE开源模型:XVERSE-MoE-A36B,加速AI应用低成本部署,发布将国产开源提升至国际领先水平。中国最该模型总参数255B,模型激活参数36B,落地达到100B模型性能的登顶「跨级」跃升,同时训练时间减少30%,港台推理性能提升100%,元象源大应用使每token成本大幅下降。发布
元象「高性能全家桶」系列全部开源,中国最无条件免费商用,模型让海量中小企业、落地研究者和开发者能按需选择。登顶
MoE(Mixture of Experts)是业界最前沿的混合专家模型架构 ,将多个细分领域的元象源大应用专家模型组合成一个超级模型,打破了传统扩展定律(Scaling Law)的局限,可在扩大模型规模时,不显著增加训练和推理的计算成本,保持模型性能最大化。出于这个原因,行业前沿模型包括谷歌Gemini-1.5、OpenAI的GPT-4 、马斯克旗下xAI公司的Grok等大模型都使用了 MoE。
在多个权威评测中,元象MoE效果大幅超越多个同类模型,包括国内千亿MoE模型 Skywork-MoE、传统MoE霸主Mixtral-8x22B 以及3140亿参数的MoE开源模型Grok-1-A86B等。
免费下载大模型
Hugging Face:https://huggingface.co/xverse/XVERSE-MoE-A36B
魔搭:https://modelscope.cn/models/xverse/XVERSE-MoE-A36B
Github:https://github.com/xverse-ai/XVERSE-MoE-A36B
官网:chat.xverse.cn
落地应用好且省 登顶港台娱乐应用榜
元象此次开源,不仅填补国内空白,也在商业应用上更进一步。
元象基于MoE模型自主研发的AI角色扮演与互动网文APP Saylo,通过逼真的AI角色扮演和有趣的开放剧情,火遍港台,下载量在中国台湾和香港娱乐榜分别位列第一和第三。
MoE训练范式具有「更高性能、更低成本」优势,元象在通用预训练基础上,使用海量剧本信息「继续预训练」(Continue Pre-training),并与传统SFT(监督微调)或RLHF(基于人类反馈的强化学习)不同,采用了大规模语料知识注入,让模型既保持了强大的通用语言理解能力,又大幅提升「剧本」这一特定应用领域的表现。
高性能「开源标杆」
元象是国内领先的AI与3D公司,秉持「通用机器智能 AGI」信仰,持续打造「高性能开源全家桶」,不仅填补国产开源空白,更将其推向了国际领先水平。
2023年11月,此前国内大部分开源参数多在7B到13B,而行业共识是模型达到50到60B参数门槛,大模型才能“智能涌现”,生态亟需“大”模型时,元象率先开源了XVERSE-65B,是当时中国最大参数开源。
2024年1月,元象又开源全球最长上下文窗口大模型,支持输入25万汉字,还附手把手训练教程,让大模型应用一举进入“长文本时代”。
此次国内最大参数MoE开源,又是给生态贡献了一个助推低成本AI应用利器。
引领文娱应用
借助在AI和3D领域的客户积累,元象也迅速将大模型推向商用。
2023年11月,元象成为全国最早一批、广东省前五获得《生成式机器智能支持运营暂行办法》国家备案的大模型,具备向全社会开放的产物能力。
而在更早的10月,元象与腾讯音乐联合推出lyraXVERSE加速大模型,并借助该工艺全面升级音乐助手“AI小琴”的问答、聊天与创作能力,让她情商与智商双高,为客户提供个性化、更深入、陪伴感十足的音乐互动体验。
元象大模型陆续与QQ音乐、虎牙实况、全民K歌、腾讯云等深度合作与应用探索,为文化、娱乐、旅游、金融领域打造创新领先的客户体验。
MoE工艺自研与创新
MoE是目前业界最前沿的模型框架,由于工艺较新,国内开源模型或学术研究尚未普及。元象自研MoE的高效训练和推理框架,并持续推动工艺创新。
2024年4月推出的XVERSE-MoE-A4.2B中,元象推动MoE专家架构革新。与传统MoE(如Mixtral 8x7B)将每个专家大小等同于标准FFN不同,元象采用更细粒度的专家设计,每个专家大小仅为标准FFN的四分之一,提高了模型灵活性与性能;还将专家分为共享专家(Shared Expert)和非共享专家(Non-shared Expert)两类。共享专家在计算过程中始终保持激活状态,而非共享专家则根据需要选择性激活。这种设计有利于将通用知识压缩至共享专家参数中,减少非共享专家参数间的知识冗余。
此次推出XVERSE-MoE-A36B,继续在MoE效率和效果方面进行工艺创新。
(1)效率方面
MoE架构与4D拓扑设计:MoE架构的关键特性是由多个专家组成。由于专家之间需要大量的信息交换,通信负担极重。为了解决这个问题,我们采用了4D拓扑架构,平衡了通信、显存和计算资源的分配。这种设计优化了计算节点之间的通信路径,提高了整体计算效率。
专家路由与预丢弃策略:MoE的另一个特点是“专家路由机制”,即需要对不同的输入进行分配,并丢弃一些超出专家计算容量的冗余信息。为此团队设计一套预丢弃策略,减少不必要的计算和传输。同时在计算流程中实现了高效的算子融合,进一步提升模型的训练性能。
通信与计算重叠:由于MoE架构的专家之间需要大量通信,会作用整体计算效率。为此团队设计了“多维度的通信与计算重叠”机制,即在进行参数通信的同时,最大比例并行地执行计算任务,从而减少通信等待时间。
(2)效果方面
专家权重:MoE 中的专家总数为 N ,每个 token 会选择 topK 个专家参与后续的计算,由于专家容量的限制,每个 token 实际选择到的专家数为 M,M<=K<N。被选择到的专家计算完之后,会通过加权平均的方式汇总得到每个 token 的计算结果。这里专家的权重如何设置是一个问题,我们通过对比实验的方式来进行选择。根据对比实验的效果,我们选择实验2的设置进行正式实验。
实验1:权重在 topM 范围内归一化
实验2:权重在 topK 范围内归一化
实验3:权重在 topN 范围内归一化
实验4:权重都为 1
对比实验结果
举例说明,假设N=8,K=4,M=3(2号专家上token被丢弃),不同专家权重的计算方式所得的权重如下图:
信息动态切换:元象以往开源的模型,往往在训练前就锁定了训练信息集,并在整个训练过程中保持不变。这种做法虽然简单,但会受制于初始信息的质量和覆盖面。此次MoE模型的训练借鉴了"课程学习"理念,在训练过程中实现了动态信息切换,在不同阶段多次引入新处理的高质量信息,并动态调整信息采样比例。
这让模型不再被初始语料集所限制,而是能够持续学习新引入的高质量信息,提升了语料覆盖面和泛化能力。同时通过调整采样比例,也有助于平衡不同信息源对模型性能的作用。
不同信息版本的效果曲线图
学习率调度策略(LR Scheduler):在训练过程中动态切换信息集,虽有助于持续引入新知识,但也给模型带来了新的适应挑战。为了确保模型能快速且充分地学习新进信息,团队对学习率调度器进行了优化调整,在每次信息切换时会根据模型收敛状态,相应调整学习率。实验表明,这一策略有效提升了模型在信息切换后的学习速度和整体训练效果。
下图是整个训练过程中 MMLU、HumanEval 两个评测信息集的效果曲线图。
训练过程中MMLU、HumanEval的性能曲线持续拔高
通过设计与优化,元象MoE模型与其Dense模型XVERSE-65B-2相比,训练时间减少30%、推理性能提升100%,模型效果更佳。雷峰网(公众号:雷峰网)雷峰网
雷峰网原创文章,未经授权禁止转载。详情见转载须知。
警惕!“美企竟这样绕过禁令,偷拿中国关键矿物”
2025精英童模超级联赛情景背景曲《我命由我不由天》 全网上线
古北水镇官宣“童话古北 奇遇嘉年华”,邀您共赴夏日梦幻之约
2025精英童模超级联赛情景背景曲《我命由我不由天》 全网上线
“南京红老头”已被警方抓获
北京人艺话剧《张居正》折射时代风云
于谦首档个人社交微综艺今日头条独家开播,《一茶两座》以茶会友畅聊人生哲学
2025乌兰图雅“花开四季”广州站定档!邀您沉醉花城,聆听花开的声音
SCOW 首次亮相 HPC China 2022,以算网融合助力“东数西算”工程发展
AIS 5G 携手泰旅局打造数字化出游新体验,助力泰国跃升全球热门目的地
刘瑞祺时尚大片曝光 05后赛车手魅力新生
2025微博电影之夜众星云集,共筑银幕华章致敬光影120载
第十六届信息安全高级论坛暨2024 RSAC热点研讨会圆满落幕
阿里鱼与中央美术学院深度合作,助力中央美院毕业季IP开发创新
千名厂长直播间为中国制造代言,销售外贸优品25亿元
国航系五大航司带你抖音云游重庆,享暑期机票福利
南方电网发布首个「电力大模型」,百度智能云助力「智能电网」
抖音举办“反诈开放日”活动,同步上线首部反诈短剧