阿里开源新架构Qwen3-Next,模型训练成本降9成,长文本推理吞吐提升10倍
每经杭州9月12日电(记者叶晓丹)9月12日,阿里通义发布下一代基础模型架构Qwen3-Next。Qwen3-Next针对大模型在上下文长度和总参数两方面不断扩展(Scaling)的未来趋势而设计,采用全新的高稀疏MoE架构,并对经典Transformer核心组件进行了重构,创新采用线性注意力和自研门控注意力结合的混合注意力机制,实现了模型训练和推理的双重性价比突破。
基于这一新架构,阿里通义“打样”了Qwen3-Next-80B-A3B系列模型,开源指令(Instruct)和推理(Thinking)两大模型版本。新模型总参数80B仅激活3B,性能可媲美千问3旗舰版235B模型,模型计算效率大幅提升。Qwen3-Next训练成本较密集模型Qwen3-32B大降超90%,长文本推理吞吐量提升10倍以上,并可支持百万Tokens(文本处理的最小单位)超长上下文。
延伸阅读:
法国巴黎银行:微软(MSFT.US)与OpenAI修订协议落定 为AI进一步加速铺平道路
智通财经APP获悉,法国巴黎银行(BNP Paribas)周二表示,微软(MSFT.US)与OpenAI修订的协议为“人...
解码光的“指纹”(下):如何将光学分析实验室“装进”芯片
在上篇中,我们回顾了光谱学如何成为科学家手中解读物质“光学指纹”的利器。但传统光谱仪的“庞大身躯”仍是其走向更广阔天地的...
四维超声技术清晰呈现器官细微血流,为研究和诊断血液循环疾病提供新视角
来源:科技日报科技日报记者 张梦然法国科学家开发出一种全新超声成像技术,首次在四个维度(三维空间+时间)对活体心脏、肾脏...
