服务于全球各领域电子制造客户
公司新闻 行业动态 产品知识
7月23日动静,阿里真武M890超节点已经乐成适配Qwen3.8,并上线阿里云百炼平台提供模子推理办事,这是海内首个乐成运行超2万亿参数年夜模子的超节点。
Qwen3.8是阿里最新旗舰模子,参数范围高达2.4万亿,跑通这一范围的模子需要将参数分离到几十张甚至上百张高速互联的GPU卡,让万亿参数“跑患上又稳又快”。然而,平凡AI集群因通讯带宽的局限,没法满意高吞吐、低延迟、高并发的需求。
真武M890是平头哥新一代训推一体AI芯片,原生撑持FP32到FP4等多种数据精度,可运用在高精度练习、低精度及超低精度推理的全场景。真武超节点实例经由过程ICN Switch 1.0互联芯片,让64张真武M890实现了800GB/s的高速互联,显存范围到达9TB,单实例便可支撑年夜范围2万亿参数MoE模子的专家并行需求。
此外,阿里还有从芯片到云平台层面实现了与Qwen模子的全链路优化,不仅可以丝滑跑通Qwen3.8,还有能显著晋升推理效率、降低推理成本。实测数据显示,经由过程算子优化及软硬件架构协同,该超节点实例于Agentic推理场景中至多可实现1.5倍的推理机能晋升。
下一篇【产品推荐】超小型高频同轴连接器u.fl系列
www@C17com官方
Maggie
微信咨询
黎小姐