首页 > 读书写作 > 读书写作 > 记忆张量 × 商汤大装置:国产 GPGPU 推理成本反超 A100!

记忆张量 × 商汤大装置:国产 GPGPU 推理成本反超 A100!

发布时间:2025-12-04 21:18:37来源: 18811119908

近日,记忆张量联合商汤大装置宣布,在国产GPGPU上率先跑通业内首个以“记忆—计算—调度”一体化为核心的PD分离商用推理集群。相比传统仅依赖硬件隔离的方案,本次落地将PD分离与记忆张量旗下核心产品MemOS(以下简称 MemOS)的激活记忆体系深度耦合,使Prefill批量化可调度、Decode前台低抖动成为可能。

集群在真实C端负载下实现单卡并发效率提升20%、吞吐提升75%,综合推理性价比达到同代NVIDIAA100的150%。这一成果标志着国产算力体系在大模型商业化路径上首次具备“体系级”竞争力,为高性能模型的大规模落地打开了全新的降本增效空间。



MemOS与PD分离深度耦合,打破性能上线

过去一年中,“PD分离”几乎成了大模型推理优化里最热的技术关键词之一,但一个被反复忽略的现实是:如果只在算力层面做PD分离,而不去重构上层业务路径,那么它能带来的收益其实是有天然上限的。

随着DeepSeek-R1等高性能模型从B端试水走向C端大规模落地,“记忆”已经成为C端产品体验与成本结构的核心变量。只有当PD分离与记忆结构深度耦合,重构“记忆—计算—调度”整体体系,它才有机会真正超越传统意义上的性能上限。

MemOS作为业内唯一一个以记忆为中心,覆盖从底层推理、到记忆模型,再到应用工程进行系统设计的记忆基础设施,它将大模型的认知结构划分为三类记忆:参数记忆、激活记忆、明文记忆。这三类记忆形成了一条跨时间尺度的调度链路,可以进行精细地决策:哪些计算应该前移到Prefill,哪些必须留在Decode,以及任务的保留、降级或淘汰等。

显然,MemOS更适合和PD分离进行结合——它拥有一整套可以“决定如何用这条通道”的调度逻辑,从而把PD分离原本有限的收益空间尽可能压榨到极致。

正因此,本次记忆张量与商汤大装置在某国产GPGPU上的解决方案,真正跑出一版带完整业务语境的R1满血推理集群——不仅在单机和小规模集群实验中有效,而且在严格SLA约束下,可以在12台4P8D架构的商用集群上稳定运行,将PD分离变成“可以被商业化复现的工程范式”。

结构共振,让 PD 分离从优化技巧走向推理范式

在本次联合方案中,商汤大装置提供了让 MemOS 三层记忆结构拥有物理载体的顶层系统级基础设施。依托大装置IaaS的高效算力池、智能算力调度等为模型推理提供稳定的基础设施支撑;并借助Ignite框架提供多后端推理适配、KVCache管理优化、关键算子加速、跨节点通信调优等性能增强,形成体系化的推理优化链路;同时,商汤万象MaaS平台的统一调度策略确保Prefill与Decode服务在高并发场景下始终稳定运行。

集群的底层算力方面, 则由算丰信息提供核心支撑,算丰信息在此次集群中承接管理了所有高性 GPGPU 计算资源、大规模文件对象存储以及高速互联网络服务,为 PD 分离架构的高效稳定运行提供了不可或缺的鼎力支持。

读书写作更多>>

JAPANNEXT推出18.5\"大型便携显示器,FHD 60Hz规格 酷比魔方iWork GT Ultra上架:U5-125H + 16G + 1T售4949元 iQOO 15 Ultra手机双配色首发亮相,2月初见 小米澎湃OS 3 Beta第二期招募开启:小米17系列等8款机型抢先适配 真我realme手机今年4月全面接入OPPO售后服务 美团:2025年快乐生活相关订单增36%,95后消费者占近6成 天猫超市启动闪购年货节 杭州将率先实现闪购4小时送达 马斯克下场抢人!xAI组建「人才狙击队」,极客版HR年薪168万 基础研究进入“从0到1”突破期 Intel纯大核Bartlett Lake最新消息:最高12个P核5.9GHz! 手机周报份额再次出炉:苹果险胜华为,小米陷入苦战! 美团高调入局汽车销售 只剩5年?诺奖得主Hassabis放出AGI时间表:还差一两个技术突破 爆款刚诞生,德邦基金为何急下“谢客令”? 最赚钱对冲基金,要来A股了 新能源车的“硬核”战事,2026年卷向何处? AYANEO首款手机Pocket PLAY跳票 苹果iPhone 18系列、Air2屏幕配置曝光,部分Face ID屏下化 华为智选新品WIKO Hi畅享80 Plus上架,内置6620mAh电池 河声丨推动优化电商“长辈模式”,激发银发消费活力 自变量:具身模型不是把DeepSeek塞进机器人 荣耀Power2发布:10080mAh大电池+2699元起,户外党狂喜 iQOO新机炸场,ROG退场,游戏手机只剩一家? 折叠屏手机领衔 摩托罗拉2026年全系手机型号遭曝光! 2026年了,iPhone se3使用体验分享 苹果上新马年手机壳,售价449元 刷新纪录!智己汽车2025全盘点:销量口碑双丰收,领跑新势力 ​卢放:岚图L3级有条件自动驾驶进入实车测试 沃尔沃汽车12月销量达16063辆,全新XC70蝉联品牌销冠 比亚迪狂销460万完胜!日产破60万,理想意外大跌