华为UCM推理记忆管理技术正式开源 i黑马 • 29天前 扫码分享 我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。 11月5日,据“华为数据存储”微信公众号消息,华为针对AI推理加速的关键技术——UCM(Unified Cache Manager)推理记忆数据管理正式宣布开源。据华为介绍,UCM目前具备四大能力:稀疏注意力、前缀缓存、预填充卸载、异构PD解耦,实现首Token时延最高降低90%,系统吞吐最大提升22倍,并达到10倍级上下文窗口扩展。 文章评价 匿名用户 发布 发布 随意打赏