华为UCM推理记忆管理技术正式开源

i黑马  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

11月5日,据“华为数据存储”微信公众号消息,华为针对AI推理加速的关键技术——UCM(Unified Cache Manager)推理记忆数据管理正式宣布开源。据华为介绍,UCM目前具备四大能力:稀疏注意力、前缀缓存、预填充卸载、异构PD解耦,实现首Token时延最高降低90%,系统吞吐最大提升22倍,并达到10倍级上下文窗口扩展。

文章评价
华为UCM推理记忆管理技术正式开源 匿名用户
发布
发布

    随意打赏

    提交建议
    微信扫一扫,分享给好友吧。