华为发布AI推理创新技术UCM,计划于9月开源

i黑马  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

8月12日,华为正式发布AI推理创新技术UCM(推理记忆数据管理器)。据了解,作为一款以KV Cache为中心的推理加速套件,UCM融合了多类型缓存加速算法工具,分级管理推理过程中产生的KV Cache记忆数据,可扩大推理上下文窗口,实现高吞吐、低时延的推理体验,降低每Token推理成本。华为计划于9月正式开源UCM,届时将在魔擎社区首发。

文章评价
华为发布AI推理创新技术UCM,计划于9月开源 匿名用户
发布
发布

    随意打赏

    提交建议
    微信扫一扫,分享给好友吧。