斗鱼上线AI字幕:洞悉听障人群与海外主播需求 打造极致用户体验

砍柴网  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

静音环境下如何看直播?海外主播讲外语听不懂怎么办?最近这一需求得到了解决。

关注英雄联盟LPL夏季赛的用户不难发现,斗鱼官方直播间新增了一项“不同寻常”的功能。当用户选择“字幕线路”后,直播间底部即会出现一行动态文字,从BP环节的运筹帷幄,到赛场上的瞬息万变,解说的激情讲解句句不落,直播内容均得到了较为准确的翻译。

据了解,这是斗鱼全新上线的AI字幕功能,它不仅能够将直播视频流中的音频进行实时语音识别转化为文字,以字幕的形式同步显示在直播视频流上,而且支持中、英、韩等多语种互译。目前,斗鱼已将这一功能先后面向数十个直播间开放体验,覆盖了英雄联盟S10、英雄联盟LPL夏季赛等大型赛事。

斗鱼上线AI字幕:洞悉听障人群与海外主播需求 打造极致用户体验

行业首创“ 游戏 语言识别模型” 响应速度达毫秒级

通过将机器算法与直播场景结合,斗鱼率先突破了AI字幕的技术壁垒。值得注意的是,相较市场上存在的同声传译、影视剧字幕等翻译产品,在游戏场景内,AI字幕的落地并非易事。

由于游戏直播的特性,主播直播的内容存在大量的游戏术语,尤其是在专业较强的赛事直播中,譬如“腕豪”“雷欧娜”“集火输出”“阵容强势期”等,常规翻译软件通常难以理解。因此,斗鱼AI字幕技术针对游戏直播内容的识别,更“重义”而非“重音”。

与此同时,赛事直播间中解说、游戏和赛场的嘈杂声音,不仅需要识别,还需要打磨工程协同。才能处理好字幕与语音之间的延迟、字幕悬停时长、断句等细节体验。为此,斗鱼制定了“定制化游戏语言识别模型”,提升了对硬核语义,如战队名、队员ID、装备、技能等内容的理解能力,同时过滤“垃圾话”等。并且通过ASR、NLP算法,在主播声、游戏声等复杂的语音环境中,实现了高精度识别,并能支持英语、日语、汉语等多种语言的识别与互译,覆盖不同人群的语言习惯。

据粗略统计,斗鱼AI字幕在保证毫秒级响应速度的同时,翻译精度亦能保持在90%以上。未来,在使用过程中,受益于日积月累的数据沉淀与机器自我学习,AI对于游戏用语、游戏梗的理解精确度也将逐渐提升,不断迭代提升观众的使用体验。

支持中、英、韩等多语互译 拓展多元化场景需求

AI字幕功能上线的背后,是斗鱼对用户使用痛点的精准捕捉,也是对直播产品体验的严格要求,更是对拓展多元化业务的摸索与沉淀。

其一,AI字幕能够满足用户的多元化场景需求,大幅提升了直播观看体验。随着5G技术的演进,用户观看直播的场景从住所、网吧等,逐渐向公交地铁、商场等公共场所转移。一方面,AI字幕能够将用户的双耳从嘈杂的环境音中解放出来,让直播的收看更加方便;另一方面,特有的中日英韩多语互译功能,也能让大多数用户能够看懂海外比赛,削减了观看过程中的语言障碍。

其二,AI字幕满足了听障人群的使用需求。据统计,我国的听力残障人士约2780万人,占全国残障人群的30%以上。今年两会的《政府工作报告》也明确提出,数字产品在设计时应当贴合社会中的弱势人群。而AI字幕的上线能够解决他们难以理解直播内容的难题,让广大听障人士获得和正常人一样地观看直播。

其三,AI字幕能够解决海外主播语言不通的痛点,从而吸纳更多的海外人气主播加入斗鱼;另一方面,通过对多语种实时互译技术的打磨,斗鱼将有条件支持直接翻译发布会内容,如 苹果 和微软的新品发布会,从而打开 商业 合作的多元化前景,为其商业化提供想象空间。

在赛事期间,大量玩家反馈语音识别的便利性,尤其是“静音环境用户”在直播间展开了热烈的讨论,尤其表达了对该功能的认可。

据了解,斗鱼长期投入技术研发,致力于优化用户的使用体验,已在直播技术领域建树颇多。针对赛事直播场景,斗鱼曾推出过实时回放功能、精彩时刻锚点功能,能够实现对直播内容的全程回顾与快速定位,以及能够减少直播卡顿的SRT推流技术等。AI字幕功能的推出,也充分体现了斗鱼对用户需求的强大洞察力。随着平台技术实力的不断升级,斗鱼将以更加细致化的技术革新,带给用户更加极致的产品体验。

随意打赏

提交建议
微信扫一扫,分享给好友吧。