以开发之名|华为校园开发者:为美好“发声”,让听障者交流更顺畅

砍柴网  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

你是否遇到过这样的场景——公交车上、餐厅里两个人在用手语快速交流。 科技 发展日新月异,数字技术不断创新,应该给包括听障人士在内的所有人创造美好,不让任何一个人在数字世界掉队。能为听障人士做些什么呢?

为帮助听障人在日常生活中自如交流,更方便地融入社会生活,有一群来自华中科技大学的青年学子通过大量实际调研并利用专业所学开发出了知音App,可通过语音识别、手语手势识别等AI技术将语音转文字让听障人看到或将文字转语音让健听人听到。团队还在App中嵌入了专业手语客服视频在线,希望未来能随时随地帮助听障人交流。

以开发之名|华为校园开发者:为美好“发声”,让听障者交流更顺畅  

团队听障者冯桂杰的真实反馈让知音App不断优化,更贴近听障人需求

“我们希望通过科技的力量帮助听障人士解除生活静音键,感受生活烟火、虫鸣鸟叫和清风细雨。”秉持着这种信念,这群年轻人希望帮助听障人活得有声有色。对于这样一个倾注了团队热情和心血的产品,团队希望能借助更多的外部力量让更多有需要的人了解并使用到知音App。而在产品二次优化过程中,知音App非常重要的体验改进则来自华为HMS Core提供的语音识别与合成等技术支持。如今,知音App已经参加了2021华为HMS全球应用创新大赛,同时也加入了华为耀星计划,这让团队有了更多动力和信心将知音App持续推向市场惠及更多听障人群。

置身于听障者日常生活,倾听来自他们的“声音”

“社会在飞速发展,听障人群却往往在沟通中遇到诸多障碍。很多看似日常的小事,对他们来说都格外奢侈,而他们又是非常渴望交流的。”知音App团队对听障人群有着特别的关注,这要源于他们长期在聋人学校做志愿服务的经历,不会手语和聋人儿童沟通非常麻烦。朱佳怡作为团队一员,则讲述了一次去养老院做义工的经历,“当时遇到一位后天听障老人,有着意料之外的开朗热情,每次看到义工们,他就会特别开心地跑过来比手势,想要交流。后来了解到由于听障,他和家人疏于交流,长期在养老院的生活也让他日显孤单。我特别难过,觉得这部分群体不应该被忽略。”很多类似经历让团队越来越清晰地了解到听障人群的社会现状,并深受触动。于是,这群定期探访听障人群的年轻人一拍即合,希望发挥各自力量开发出一款能真正帮助听障人群交流的产品。他们分别来自信息系统专业、产品设计专业、市场 营销 专业等,专业不同初衷相同的青年学子为此倾注着满满精力和热情。

以开发之名|华为校园开发者:为美好“发声”,让听障者交流更顺畅  

知音App希望帮助听障人群建立信心,更好融入社会生活

“产品的实用性一定要通过目标用户的不断体验加以验证,好的应用一定是能满足用户需求的。而要想开发出好的听障辅助应用,就要深入到听障人群当中。”为此,团队与听障人群保持着长期沟通,项目创始人周江南更曾跟听障人群同吃同住过一段时间,有很强的同理心,因此非常熟悉他们的需求,这也是保证产品实用性的关键因素。团队中的冯桂杰是一名听障者,同时担任产品体验官,对知音进行更细致更真实的反馈,并提出针对性的建议,从而确保产品的精准优化。他坦言:在知音不仅学到了很多技术和知识,还感受到了爱和力量。

此外,为促进听障人交流沟通速度,更方便地享受生活,团队目前在研发一款AR智能眼镜,由话筒、镜片屏幕、摄像头、喇叭等组件构成。借助技术手段,话筒可捕捉健听人语音,AI手语客服将语音转化为文字显示在屏幕上让听障人看见,同时摄像头可获取听障人手语,AI算法将其转化为语音通过喇叭播放。目前相关功能均在完善中。 

授人以鱼不如授人以渔,华为HMS让知音App更懂听障人

从成员招募、调研、志愿服务、设计,热爱听障公益事业且具备同理心是知音团队不变的坚守,也是团队像知音朋友一样和听障人群对话并帮助建立自信的初衷。而数字化时代,公益和科技有着更深层次的相辅相成关系,为开发出更契合听障者的产品,知音团队一直在积极寻找更具针对性的先进技术支撑。

“调研过程中,我们第一个想到的便是华为,因为语音识别与合成是产品的核心功能之一,这方面团队无法自己完成,依托华为HMS Core的语音识别合成技术进行扩展是最优解。”知音App团队介绍道,“集成HMS Core的ML Kit后,我们的产品有了更为具体的优化。比如声音场景识别,可以充当听障人的耳朵,帮助听障人识别周围的场景,而语音识别合成是非常快速的集成,可充当嘴巴发出声音,从而产品更为理想化。”具体而言,语音识别、语音合成和声音识别等页面是知音App的核心功能页面的一部分。听障人可在声音识别页面按住“开始”按钮,把说话人的实时语音转化为文字;可在语音合成页面输入文字,点击“开始合成”按钮把文字转化为个性化语音播放出来。在产品测试过程中,集成HMS Core的ML Kit的则让知音App对场景语音识别更精准,语音合成更快速,交流体验更顺畅。

说起集成HMS Core的ML Kit,团队还分享道,“在这之前,我们对AI技术和机器学习的底层技术不太了解。加入华为开发者联盟后,我们得以浏览到很多华为开发者文档,对AI技术有了更深入的了解,其中声音场景的识别帮助我们优化了很多解决方案。”目前,二次优化已进入技术收尾阶段,不久将在华为应用市场上线。

如果没有声音,我们的世界会变成怎样呢?城市没有喧嚣、森林没有鸟叫,围绕我们的或许是一片沉寂。“听障人群不应陷入沉寂。知音App愿意搭建起听障人信息交流的桥梁,与他们有更好沟通并建立他们的信心,让每一位听障人士得以自由交流、表达感受、分享快乐。我们觉得这是一件特别有意义特别酷的事情。”知音App团队年轻的声音里洋溢着坚定和憧憬。

随意打赏

提交建议
微信扫一扫,分享给好友吧。