搜狗近日发布了最新一代AI合成主播mdash；mdash；全球首个手语AI合成主播ldquo；小聪rdquo；，从技术上给听障人士获取信息、更好融入社会提供了一种新帮助。 根据世界卫生组织发布的最新数据显示，全球有约4。66亿人有听力障碍，在我国听障人员有2700万人。由于受教育程度参差不齐，除了文字，手语仍是听障人士的第一语言。 手语AI合成主播ldquo；小聪rdquo；是基于搜狗人工智能和AI分身技术打造的ldquo；数字人rdquo；，以打造聋人真正可懂的通用手语播报为目标。ldquo；小聪rdquo；集成了3D数字人建模、机器翻译、多模态数字人生成、迁移学习、实时面部动作生成及驱动等多项AI技术。在组织的聋人可懂度测评中，ldquo；小聪rdquo；的手语播报可懂度可以达到85以上。 手语AI主播创意源于一次网友交流 谈及搜狗打造全球首个手语AI合成主播的初衷，搜狗AI交互技术部总经理陈伟回忆道，2019年的时候看到微博上有一位聋人朋友吐槽自己的搜狗语音没法正常用，无法和朋友交流。在通过私信沟通帮他解决问题后，我们意识到其实听障群体对信息获取这件事情特别有期待。如何更好的用搜狗的技术帮助听障人群获取信息，此后我们开始思考并行动。 事实上，搜狗在AI合成主播领域已深耕多年。从2018年首次推出AI合成主播到现在，搜狗ldquo；数字人rdquo；技术已经进行了多次迭代进化。 但是，和有声语言不同，手语是一种视觉空间语言，以表形表意为主，是通过手势、表情、唇动、姿态等方式来表达的。这也意味着手语拥有自身独特的表达逻辑和特点，比如手语表形度高、词性结构不发达、语序语法结构独立等等。 详细来说，手语的语序，跟汉语语序表达不一样的地方；在词汇方面，手语里没有虚词，没有量词；手语里特有的非手控的信息，比如说表情、口动、身体的朝向这部分在语音语言里是没有的。 相比较搜狗此前推出的数字人语音主播，手语主播ldquo；小聪rdquo；背后又有哪些技术思考和突破呢？ 手语AI主播的ldquo；超rdquo；能力 ldquo；如何把手语语言体系进行计算机应用转化，这件事此前业内并没有特别明确的做法。rdquo；，陈伟分析认为，要做出真正让聋人可懂的手语ldquo；数字人rdquo；，需要解决三个问题：一是，完成手语语言向计算机语言转化。二是，实现健听人和聋人两种语言之间高效高质量转换。三是，驱动ldquo；数字人rdquo；做出逼真的自然连贯的手语动作和面部表情。 在明确了要解决的问题后，搜狗技术产品团队开始有针对性的逐一突破。 陈伟称，要解决上面三个问题，第一需要把手语词汇转化成文字或技术方式标注出来；第二需要构建健听人语序和聋人之间语序之间的平行语料对，这需要大量的机器翻译库；第三需要通过捕捉的方式，预先捕捉大量的真人动作和表情数据，这些数据用来做模型训练。 另外，陈伟强调，此前搜狗做3DAI合成主播时一直强调唇形，最多加上表情。手语AI合成主播还需要加入更多新的维度，比如主播的嘴形、表情、姿态、手部动作一定要保证在同一时间完成。如果嘴形或动作有提前或滞后情况，这样给人的感觉就是表达不够准确。所以技术上要做到充分对齐，通过多模态端到端生成模型进行联合建模及预测，生成高准确率的动作、表情、唇动等序列。 针对手语AI主播项目，搜狗除了内部组建了语言、产品和研发体系外，还专门设置了一个ldquo；顾问团rdquo；。 据说，顾问团由三类型人员组成，一部分是国家官方聋协和残联标准部门专家；一部分是手语学校的老师，能够听懂声音，同时也能打好手语，做手语教学的人；第三部分是手语的使用者，也就是聋人。通过把手语语言专家、工程师、研究员、实际用户集中在一起，持续沟通、产品迭代，最终打造出全球首个手语AI合成主播ldquo；小聪rdquo；。 现在，在数字人效果方面，ldquo；小聪rdquo；使用了3D重光照扫描还原、面部肌肉驱动、表情肢体手势捕捉技术，生产出了高度还原真人发肤、形象逼真、动作自然生动的数字人模型，手语播报的真实感与亲切感大幅提升。 手语表达方面，ldquo；小聪rdquo；能够实现健听人语言与听障者手语语言的机器翻译能力，基于输入的健听人语言能够低延迟生成高准确率的手语语言表征，快速生成数字人手语播报视频，达成信息有效传递。 手语展现方面，ldquo；小聪rdquo；可以完整实现手控信息及非手控信息的表达，手语表征信息，覆盖手部动作、面部表情、口动唇动等多个维度，达到自然、地道、接受度更高的手语表达效果。 自2018年发布全球首个AI合成主播至今，搜狗的ldquo；数字人rdquo；已经广泛应用于广电、媒体、金融、证券、保险、司法、教育、气象等诸多领域。陈伟透露，搜狗手语AI合成主播预计今年年底将实现大规模应用。 【来源：Techweb】【作者：果青】
个人工作总结餐饮第1篇第2篇第3篇第4篇第5篇更多顶部第一篇：酒店餐饮部经理个人工作总结第二篇：餐饮部经理个人工作总结第三篇：餐饮部员工个人总结第四篇：餐饮礼仪课堂个人总结第五篇：酒店餐……公司普通员工年终个人总结多篇多篇〔〕2020公司普通员工年终个人总结多篇【多篇】为好范文网的会员fei169投稿推荐，但愿对你的学习工作带来帮助。伴随着一年的结束，转眼间2020年就要过去了，你们的工作……独立显卡二季度卖出118亿美元同比暴涨1。5倍GPU行业调研机构JonPeddieResearch（JPR）发布的最新报告显示，2021年第二季度，全球独立显卡市场销售额达118亿美元，虽然相比创纪录的一季度有所减少，但同……米奇头扎发教程减龄俏皮变身萌系少女女生们当然希望自己看起来越年轻越好，所以今天介绍的这款减龄米奇头就很受欢迎了，可爱俏皮的发髻打造活泼女生，减龄必学发型！90后女生非常喜欢这款可爱俏皮的米奇头扎发，无论是……北京证券交易所完成工商注册注册资本10亿元据天眼查，ldquo；北京证券交易所有限责任公司rdquo；已经完成工商注册，成立及核准日期为9月3日。北交所注册资本10亿元人民币，登记机关为北京市市场监督管理局，唯一……速龙64处理器不死DDR内存频率冲上432MHz17年前的速龙64时代，AMD风光得意，K8架构性能很给力。直到现在还有人在用当年的CPU冲击超频记录，哈萨克斯坦玩家TerraRaptor日前就用Athlin643700处理……孕妇鼻塞怎么办速效办法三类方法总有一种适合你孕妇鼻塞的速效办法之日常小方法1。蒸汽熏鼻子可以用暖瓶装满热水，慢慢靠近蒸气，注意不要烫到脸，让蒸汽熏一熏鼻子，能让鼻腔通气，每次熏10分钟左右即可见效。或者用葱白……Intel12代酷睿i712700跑分泄露略低于AMD锐龙7近日，有网友在GeekBench跑分网站上发现了Intel12代酷睿i712700的跑分。根据GeekBench的给出的成绩，i712700的单核跑分为1595分，多核跑……NearSpaceLabs完成1300万美元A轮融资随着发射成本的下降、以及一系列其它技术创新，越来越多的初创企业正在将目光瞄向太空。比如近日，致力于使用卫星来收集地球数据的初创企业NearSpaceLabs，就筹集到了1300……韩国女星韩智敏发型时尚漂亮的韩式发型韩智敏发型一款长卷发，一边的部门头发往后面弄一点，搭配白色话图案耳环，红色的唇膏，整个人看起来气质有女人味。韩智敏发型韩智敏把头发全部盘起来，前面的头发弄得稍……去年亏损26亿瑞幸咖啡开始翻身股价一年涨10倍因为业绩造假21亿，有着国产星巴克之称的瑞幸咖啡在过去一年多中不仅被中国监管部门巨额罚款，同时也被美国监管部门处罚1。8亿美元和解金，并强制退市。然而在众人都认为瑞幸发展到头了……惠普推出34英寸带鱼屏显示器165Hz1msHDR400WQ惠普近日上架了一款34英寸的21：9带鱼屏显示器，售价2899元。据悉，这款显示器采用34英寸2KIPS大屏，三边窄边框设计，分辨率达3440x1440（QHD），178……