阿里云PAI将神经机器翻译训练效率提升5倍
近两年,神经机器翻译(NMT: Neural Machine Translation)技术异军突起,翻译质量取得大幅提升。但不幸的是,NMT 系统的训练成本非常高,限制了这一技术的大范围使用。
7月12日,阿里巴巴披露的一份技术资料中显示,阿里翻译团队通过使用阿里云机器学习平台PAI实现了模型训练效率5倍的飞跃,并已应用在英俄电商翻译质量优化项目中。
神经机器翻译是一种用于自动翻译的端到端的学习方法,该方法能够克服传统的基于短语的翻译系统的缺点,可以将整个输入句子视作翻译的基本单元。从2016年以来的学术界顶级会议上,几乎全是围绕NMT相关的创新工作,之后谷歌、微软等巨头公司相继发布NMT系统。
在阿里巴巴内部,阿里翻译负责为1688国际站、全球速卖通等提供多语言服务,中国卖家填写的一些中文信息会被机器自动翻译成多国语言。该团队同时还为钉钉、东南亚电商Lazada等提供服务。
去年,他们首次将NMT技术应用在通讯场景下。虽然翻译质量取得很大的提升,但模型训练耗时太长。3000万的训练数据在单块GPU卡上一般需要训练20天以上,才能得到一个初步可用的模型。
之后,他们尝试在阿里云机器学习平台PAI上开发支持分布式训练的NMT系统,并于3月底完成了第一个版本。在英俄电商翻译质量优化项目中,分布式NMT系统大大提高了训练速度,使模型训练时间从20天缩短到了4天。
图:使用不同卡数时,在中英100万训练语料上获得的收敛加速比
PAI是阿里“NASA”计划发布的首个重磅工具,可完全兼容全球主流的深度学习开源框架。同时,底层提供强大的云端异构计算资源,包含CPU、GPU、FPGA。在GPU方面,可灵活实现多卡调度。
在阿里巴巴内部,PAI已经被广泛使用。淘宝搜索使用PAI的参数服务器,可以把百亿个特征的模型,分散到数十个乃至于上百个参数服务器上,打破规模瓶颈。最终实现搜索结果基于商品和用户的特征进行排序。
现在,阿里翻译团队还在破解线上服务处理延时的难题,为神经网络机器翻译模型的大规模应用扫除最后障碍。
彩虹六号智熄时刻确认过眼神我遇上对的人说起彩虹六号,这个游戏可真是让人又爱有恨。在育碧的运营下,彩六一直保持着良好的游戏素质。在平衡性以及更新上都十分的出色。不过最令人诟病的可能就是各种奇奇怪怪的BUG和被别的ldqu
铁血战士曝猎杀升级版中文预告宇宙最强猎手回归R级科幻片铁血战士近日曝光ldquo猎杀升级rdquo版中文预告,宇宙最强猎手再次回归地球,紧张刺激的氛围带来一阵阵ldquo秋凉rdquo。在中文预告中,安静祥和的地球上一个小男
CJ上的这个手游可能是国内最优秀的魂like游戏说到巨人网络,相信大多数玩家首先想到的便是征途系列游戏,在一定程度上,征途引领了中国游戏氪金化的浪潮。尽管巨人可以称为中国网游时代最重要的游戏厂商,但很难把他与硬核3A等游戏元素联
Wegame怪物猎人世界获版署付费测试认可Wegame今天早晨宣布将下架怪物猎人世界,有不少猜测的声音表示是因为未拿到版署版号而下架。根据我了解到的情报,怪物猎人世界在上架Wegame前已经拿到了文化部备案号和版署的付费测
爱情公寓回应偷票房希望帮助进一步查证昨晚,微博上陆续有网友曝出爱情公寓电影涉嫌偷票房,并晒出影票存根,称明明是去看的其他电影,却发现电影票上被换成了爱情公寓。CCTV6中国电影报道对此事予以关注,并发微博征集证据,不
国产圣女战旗新宣传片发布!小姐姐甜美配音解读圣女战旗是一款以法国大革命为背景的策略战棋单机游戏,也是杉果独立游戏扶持基金ldquo跃计划rdquo赞助的第一款游戏。它主要讲述了梦想着进入上流社会的军校毕业生mdashmdas
使命召唤15黑色行动4Beta测试最高画质截图PC版使命召唤15黑色行动4(CallofDutyBlackOps4)的开放Beta测试现已开启,此次多人模式Beta测试将会包含6张地图,其中有2张地图可以在整个测试期间内游玩。
行尸走肉最终季曾经的小女孩成长为坚强的生存者近期Telltale公布行尸走肉系列最终章,行尸走肉最终季(TheWalkingDeadTheFinalSeason)售前宣传视频。视频一开始通过会议展现了游戏第一部最终的结局画面
辐射76新添加的开包抽卡系统并不花钱!辐射76(Fallout76)中,技能点数系统发生了很大的变化,技能的获得升级和使用都离不开新添加的ldquoPerkCards(技能卡片)rdquo。在最近的QuakeCon上有
铁血战士中文新预告公布铁血出征寸草不生R级科幻片铁血战士近日曝光ldquo猎杀升级rdquo版中文预告,宇宙最强猎手再次回归地球,紧张刺激的氛围带来一阵阵ldquo秋凉rdquo。铁血战士中文预告中文预告中,安静祥和的
彩虹六号围攻新干员妹子Clash预告!今日,育碧公布了彩虹六号围攻第三季ldquo暗空行动rdquo新干员Clash的宣传片,这位防守方女干员手持大盾,而且还能放电,令人瑟瑟发抖。彩虹六号围攻新干员Clash宣传片根据