2、电商机器翻译技术体系的特点
在线上快速发展以及随着集团开始全面国际化的背景下,电商机器翻译平台经过多年的打磨逐渐形成自己的体系。
2.1高性能高并发服务能力
当前在线机器翻译系统提供SMT和NMT两种翻译模型,近两年来由于硬件计算能力的大幅提升和深度机器学习的广泛使用,在翻译质量上NMT翻译质量已经远超传统的SMT模型,不过NMT在计算上的复杂使得NMT在速度上也远慢于SMT。NMT解码速度的提升是系统提供高吞吐,低延迟服务的关键。
2.1.1 分布式并行翻译
当前机翻平台承接的业务相当大的一部分翻译需求为大本文和网页,将这些请求按照对应的格式进行结构化的解析,然后通过分句模型把篇章级的请求分隔为句子级别,然后再分布式批量调用解码服务,这样不仅能大幅提高分布式缓存的命中率,环节性能压力同时也能大幅降低长文本的翻译延迟。
2.1.2 Inference优化
今年NMT已经成了翻译行业的一个标配,随着这种技术的普及也给系统性能带来了新的挑战。这一年多基于GPU的NMT优化极大的提高了系统的解码速度,对系统的解码速度有数倍的提升。
2.1.3 SMT和NMT混合解码
根据实际业务场景,我们发现在处理商品页的时候会出现大量短句,而且这些短句的NMT翻译结果还不如SMT的翻译结果,所以在调用decoder前通过一个策略模块来决策调用SMT或者NMT,从而减少NMT的吞吐量,极大的减少了GPU资源的消耗同时也提升了翻译质量。
2.2 服务全球化以及高可用的保障
2.2.1 全球多机房部署
电商集团的涉及到的多语言翻译业务需求遍布全球,为了更好的支持不同地域的翻译需求同时能尽量减小由于地域带来的访问延迟,翻译平台实现了全球中国、俄罗斯、美国、新加坡多机房部署。 不仅实现了单地域的多机房容灾同时还支持跨地域全球容灾。
2.2.2 多场景差异化支持
电商翻译接入的场景比较多情况也比较复杂,不同的应用场景对系统的要求也不尽相同,所以针对不同的应用场景实现了同步和异步两套处理机制,架构上实现两种不同的对外接口,但是机翻引擎保持同一套代码同一套服务,
同步:
接收到请求后实时的调用后端引擎,能够做到实时返回,用于对rt要求高的场景,另外通过多级缓存进一步的提高吞吐量和降低rt。
异步:
大文本商品翻译和离线翻译场景。通过metaq消息队列实现异步化,通过不同的消息队列来对应用设置不同的优先级,使用信号量来控制不同队列消费的线程数,动态的解决翻译热点时消息堆积问题。
2.3 Transformer 新型神经网络结构
电商机器翻译基于业界最新的Transformer结构进行了网络结构的改进和对词语位置信息的充分利用,全面改进了机器翻译的性能。
2.4 多模态服务能力
现阶段的机器翻译已不仅仅局限于文字到文字的翻译, 多模态的翻译已成为发展趋势。将多模态的信息如语音、图像、类目等通过神经网络进行融合,并利用Attention机制将信息加以聚焦,可以获得良好的效果。电商翻译实时语音翻译demo在云栖大会、CES展会上都有亮眼的表现。