超AI入门
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

AI如何进行翻译

那么,什么是深度学习呢?接下来我们会具体地进行解释。首先我们给它下一个定义:深度学习是指使用多层神经网络的机器学习,简言之,深度学习是多种技术的集合。其中具有代表性的技术是“CNN”(卷积神经网络)和“RNN”(递归神经网络)。

CNN用于视频识别,RNN用于语言处理。在这里介绍一下RNN。RNN主要适用于语言处理和语音识别等内容随时间变化的数据。

信息会被输入到RNN当中。比如,将“您好”这句问候语逐字进行输入,输入后,神经网络中的“隐含层”的状态发生变化。“隐含层”是指连接“输入层”和“输出层”的不可见层(既不是输入层也不是输出层)。这层的状态不同,输出的内容也会发生变化。

比如说,两个人见面打招呼问好,

“您好!”

“您好!”

这时人脑的状态由“打招呼前的状态”变为“打招呼后的状态”。打完招呼后,如果再打一次招呼显得很不自然。这种判断标准就是隐含层中含有的信息。隐含层信息发生变化,就会导致接下来的输入层信息、输出层信息以及新的隐含层信息也会发生改变,所以称RNN为“递归型”。

在研发中,需要让RNN学习大量的对话语句。比如,输入语句“我是一名男子学校的学生,很少有与异性接触的机会,因为交不到女朋友,我十分苦恼,去哪儿能找到女朋友呢?请给我一些建议。”RNN会对此生成以下语句:“这样啊!我十分理解你的心情。”随着时间推移,信息不断被输入,神经网络内部的状态也会逐渐发生改变,不断输出最佳的答案。因此必须要事先让RNN学习大量的问答内容。

然而,RNN也有其自身的弱点。那就是它会忘记最先听到的内容。随着时间推移,输入的信息逐渐变化更新,最初输入的信息被逐渐弱化遗忘。所以要保持长期记忆是十分困难的。为弥补这一短板,“LSTM”(长短期记忆)网络被开发出来,使用“Memory Cell”(存储单元)保存信息的结构,改良长期存储性能,自主决定是否对信息进行遗忘。

以上面的对话为例,不能忘记的信息是“男子学校”“与异性接触机会少”“交不到女朋友”。记住以上几个重点信息,即使不能理解问题的意思,也能从答案库中找到合适的答案。

接下来我们聊一聊让RNN参与翻译。RNN在进行对话和翻译时常用的技术是“seq2seq”。

输入英文句子“My father bought me a bike”,翻译成中文就是“我爸爸买了我自行车”,这样的翻译是不够完美的。