智能运维之道:基于AI技术的应用实践
上QQ阅读APP看书,第一时间看更新

2.2.3 自然语言处理

自然语言包括汉语、英语、日语等各种人们日常生活使用的语言,是随着人类发展而逐渐演变的语言,是人类生活学习的重要工具。处理则是包括理解、转换、生成等步骤。自然语言处理是指利用人类日常生活的自然语言与计算机进行交互通信的技术。通过机器对自然语言的音、形、义进行识别、理解、转换、生成,实现人机自由通信,是目前计算机科学、语言学所共同研究的课题。

自然语言处理具体应用包括舆情监测、文本翻译、实体抽取、问题问答、语义对比、机器客服、语音识别等多种形式。所有的自然语言处理都包括两个流程:语义理解和语言生成。语义理解是指机器能够感知语言文本的含义,语言生成则是机器通过自然语言文本的形式表达计算的结果和意图。

自然语言处理是一个层次化的过程,语言学家将其分为语音分析、语法分析、句法分析、语义分析、语用分析5个层次,很好地体现了语言本身的结构。

● 语音分析是依据音位规则、音位形态等找到音节及其对应的词素或词。

● 语法分析是对各词素进行分析,进而获得语言学信息。

● 句法分析是找出短语结构剖析,进而找到词、短语之间的相互关系。

● 语义分析主要是找到词义、结构含义及相结合的含义,从而得到语言所表达的准确含义。

● 语用分析主要是研究外界场景语境对语言产生的影响。