基于管制语音识别的航空器冲突告警技术研究
刘 岩,王 冠,续龙飞,王 煊
(中国电子科技集团公司第二十八研究所空中交通管理系统与技术国家重点实验室,南京 210007)
基金项目:国家重点研发计划(项目编号2016YFB0502405)。
作者简介:刘岩(1979—),男,硕士,高级工程师,研究方向为航空器监视数据处理、飞行安全告警。
王冠(1984—),男,硕士,高级工程师,研究方向为空中交通管制辅助决策技术。
续龙飞(1988—),男,硕士,工程师,研究方向为空中交通管制工程与技术、大数据处理。
王煊(1990—),男,博士,工程师,研究方向为语音识别、自然语言理解。
摘 要:管制员作为航空运行的重要参与者,其管制行为主要是发出的语音指令,管制语音指令是飞行安全的重要影响因素。因此,如何采用智能化的手段对管制语音进行处理并融入系统应用,具有重要的现实意义。本文针对这一需求,研究基于管制语音识别的航空器冲突告警方法,过程是识别管制员的语音指令,处理指令生成系统可识别的结构化信息,根据结构化的管制指令信息推测航空器未来一段时间的运行意图,实现航空器之间的飞行冲突检测,并对空管自动化系统应用方法进行设计,提升飞行安全保障能力。
关键词:语音识别;飞行冲突告警;管制指令
Conflict Warning Technology of Aircraft Based on Controlled Speech Recognition
Liu Yan,Wang Guan,Xu Longfei,Wang Xuan
(State Key Laboratory of Air Traffic Management System and Technology,Nanjing 210007)
Abstract:As an important participant in aviation operation,the control behavior of the controller is mainly voice command,which is an important factor affecting flight safety.Therefore,how to use intelligent means to process the control voice and integrate it into the system application has important practical significance.Aiming at this need,this paper studies the aircraft conflict alarm method based on control speech recognition.The process is to identify the voice instructions of the controllers,process the structured information recognized by the command generation system,infer the operation intention of the aircraft in the future according to the structured command information,and realize the flight between the aircraft.Conflict detection is carried out,and the application method of ATC automation system is designed to enhance the flight safety support capability.
Key words:Speech recognition;Flight conflict warning;Control
0 引言
近年来国内外发生了多起飞行安全事故和事故征候。统计资料显示,在过去发生的飞行安全事故中,机器和设备的原因大约占23%,其他因素占1.5%,而人为因素却占到75.5%。在人为因素中,机组原因占35%,管制员原因占25%,机组和管制人员共同的原因占到近40%。尤其是近期发生的“虹桥事件”,两架航班差点在机场跑道发生碰撞,经事后民航局通报,事件中两架飞机垂直距离最短仅19m,翼尖距13m。这是一起塔台管制员遗忘飞机动态、违反工作标准的人为原因造成的严重事故征候。
数据和真实事例显而易见,“人的失误”对航空安全有重大影响。航空运输的高速发展,对空中交通管制工作提出了越来越高的要求,管制员作为航空运行的重要参与者,其管制行为贯穿滑行、起飞、巡航、降落整个飞行过程,是飞行安全的重要影响因素。假如在上述事件中,空管自动化系统能采集管制员的管制语音信息,及时发现管制员发出的错误指令或遗忘的指令,预判可能发生的碰撞事件,给管制员以辅助告警提示,就可以中断事故链,避免事故征候的发生。
可见,采集管制语音并融入系统应用具有重要的现实意义。目前,语音管制指令一直未作为空管自动化系统冲突判断的参考因素,没有考虑管制员人为因素对航空器运行状态的影响。因此,有必要对航空器运行过程中管制员、飞行人员的指令序列对飞行状态的影响进行分析,建立包含管制语音影响因素的飞行冲突告警模型,完善航空器飞行冲突检测手段和方法,降低漏警概率,提升空管自动化系统保障飞行安全能力。
国外在此领域也有一些研究。霍尼韦尔公司正在研究嘈杂环境下的飞行员语音识别技术,用于验证复述指令的正确性。美国Optimal Synthesis公司对冲突告警与解脱技术进行规划,将解析管制语音指令作为场面冲突检测的辅助技术手段。国内语音识别技术在空管领域主要应用于模拟训练系统,实现管制员日常值班通话的训练[1]。
根据以上分析,本文重点研究结构化指令生成、未来轨迹预测和航空器冲突检测技术,并对空管自动化系统应用方法和流程进行设计。因语音识别可采用成熟技术,本文不详细描述。
1 结构化指令生成
将管制语音转换为结构化管制指令包括两个步骤:一是通过语音识别将管制语音转换为文本形式,二是通过自然语言处理将文本形式的管制指令结构化。其中,语音识别包含声学模型和语言模型,可利用深度神经网络完成管制语音转换成管制文字,而自然语言处理则包括词性分析、句法分析和语义分析[2]。文本形式的管制指令的结构化提取过程如图1所示。
图1 结构化管制指令的提取过程
实现从管制语音中提取出结构化管制指令需要四个步骤:一是语音识别,通过语音识别技术将管制语音转换成对应的文本格式的管制指令;二是词性分析,包括中文分词和词性标注,将文本化管制指令转换成词序列,并且对每个词标注相应的词性;三是句法分析,对词序列中每个词之间的排列顺序和词性进行分析,并且产生依存句法树;四是语义分析,通过对句法分析的结果进行语义分析,找出谓词-论元关系,并且填入结构化模板中[3]。
2 未来轨迹推测
从结构化的管制指令中提取出航班号、指令动作等信息,与系统中目标航迹关联后,可采用直接外推法或结合空管数据的方法推测目标未来的运动轨迹。
2.1 直接外推法
如果管制指令动作是运动位置的改变,如航向、高度、速度的变化,采用航迹外推的方法预测未来运行轨迹。如指令为“CES0234 左转45度”根据当前速度和当前航向,把航向调整45度,推测运动轨迹。如果与计划轨迹一致,则按实时运动状态与计划轨迹融合推测运动轨迹[4]。具体算法如下。
考虑目标在二维平面中的运动,根据二维目标运动学方程
上式中(x,y)为目标的位置,v(t)为目标的切向速度,φ(t)为目标航向改变的角度,aq(t)和af(t)分别为目标运动的切向加速度和法向加速度[5]。对于航空器,除了在特定的阶段(比如起飞、爬升等),目标主要做匀速直线和匀速转弯运动,因此,进一步假设aq(t)=0以及af(t)=常数,从而目标运动包含以下两种特殊的形式:
(1)当af(t)=0时,目标做直线运动。
(2)当af(t)≠0时,目标做曲线匀速运动。
设ω=(t),即ω代表目标的转弯角速度,则对目标进行直接外推的外推模型以及模型参数都取决于ω,从而形成以下的直接外推算法结构,如图2所示。
图2 外推算法结构
1)ω估计器
对目标的转弯角速度ω进行估计:
其中,ωk,ωk+1分别为k时刻以及k+1时刻的转弯角速度,T为采样间隔,τω为角速度的时间相关常数,wω,k为白噪声。(2)式根据观测输入,采用最小二乘法求解。
2)外推模型
目标外推模型为
其中,Xk=[xk,vxk,yk,vyk]T,xk,vxk,yk,vyk分别为目标k时刻的x轴位置,x轴向速度,y轴位置和y轴向速度,wk为白噪声。噪声阵见(4)式。
转移矩阵A(ω)由二维目标运动学方程离散化得到,取决于转弯角速度ω,具有两种形式:
当ω=0时:
当ω≠0时:
通过矩阵计算,可以得到外推轨迹k时刻的坐标和目标速度为xk,vxk,yk,vyk。
2.2 结合空管基础数据方法
如果管制指令包含了机场跑道、跑道等待点、滑行道、起飞程序、降落程序、停机位、航路航线、走廊口点、导航点等信息,使用这些信息预测未来的运行轨迹。如果指令为“CES0234 可以起飞”,需要结合跑道位置长度等基础数据、离场程序和能量守恒原理等推测运动轨迹。下面以起飞滑跑阶段未来轨迹预测为例进行说明。
垂直剖面主要表征飞机的纵向运动,此飞行过程中飞机所受的外力主要有发动机推力、升力、阻力、自身重力以及起飞滑跑段的地面摩擦力[6]。飞行器性能库提供了每种机型在每个飞行阶段采用的推力等性能参数。采用牛顿第二定律和能量守恒原理列出模型方程:
其中,m为飞机重量,g为重力加速度,h为飞机所在高度,F为发动机推力,方向沿发动机轴线与机身轴线形成发动机安装角φp,升力L垂直于飞行速度v,阻力D平行于飞行速度,α为迎角,θ为轨迹角;vTAS为飞行真空速。上面公式中,D=,所述CD和CL是飞机性能参数给定的阻力系数和升力系数,ρ为空气密度,S为机翼面积。起飞滑跑阶段利用式(7)、式(8),求出飞机速度从零加速到离地速度(性能参数规定值)所用时间及距离,进而推测运行轨迹。
3 航空器冲突检测
结合航迹当前位置、飞行参数、预测轨迹及所采用的间隔标准,对航空器A与其他所有航空器进行冲突判断,首先判断水平冲突,当存在水平冲突时,进行垂直冲突的探测。获取航空器A未来一段时间(例如5s)的位置,推测航空器A未来5s的位置,判断航空器之间的水平位置是否符合间隔标准,当水平间隔违背时,判断垂直间隔,然后以5s为间隔,判断航空器之间的位置关系,到预测时间结束为止[7]。只要有一次同时违背水平和垂直间隔标准,就认为存在冲突,具体计算步骤如下。
以元组(x,y,v,h,t)来表示航空器在时刻t的状态,其中(x,y)为航空器在当前时刻t的地理投影坐标,v为航空器在时刻t的速度,h为航空器在时刻t的高度[8]。设航空器A的当前状态为(x1,y1,v1,h1,t1),航空器B的当前状态为(x2,y2,v2,h2,t1),采用前述的直接外推法,分别对航空器A和航空器B进行未来5s保持速度、航向的外推,外推后的航空器所在状态分别为(x3,y3,v1,h3,t1+5)和(x4,y4,v2,h4,t1+5)。外推后航空器A和航空器B相对当前时刻各自飞行的距离分别记为s1和s2。水平间隔标准设为d,垂直间隔标准设为g。
步骤1:判断垂直间隔标准是否被违背,不违背;
步骤2:判断水平间隔标准是否被违背,如图3所示。
按照以下流程来判断水平间隔是否被违背:
(1)首先计算变量A、B、C,如公式(9)、(10)、(11)所示。
图3 水平间隔是否被违背判断方法
(2)计算Δ=B2-4AC,判断Δ的符号。
(3)Δ=0,令ta=-B,判断ta是否在区间(t1,t1+5)内,是则说明水平间隔被违背,否则说明水平间隔未被违背。
(4)Δ>0,令(2A),判断ta或tb是否在区间(t1,t1+5)内,是则说明水平间隔被违背,否则说明水平间隔未被违背。
(5)Δ<0,说明水平间隔未被违背。
4 系统应用方法设计
4.1 管制语音采集方法
采集管制员和飞行员无线电通话时的语音信息,确定是否为一段管制指令,将一段管制指令通过语音通信单元的记录输出端口输入到管制席位声卡的语音输入口(line in),声卡把语音模拟信号转换为数字信号,数字信号发送给PC总线。如图4所示。
图4 管制语音采集方法
4.2 空管自动化系统应用流程设计
可采用如下步骤实现空管自动化系统应用,如图5所示。
步骤1:采集管制员和飞行员无线电通话时的语音信息,将管制指令通过语音通信单元(VCU)的记录输出端口输入到管制席位声卡的语音输入口(line in),声卡把语音模拟信号转换为数字信号,数字信号发送给PC总线。
图5 空管系统应用流程
步骤2:利用采集的数字信号,使用语音识别软件,将数字信号转换为文本信息,将所有管制席位的文本信息统一发送给管制系统服务器。
步骤3:利用生成的文本信息,根据1节管制指令生成方法,形成结构化指令。
步骤4:根据提取出的管制指令,结合管制系统服务器中已有的航空器信息,关联相关航空器,推测待处理航空器当前至未来VSP时间(如3min)的运行轨迹,形成预测轨迹。
步骤5:根据得到的预测轨迹,结合管制系统内其他航空器的当前位置、运动状态或预测轨迹,判断待处理航空器与其他航空器是否存在冲突,存在冲突则在相关管制席位给出告警提示。
5 结束语
管制员管制语音识别应用于航空器冲突检测是智能化空中交通管理的体现。但目前的研究内容要真正应用于管制值班,需要提升的是管制语音的识别正确率,包括中英结合、嘈杂环境等情况下的识别率,这是系统应用的关键。另外,管制语音的识别有其他应用,如管制语音指令直接生成系统指令,可减轻管制员的录入负担,判断管制员语音指令的合理性等,应用前景广泛。
参考文献
[1]刘万凤,胡军,袁伟伟.陆空通话标准用语(英语)的语音指令识别技术研究.计算机科学,2013;(07):131-137
[2]余建潮,张瑞林.基于MFCC和LPCC的说话人识别.计算机工程与设计,2009;(05):1189—1191
[3]由扬.空管模拟训练机的语音应用系统设计研究.南京:南京航空航天大学,2002
[4]彭瑛,胡明华,张颖.动态航迹推测方法[J].交通运输工程学报,2005,3(1):3-8
[5]王超,郭九霞,沈志鹏.基于基本飞行模型4D航迹预测方法[J].西南交通大学学报,2009,44(2):295-300
[6]汤新民,韩云祥,韩松臣.基于混杂系统模型的航空器4D航迹推测[J].南京航空航天大学学报,2012,44(1):105-112
[7]汤新民,安宏锋,王翀.面向冲突避免的航空器地面滑行引导方法[J].西南交通大学学报,2011,46(6):1032-1039
[8]薛磊.场面滑行冲突解脱策略[J].指挥信息系统与技术,2012,3(1):59-63