海军士官学校,北部战区海军参谋部
摘要:结合增强现实技术,设计某型武器装备维修保障辅助增强系统,着力解决虚实配准、音视频交互传输、三维模型轻量化和人机交互等关键问题,进一步增强维修保障过程的一致性、实时性和代入感,提高武器装备的伴随式维修保障能力和应急处置能力。
关键字:维修保障;增强现实;
增强现实技术通过虚实配准将虚拟对象与真实场景相融合,并将融合图像输出在显示设备,是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术。这种虚拟与真实共存的特点,可以使得非熟练人员能够正确的进行设备维护与保障,达到缩短装备维护周期、提高维护效率质量、降低成本的效果。
一、目的和意义
结合增强现实技术,开发某型武器装备维修保障辅助增强系统,可对武器装备的相关技术资料进行整合优化,缩短武器装备维修保障人员岗位任职能力生成周期;可以辅助完成武器装备的维修保障工作,减少维修保障差错,提高效率;可以对武器装备的应急保障实现远程支援,军事效益显著。
二、系统设计
系统由硬件部分和软件部分两部分组成。系统组成关系图如图1所示。
图1 系统组成关系图
(一)硬件设计
硬件由增强现实眼镜、便携式终端、耳机、微型摄像头、远程支援服务器和网络设备等组成。
1.增强现实眼镜
系统包括一副配备透射型小型显示器的眼镜,可在单眼视野中稍靠外侧的地方显示半透明的影像。由于不会挡住整个视野,且眼镜所用材料是半透明的,因此维修人员一边看维修指导信息一边进行实际操作。
增强现实眼镜系统设计包括光学系统设计、控制与驱动电路设计、软件设计和结构设计四个方面。控制与驱动系统是核心部分,包括控制信号发生电路和显示驱动电路,控制产生光学系统工作所需的满足时序要求的各种驱动信号以及LED彩色时序信号、校正/色校正信号等,显示驱动电路包括行扫描驱动器、列数据输入驱动器(包含DAC电路)和显示驱动矩阵等。
2.便携式终端
作为交互式电子技术手册、维修现场客户端等软件的运行平台;为眼镜上的显示器提供显示输出信息;接收维修人员的语音命令,执行显示内容改变的响应;接收摄像头视频和耳机音频并将其发送到服务器上;为眼镜上的显示器供电。
3.耳机
查看显示内容时,通过耳机获取音频信息;通过耳机将语音命令传给便携式终端,终端响应命令并完成眼镜显示内容的切换;远程支援维修时,通过耳机与专业维修人员进行语音交流。
4.远程支援服务器
采用机架式服务器,包含运行服务器和存储服务器,用于实时接收客户端维修现场视频在显示器上显示出来,供专业技术人员掌握装备故障情况;专业技术人员对维修现场视频进行编辑处理,将维修指导信息以文形字、图片、视频式通过网络传回客户端维修现场。
5.网络设备
完成信息传输的必要设备。
(二)软件设计
软件由便携式终端操作系统、语音识别软件、交互式电子技术手册软件、语音视频通信软件、硬件驱动及程序等组成。
1.操作系统
保证便携式终端操作系统与交互式电子技术手册、网络通信等兼容,增强现实眼镜优先选择Windows嵌入式系统。移动设备优先选择Android操作系统。
2.语音识别软件
将语音识别软件嵌入到便携式语音控制终端,用于识别维修人员的语音命令。功能有两个:一是用语音来控制显示内容的切换;二是作为人机对话查询系统,根据维修人员语音为其提供自然、友好的故障信息检索,提供辅助维修决策。
语音识别采用大数据智能识别原理,分为学习和识别两个过程。在学习阶段,它对语音进行学习,并把学习的内容组织成语音库,建立识别基本单元的声学模型。在识别阶段,对外部接收的语音信息样本与学习组成的语音库进行比对。其原理是根据需要识别的内容选择合适的识别方法,采用语音分析方法分析出这种方法要求的语音特征参数,按照一定的准则和测度与系统模型进行比较,通过判决得出识别结果。
在维修过程中维修人员所使用的语音主要有两类,分别是孤立词和关键词。如“下一页”“上一页”“播放”“暂停”“停止”等词,为孤立词;而“火控计算机无法启动”“扬弹机不工作”中“火控计算机”“扬弹机”“无法启动”“不工作”都属于关键词。语音识别的任务大体就可以分为这两类,所以基本上是对特定的语音识别,这就降低了技术实现的难度。使用智能语音指令识别,不需要模板不需要网络,可在离线数据信息支撑下智能识别语音命令。
3.交互式电子技术手册软件
将交互式电子技术手册安装于便携式终端,作为辅助增强系统的维修保障信息数据源。
考虑交互式电子技术手册的可扩展性、伸缩性和灵活性,这里采用数据层、管理层与应用层结构来组织,各层之间相对独立,耦合性弱,可以单独更新各模块。
武器装备交互式电子技术手册的内容包括原理教学、操作使用、维护保养、故障维修、理论考核、技术资料、备品工具、系统管理八项功能。各模块通过结构树导引、全文检索和超链接文本处理等功能形式完成一线人员对特定信息的查阅。另外用户可以通过搜索来进行数据的全面检索,快速而准确的得到想要的资料数据。
制作交互式电子技术手册的完整过程包括:制定业务规则、确定技术信息粒度(精细程度)、制定数据模块需求列表、编写数据模块、制作插图及其它对象、管理所有信息对象、发布技术信息、交换数据模块等过程,如图2所示。
图2 移动端增强现实三维实时渲染交互手册
手册的“交互式应用”首先通过虚拟现实技术建立起可直接交互的人机界面,用户可直接进行直观的操作体验。软件平台支持的资料形式包括文本、图像、音频、视频、三维模型、三维动画等,从而激发使用人员更有兴趣的参与设备的交互式培训与学习。
4.语音视频通信软件
语音视频通信软件是实现远程支援维修的重要工具,包括维修现场客户端、后方客户端和语音视频通信服务器三部分组成。维修现场客户端负责实时传输前方视频和音频,接收后方的指导信息;后方客户端负责实时传送后方指导信息,接收前方发来的视频和音频;语音视频通信服务器负责前后方用户的管理、连接的建立等,它是保证通信建立的关键。
5.其它相关硬件驱动及程序
如增强现实眼镜的驱动、微型摄像头驱动等。
在武器装备维修保障能力培养中,辅助增强系统能够瞄准实战化演练,将装备实训实修作为维修保障体系能力检验评估的重要内容,既锤炼队伍,又强化能力,大大提高了武器装备的伴随式维修保障能力和应急处置能力。
三、结束语
该系统能在某型武器装备维修保障工作中发挥积极的作用,也可将其扩展到舰艇军械装备的维修保障中去,能发挥出更大的作用。因此,还需要在系统的通用性、一体化等方面进行探索、设计和应用实践。
参考资料:
[1]张秋月等.虚拟现实和增强现实技术在飞机装配中的应用[J].航空制造技术,2017
[2]赵新灿等.增强现实维修诱导系统关键技术研究[J].中国机械工程,2008
[3]吴振宇等.增强现实技术在数控加工实训中的应用[J].各界,2018
[4]贾琼等.基于物体识别的增强现实系统[J].微型电脑应用,2013
[5]刘晓等.增强现实应用中的三维场景模型优化处理技术研究[J].现代电子技术,2019
[6]施国秀等.增强现实装配和维修系统的技术研究[J].装备维修技术,2019