AR在工业方面的广泛应用
目前,计算机技术加上适当的软件已被有利地应用于实践的各个领域。如果没有适当的计算机辅助(CA)系统,很难想象现代企业中新产品的开发和生产。目前大多数CA系统主要是在新产品的计算机设计领域确定和使用,但只有将这些现代计算机技术完全应用到产品设计和制造的各个阶段,才能为企业带来最大的利润。计算机辅助制造(CAM)系统在与计算机支持相关的生产领域中使用多年。这些系统的开发的流行领域是计算机辅助程序创建的数控(数字控制)生产设备,从完成的生产过程的观点来看,只代表了其中的一部分。产品制造过程中还有其他的过程,例如:在制品的自动运输和产品储存,产品的自动处理,在自动化检验台上进行测量,等等。所有这些部件都是由计算机辅助制造工程系统(CAME)定义的。为了更好地展示制造过程和更好地实现这些领域的教育,使用增强现实是一个非常好的想法。从这个角度来看,增强现实辅助制造的定义和实际应用也是非常好的想法
计算机辅助制造、虚拟制造和增强现实辅助制造
计算机辅助制造(CAM)系统是用于准备数据和程序的系统,用于数字控制机器的自动化生产的机械零件,整个组件,电子电路等。这些系统主要利用计算机辅助设计(CAD)系统对零件进行计算机设计时获得的几何数据和其它数据分别进行产品设计。
计算机辅助系统的历史主要是计算机辅助设计和建造的历史,因此它是与计算机图形学的历史相结合的。在引入计算机图形学之前,用计算机创建和操作实体是不可能的。CAD和构造被简化为计算。
CAM是从50年前开始设计NC机器的概念。这是电子技术和后来的计算机技术进入生产支持领域的第一个推动力。然而,更广泛的发展CAM是通过创造概念的计算机数控(CNC)生产机器,这可以追溯到1970年。由于CAM系统允许CAD系统创建的产品几何形状的数据,可以直接用于为数控和数控生产机器创建数控程序。80年代出现了计算机辅助设计和计算机辅助制造领域的大系统;这些系统就是所谓的CAD/CAM。长期以来,个人计算机领域对CAM系统的吸引力不大。这主要是由于这样的事实,为电脑CAD系统的设计只对2 d图纸关于他们的小计算性能和这些没有处理函数用于创建固体模型,从形状是可能获得项目数控生产机器,也不允许创建有效的数控程序,因为他们的小的计算性能。在90年代初,大型CAD/CAM系统在工作站工作,只适用于CAM领域。在Unix下工作的计算机的计算和图形性能相对于PC有了很大的提高,这主要归功于1990 - 1994年间Silicon Graphics公司的产品。在90年代的后半段,PC组件的开发领域有了长足的发展,处理器奔腾、奔腾Pro、奔腾II在性能上对工作站来说是有竞争力的,但价格只是部分的,这使得CAM系统的开发人员也能适应PC领域,从而使CAM的优势惠及更多的用户。
虚拟制造被定义为一种集成的综合制造环境,旨在增强决策和控制的所有级别。它可以分为以设计为中心,以生产为中心和以控制为中心。以设计为中心的虚拟制造是用于设计和评估产品可制造性的仿真环境。以生产为中心的虚拟制造是用于生成流程计划和生产计划的模拟环境。以控制为中心的虚拟制造是用于车间生产活动的模拟环境。虚拟制造包括快速改进制造过程,而无需利用机器的运行时间资金。据说虚拟制造是将桌面虚拟现实系统用于制造组件和过程的计算机辅助设计。毫无疑问,虚拟制造可以辅助实际的制造过程和系统,并且随着信息技术,制造系统和业务需求的发展而完善。在这种情况下,虚拟制造应被视为真实制造系统的高级信息结构,该结构集成了可用的信息工具和虚拟环境的沉浸性,以实现业务制造目标。
增强现实(AR)是虚拟现实研究的一个新兴领域。我们周围的世界环境提供了大量难以在计算机中复制的信息。虚拟环境中使用的世界证明了这一点。 AR系统为用户生成一个复合视图。它是用户观看的真实场景与计算机生成的虚拟场景的组合,该虚拟场景用附加信息增强了场景[5、6]。应用领域表明,扩充可以采用多种不同形式。在所有这些应用程序中,呈现给用户的增强现实增强了该人在世界上的表现和对世界的感知。最终目标是创建一个系统,使用户无法分辨真实世界与虚拟现实之间的区别。对于该最终系统的用户而言,似乎他正在看一个真实的场景。现实世界和完全虚拟的环境位于此连续体的两端,中间区域称为混合现实。增强现实位于该行的现实世界的尽头,主要的感知是通过计算机生成的数据增强的现实世界。增强虚拟性是Milgram创建的一个术语,用于标识大多数是合成的系统,并添加了一些真实世界的图像,例如将视频映射到虚拟对象上。随着技术的进步,这种区分将逐渐消失,并且场景中的虚拟元素与真实元素之间的区别也越来越小。米尔格拉姆还将增强现实系统放在存在隐喻范围的低端。该轴测量用户在显示场景中的沉浸程度。此分类与系统使用的显示技术密切相关。这些都给人不同的沉浸感。在增强现实系统中,这可能会产生误导,因为在某些显示技术中,“显示”的一部分是用户对现实世界的直接查看。米尔格拉姆用于对混合现实显示进行分类的第三个也是最后一个维度是世界知识范围。增强现实并不仅仅意味着在现实世界场景上叠加图形对象。从技术上来说,这是一件容易的事。如此处定义的,增强现实的一个困难是需要维持虚拟对象与真实世界图像的精确配准。这通常需要详细了解现实世界的参考系,查看它的相机和用户之间的关系。
增强现实辅助制造(ARAM)代表了增强现实技术在制造过程表示领域中的应用新思想。 ARAM是计算机集成制造系统的特殊子系统,包括与产品制造的实现相关的所有活动的增强现实辅助系统(操作编程,机床,运输和存储设备,零件和组装产品的测量,测试和诊断) 。复杂CIM中的增强现实辅助系统的这一阶段有效地建立了增强现实辅助系统在生产的技术(构造和工艺)准备中的应用,这对于确保并行工程条件是不可避免的。增强现实辅助制造的主要思想如下图所示。
增强现实辅助机器人控制
增强现实利用硬件和软件工具来创建混合环境,该混合环境将通常以视频序列形式出现的真实场景与包含附加对象虚拟模型的增强场景相结合。在增强现实中常用的几种技术中,有几种试图实施到机器人编程系统中。在斯洛伐克普雷索夫的计算机辅助制造技术部门实现的新创建环境的中心对象是瑞典生产商ABB的机器人设备-紧凑型机器人IRB 140。
在创建适合实现实时任务(例如,机器人设备的编程)的增强现实环境时,我们必须考虑连续空间校准的问题,以保持真实和虚拟场景在空间上的对齐。一个一致的工作场所的最终形式。为此,我们将众所周知的3D数字化设备Kinect与称为Skanect的专用软件工具结合使用。
Kinect首先允许我们获得真实环境的3D扫描,并在创建虚拟环境时使用该真实数据。扫描中的实体可作为在计算机模型和诸如机器,桌子,机器人基座之类的真实物体之间生成空间链接的参考。其次,利用深度传感器实时感测工作场所的能力为我们提供了环境和所有随附设备的直接校准。
在Blender应用程序的软件环境中实现了混合空间的生成以及两个部分的共同校准。这个功能强大且复杂的图形化解决方案提供了许多有用的工具,库和子例程,这些对象,对象和子例程具有出色的图形概述水平,所有内容均基于开源哲学的原理。
为了实时检测重要物体的位置,我们使用了颜色标记技术。机器人和其他设备(台式,铣床)的表面上会粘有不同颜色的细纸条。它们既可以很容易地被摄像机定位,也可以从机器人运动描述的角度考虑。
彩色条纹是成对监视的,而每对则由两条在垂直方向上彼此相邻的条纹组成。这样,相同颜色的条纹会创建一个图形标记,可用于监视每个机器人轴的精确位置。接下来,在Blender环境中调用的相关命令行激活颜色跟踪过程,以检查实际机器人的位置并重新计算软件环境中各个运动轴的坐标。然后可以在真实模型的基础上调整或建议(编程)机器人模型的位置和方向。这意味着程序员还可以在从旧的位置或实际的机器人位置开始的同时创建新程序的序列(可以在在线/离线混合模式下创建程序)。
显示增强现实环境的新视角可能性是使用特殊的可视化单元,该单元利用了玻璃镜介质的组合原理。玻璃表面要么是半镀银的,要么是半渗漏的铝箔棒,可产生反射,同时可无障碍地观看工作环境或降低画质。
这种常见的镜子通常用于游戏,医学或商务演示中。通过两个看似不同的视图的光学连接,它为创建逼真的空间效果创造了理想的平台。显示是视图向反射面的反向发射。它可以由放置在工作区域上的计算机显示器或经典投影仪提供。
随着投影仪及其显示技术的发展,可以利用LED投影的优势。与传统的投光器相比,LED技术不会产生会以光斑形式反射在显示屏玻璃上的发光锥。整个场景的设置变得更加容易,因为您可以将设备安装在必要的显示角度,而无需防止直接的光反射。在图2上显示了与实际机器人工作单元活动相比,使用半镀银镜表示工业机器人活动的虚拟模型的情况。
在下文中可以找到使用增强现实进行教学的一个示例。该系统的主要目的是向汽车工程专业的学生教授自动变速器的拆卸/组装程序。系统包括车辆变速箱,一套工具和机械设备,两台摄像机,带有开发软件的计算机,HMD眼镜和两个LCD屏幕。开发的软件借助视频流上的AR对象,给出了组装和拆卸过程的指导。
技术工作区上的3D指令叠加可以用作交互式教育材料。来自摄像机的视频流增加了应拆卸的机械零件。
应用动画和其他视觉效果可以更好地指示当前指令。在培训期间,学生可以看到零件及其顺序。还将显示所需的工具和技术操作。结果,该系统逐步指导学生完成组装/拆卸顺序。先进的增强现实系统使教育过程更加有趣和直观。
在开源虚拟环境中,使用称为可视脚本的过程来开发具有逻辑行为循环的工作的程序和编程顺序。通过使用这些工具,该应用程序允许工程师管理应用程序不同逻辑核心之间的整个数据流。
下一部分将提供有关单个逻辑区域的更详细视图,在该区域中,将收集必要的数据并将其与虚拟数组中的值进行比较,然后将它们发送到增强现实的显示部分。在接下来的阶段中,将在理论层面上描述新应用程序的一般过程和逻辑步骤。该应用程序包含4个主要逻辑级别,其中数据包不仅来自内部计算机元素,而且还来自外部设备(例如传感器和测量设备)。
这些循环中的第一个循环观察按钮部分,该部分提供有关确认过程的信息。通过这些按钮,称为显示部分的逻辑循环会触发查看过程(初始位置和最终位置)。
下一个循环包含两个基本区域(用于测试和比较的区域,用于位置设置的区域)。来自这些提及区域的数据包包括有关所有虚拟物品名称及其初始矢量的相关值的信息以及有关位置最终参数的信息。然后,从外部传感器收集的数据将被发送到该区域进行测试和相互比较,还发送到该区域以设置位置(初始,最后一个)。
在这些过程的基础上,所有新的位置和方向信息都再次发送到应用程序的逻辑核心,在应用程序的逻辑核心之间对新接收到的参数进行测试,比较和评估。之后,显示部分能够根据虚拟物品的轨迹看到其运动过程。 AR组装的整个过程如图4所示,其中3D零件在虚拟轨迹上移动,并为每个零件(同一环境中的真实零件和虚拟零件)的最终位置提供准确的值。为了更好地理解,图4给出了应用程序改进元素的视图,其中每个零件具有不同的颜色,并且可以更清楚地创建装配而不会出错。
增强现实元素的现有应用方法是基于对真实环境的视觉拍摄(使用标准相机),并且其覆盖由软件的逻辑核心管理
应用。尽管效率高,但存在以下缺点:必须监视位于实际组件空间之外的视场,这会导致负面的同步问题。为了防止出现此问题,基于独立工作环境的理念创建了新的可视化单元,从而增加了应用程序的交互性以及用户的舒适感。该单元利用直接位于工人视野内的半镀银表面。原则上,这是一种特殊的玻璃,其表面为半镀银的或半透明(反射)的箔,可提供必要的反射,但同时又可以将玻璃直接看到工作区域。得益于此特性,镜子可以反射图像的一半,同时可以透视。这是生成深层空间场景的理想平台。整个成像过程可以解释为由位于用户视场之外的,位于镜子上方的LCD显示器实现的图像反向发射。在实现了这些成像过程之后,发现了主要缺点,因为图像的显示和质量合适但受单一条件的限制-用户已牢固地设置了视点,并且在任务实现期间不动。
在普雷索夫(斯洛伐克)的计算机辅助制造技术部开发的增强现实辅助装配系统的示例。
由于在Blender系统中创建的应用程序中,我们实现了这种不需要的状态,因此我们实现了人脸跟踪脚本,该脚本使用了称为OpenCV的免费可访问数据库的库和程序元素。 AR应用程序中使用的面部跟踪提供了设置关系和编程顺序的可能性,这些顺序和编程顺序可根据用户面部的位置和方向实时处理所创建的虚拟环境的调整。这意味着用户可以自由移动头部或身体,而不会丢失AR图像或将其与真实视频序列的图像分离。
本文的这一部分提到了特定功能的三个主要应用领域,这些特定功能在应用中用于利用AR元素实现组装过程。这些有效改进的目的在于提高用户的舒适度,并提高整体质量和实现的组装活动的复杂性。
1.装配过程的音频支持:该应用程序最期望的利用之一是在训练模式下实现装配,最终是在没有首次尝试的情况下正确构建整个装配的努力。
对于更好的用户前景和用户的信息意识并从而确保防止错误的合适的解决方案是利用迄今未使用的感觉可以接受的形式的信息来增强应用程序。程序包括简短信息输入和蜂鸣声或录制的口头指示形式的音频信号。
2.更好的文本信息:通过从文本文件获得更好的信息输入质量,最终获得更好的工作环境,最终在虚拟工作环境中更好地集成文本数据。文本信息以更广泛的交互式文本菜单的形式显示,在单击特定条目后,将显示其他信息。
3.评估单元支持的工作环境的交互性:监视和评估单元形式的用户舒适度的想法是基于程序的逻辑周期,该逻辑周期基于实时使用的颜色跟踪技术,同时比较装配周期的序数并根据在预定义的初始条件下,它会评估工作周期中每个时刻的实际零件是否合适(图13)。
这些工具的组合允许观察工作环境及其周围环境,以及在3D虚拟应用程序中实现的组装过程。实现此功能的条件在于在开源软件环境中管理和统一编程和设置部分。这里的主要编程任务是确保实时实时监视和比较真实视频序列和虚拟对象之间的过程。
该应用程序的利用结合了常规文本和图形汇编指令的所有优点,而所有提供的信息均以易于使用和接受AR工具的方式呈现。 3D指令甚至可以丰富音轨,其他文本视觉信息和动画
效果。用于组装过程的增强现实应用程序涉及有关可用于创建增强工作环境的开源工具的软件问题。它还处理硬件问题,尤其是用于组装实现目的的定位设备。在Blender编程接口的环境中,创建了一个新应用程序,该应用程序在实际工作表和计算机中生成的AR元素之间提供了实用的桥梁。