作者注:这篇文章主要目的在于提供读者ㄧ个概念,了解 AR、VR、MR 这些新兴科技可以带给我们那些方面的新型态体验及协助。读者可自行举一反叁去想像其他可能应用场景。
AR、VR 及 MR 在这几年越来越火红,在开始介绍它们的应用之前,我们先来介绍这家族三个成员之间的分别。
AR、VR 与 MR 的分别:
增强现实 (Augmented Reality,AR):在使用者的现实世界叠加数字创建的内容。
虚拟现实 (Virtual Reality,VR):阻挡现实世界,为使用者创建一个全数字化、身临其境的体验。
混合现实 (Mixed Reality,MR):在使用者的现实世界叠加您可以与之互动的数字创建内容。
下面这张表可以帮助你更清楚了解其区分:
所以 Pokémon Go 是 MR? 因为它可以收服口袋怪兽 (互动)? 别误会,上面 MR 提到 "可以与之互动的数字创建内容" 并不是单纯的只是可以点选跳出的数字创建资讯以获得更多资讯,或是,收服口袋怪兽而已。MR 产生的数字创建内容能够结合现实世界的实际影像,并且可以对其数字创建产生的内容做放大、缩小、旋转、甚至是编辑等等的工作。下面 Microsoft 的 Hololens 广告可以让您比较了解什么是 MR。
有没有注意到,在影片中,当你观看3D 数字陈像时,这影像并不会随着你的移动跟着转向,因此你可以移动位置从后面、上面、下面,以各角度来检视或编辑这影像,这在 AR,甚至大多数的 VR 应用,都是做不到的。
附带ㄧ提,连 Pokémon Go 到底算不算 AR 也有争论。因为理论上 AR 应该是靠辨识某些现实世界影像来产生或带出数字创建内容,而 PokémonGo 是靠 Location 定位来带出数字影像,因此很多人认为 Pokémon Go 充其量只能称为定位服务游戏 (Location-Based Gaming),不能称为 AR。关于这点,笔者认为就别太吹毛求疵了,或者,你可以称它 Location-Based AR 游戏。
近年来,AR 已经从原本只能以智慧型手机或平板电脑对着某现实世界实际事物,经由辨识,让应用程序带出相关资讯的模式,转变为能以 AR 眼镜达到相同功能。并且由於不需手持行动装置来使用,因此让使用更方便,AR 眼镜应该会渐渐成为 AR 应用的新趋势。
VR 穿戴装置 (例如 HTC VIVE、Playstation VR ...) 则使游戏玩家不再只能看著萤幕玩电玩游戏,而能进入 3D 立体的实战环境。然而其缺点则是因为它屏蔽现实世界的影像,因此除非有设计精良搭配使用的感测装置,否则在教育训练上的应用大多会仅仅局限在观看 3D 立体数字内容而已。
MR 将 AR 与 VR 混合为一,因此 Microsoft 的 Hololens 等装置的推出,不仅让 AR 的运用更上ㄧ层楼 (互动),也让 VR 的应用能更融入日常工作及生活中。
AR、VR、MR 在教育训练上的应用
我们把这些新兴科技在教育训练上的应用分成三大块:
教育 (Education): 指传授知识,包含学校教育及职场教育。
训练 (Training): 指职能或技能训练,包含学校及职场。
效能支持 (Performance Support): 指在需要的时刻提供相关重要资讯,以协助完成工作,通常可以与前项搭配运用。
本篇介绍将不局限在学校教育端,我们也会举出ㄧ些学校以外不同领域的应用,来协助大家了解这些新兴科技的无穷潜力及魅力,这也有助于大家去思考要如何运用这些科技。AR/VR/MR 的应用是无限宽广的,接下来就看大家的想像力及实践了。
为了方便我们将会标示各应用是属于教育 (E)、训练 (T) 还是效能支持 (PS)。不在此三类范围内的应用例子 (例如娱乐、消费、营销、治疗等),本文就略过不提。
医疗
AR/VR/MR 在医界 (医院及医学院) 越来越受到重视,其最大的两个原因是:
1. 节省时间/降低成本 (E/T/PS):
目前已经有很多医学院/医院使用 AR/VR/MR 来进行教学或外科手术训练。在教学上,学生戴上 AR/VR 眼镜观看 3D 立体的人体结构及器官,甚至可以 "取出" 某一器官来做更仔细的观察。在外科手术训练上,学生或实习医生戴上 AR/VR 眼镜,通过 3D 全息解剖 (Holographic Anatomy) 程序来对着虚拟尸体进行手术练习。这可以让学生节省十个小时在传统尸体实验室内,更实际的ㄧ点是,大体并不容易取得,因此手术仿真可以减轻医院或学校在这方面的负担。
2. 协作 (T/PS)
不管是手术仿真还是实际手术,或是其他医疗诊断,教授、资深医生 (主任),甚至是远端的医生或专家,也能透过执行手术或诊断的医生配戴之 AR/MR 眼镜所传出的影像 (我们称之为 POV,Point-of-View) 对该医生提供建议或下达指示,而医生可以从其眼镜上的显示器看到这些建议或指示。
应用当然不只有这些,下面是ㄧ些其他的应用例子:
药物使用: 协助医护人员确认正确的药物即使他们没受过训练。这简化了药剂师和医生的需求,减少错用药物的机会。(PS)
静脉注射: 协助护理人员寻找静脉来进行静脉注射。别怀疑,AR 眼镜可以帮你看到那些肉眼看不到的静脉,这减少了医护人员的时间及病患的痛苦。(PS)
先期处置: 医院的急诊室值班医生可以透过救护车上,或是,意外事故现场医护人员的 POV 及检测仪器所传回的数据,对病患做初期诊断,并下达指示给该医护人员进行初步医疗处置,以增加及减少病患存活机会及伤害扩大。所以,或许未来公共场所的灭火器或 AED (自动体外心脏去颤器) 旁边会同时放置ㄧ付 AR 眼镜,ㄧ但取出会自动通过 Wifi 连线呼叫 119/120 勤务中心,让使用者可以从远端消防或医护人员即时提供协助或下达指令,指导如使用灭火器扑灭火源,或是,如何使用 AED 来急救需要紧急医疗协助的病人。(PS)
军警消训练
在美国,美国军方是教育科技的主要推动者,因为他们希望能快速有效率的训练他们的军队。美国军方几年前就开始使用 AR/VR 等科技来训练士兵作战、武器操作,或是维修武器、车辆等装备。
戴上 AR 眼镜,运用 AR 来进行武器操作训练或是装备维修可以避免错误,同时可以提升训练及维修速度,新进士兵也可以很快上手。(T/PS)
AR 当然也可以运用到作战上,举个大家最熟悉的例子。几年前台湾闹得沸沸扬扬的阿帕奇直升机事件,如果大家不是只有关注那位女星的话,应该会注意到那顶价值 6 万多美元的头盔。那头盔为什么那么贵? 就是因为这顶战术头盔可以把 12 项座舱资讯 (例如武器瞄准或夜视镜),显示投影在右眼的单眼式萤幕上,方便飞行员能迅速读取所有重要的资讯。其他的战机飞行员、坦克驾驶的头盔也ㄧ样可使用 AR 来让他们可以快速掌握重要资讯或进行攻击。(T/PS)
使用 VR 来进行作战训练最大优点就是可以设计出各式各样的情境。当过兵的应该也很清楚,部队野战训练场上的地形地物就那么ㄧ些,但使用 VR 就可以依需求设计所需的情境及地形地物,假想敌也不再只是ㄧ些人形立牌。(T)
使用 AR/VR 等科技来训练士兵作战、武器操作或是维修装备还有ㄧ项更重要的优点,那就是所有的过程也会被记录下来,操作是否正确、瞄准是否精准 ...等资讯都会被记录及分析,用以提供训练单位对需改善的士兵提供适切的训练来改进缺失。
类似的概念当然不只局限在军事人员的训练,公安、消防人员 ...等工作上会面临危险处境的,都能藉由此科技提供各种情境下的仿真训练,提升未来真正遇到状况时,能正确迅速的处置及防护自身的安全。(T/PS)
而配戴 AR 眼镜的公安可以通过连线犯罪中心资料库及影像辨识,来协助辨认通缉犯或赃车,更有效率打击犯罪。(PS)
技术维修服务
AR 可以提供即时的协助来协助维修人员做设备维修及故障排除等工作,这几乎可以涵括所有你所想到的工作,例如工厂机器维修保养、办公室复印机维修、电梯保养、电信维修、汽车保养 ....等等。通过 AR 智慧眼镜及专属的应用程序,可以提供维修人员详细步骤,让他们可以依循来做检测及修复工作。当然这对于新进人员的训练也是很有用的工具。(T/PS)
现场问题无法解决? 没关系,应用程序会呼叫公司内部高阶技术人员,以远端协助的方式来指导现场人员进行故障排除或更换零件,AR/MR 能允许远端专家看到现场人员所看到的影像 (POV),并以通话或显示文字、图片、甚至直接标示要处理的零件位置在现场人员的 AR/MR 镜片显示幕上,指导他们进行修复工作。(PS)
使用 AR/MR 眼镜最大好处是现场人员不再需要ㄧ的手拿著手机或平板来对著要维修的装置,或是,听从或观看来自公司的指示,他们的双手都可以用来执行修复工作。当然,如果没有 AR/MR 眼镜,手机或平板也能做到,只是要用手拿著比较不方便。
别以为只有维修人员可以使用这项科技,消费者自己当然也可以。未来,影印机、汽车、电器用品的维修、更换 RO 滤芯 ....,只要有适当的 AR 应用程序,你可以自己动手做。
BMW 汽车公司早在 2007 年就研发 AR 眼镜及相关应用程序,提供其保养厂技师维修及更换汽车配件使用。Hyundai 汽车公司在 2015 年则推出 AR 技术手册应用程序给车主使用,只要使用智慧手机或平板,车主就能得到诸如机油、煞车油、空气滤芯等的 How-to 资讯进行维修保养。该应用程序提供影片、3D 叠加图像显示 (当车主扫描他们的车辆不同位置) 各个区域及其它汽车相关资讯。(PS)
学校教育
使用 AR/VR 可以为各级学校的学生提供身临其境的多感官的体验,比起传统的讲课、字卡图卡、或教科书等方法更有效。下面提出几个例子提供参考:
教到太阳系行星时,以 AR/MR/VR 来显示 3D 立体行星运转画面,学生利用控制器可点选某个星球,用以带出更详细的信息。 (E/PS)
地理课以 AR/MR/VR 显示 3D 立体地球仪,学生可以由各个角度来观看,点选某个国家可以来带出该国家的详细信息。(E/PS)
化学课以 VR 先让学生仿真实验过程,让学生熟悉步骤以及可能发生爆炸或起火的错误操作,这样在真正实验时就可以有效避免危险事故的发生。(E/T/PS)
教科书或课外书都可搭配行动装置或 AR 眼镜,在特定页面显示 3D 立体画面及相关信息,增加学生印象,让学生更容易理解,并提升上课或学习兴趣。(E/PS)
建筑系学生不再需要花费时间制作设计模型,只需搭配行动装置或 AR/MR 眼镜以及适当的应用程序,就能 3D 立体陈现他的设计,既漂亮又精确,而且设计修改时不需重制模型,节省不少时间。(PS)
新鲜人对校区不熟? 找教室常迷路? 没问题,AR 应用程序可以指引你到你指定的大楼或教室。(注: 已经有卖场或商业大楼开始使用类似应用程序提供导引。未来你去超市、大卖场或购物中心,可以使用 AR 应用程序直接导引你到所要购买商品的陈列位置或要造访的商店,不需再走来走去找商品或店家位置了)。(PS)
艺术和才艺
戴 VR 去参观著名的动物园、博物馆或是课本上提到的历史景点、地标或是建筑,以你自己的速度来欣赏它们,甚至还可以配合动画显示,来加深你的印象与暸解。应用程序会根据你目前正在观看的事物在萤幕上提供详细介绍资讯。
有没有带出ㄧ些灵感? 是的,以往安排户外教学劳心劳力,还得担心天气或是害怕出车祸。不久的将来这些都可以在教室内完成 (有些博物馆已经开始提供类似服务),户外教学恐怕会成为历史名词。往坏处想,这有点不够真实,往好处想,这样可以为学校及家长省下很多钱。(E/PS)
在才艺学习方面,AR 眼镜可以协助指导您按照步骤学习乐器、绘画、雕刻、编织等才艺。尤其对于开始学习乐器的学生,搭配 AR 眼镜及相关应用程序,可以显示各种乐器的指法及乐谱,陪练、纠错并记录过程,让生手可以轻松上手。(E/T)
健身/运动
当你在户外或野外骑车、跑步或健走时,AR 眼镜可以即时显示心跳、疲劳、卡路里消耗、目标及更多其它更多显示的资讯,例如地图及 GPS 定位等
未来在健身房,不再只能无聊的看着眼前挂着的电视萤幕跑步、骑脚踏车、或是做重量训练,你可以透过 VR (或 MR) 头戴式装置,选择在塞纳河畔,或是其它你想经历的路段,骑脚踏车、滑雪、划船、或是跑步。脚踏车、跑步机等健身器材会根据你经历的虚拟所在位置,调整上坡或下坡角度、阻力、甚至可以感受地面或河面的震动,这样的运动体验是不是很迷人呢? 当然,所有相关资讯也会显示在装置萤幕上。
学校当然也能享受到这样的应用所带来的好处,例如以 VR 搭配相关应用程序及感测元件,来训练足球守门员防守、棒球打击练习、或是网球挥拍等的训练,如此不但不受天候影响,同时也只需ㄧ点点室内场地就可以进行训练。
今天就先提到这里。除了教育训练外,AR/VR/MR 在生活上的应用更是无限宽广,充满想像空间的。笔者认为 AR/MR 会是将来的主流,因为它们并未跳脱现实世界,因此比较容易融入现实生活、教育及工作上;AR 可以在行动装置 (特别是手机 ) 上灵活运用,AR 眼镜可以做到很轻巧,价格也持续下降,因此 AR 应该会成为未来生活不可或缺的ㄧ项随身工具,若搭配 AI (Artificial Intelligence) 更像是配备了贴身智能助理。而 VR 主要应用会在创造虚拟的沉浸体验,以成本高、危险、或现实世界不容易取得的经验为主要应用需求。
本文共笔作者:
Henry Chen
美国教育科技顾问公司Classroom Aid 的联合创办人,xAPI 中文实践社群委员会 Lead。曾在上市高科技公司经历科技产品设计开发、产品品质保证、与高阶管理经营领导。目前专注xAPI 技术、教育与相关科技产业研究、教育培训方法、策略规划、流程成本改善与品质控管。
Jessie Chuang (WeChat: JessieChuang87)
美国教育科技顾问公司 Classroom Aid Inc. 的联合创办人,xAPI 中文实践社群 的主持人,Visca Analytics 的指导顾问。她曾为教育科技业者提供以下主题之顾问: 教育科技市场分析与产品設計、教育产业策略合作建议、自适应学习系统与人工智能家教、OER、行动学习设计、学习标準、数据可视化、xAPI 导入规划、学习分析、数据驱动的学习设计。职涯历经高科技业、企管顾问业、教育业,擅长连结不同领域的概念作突破思考。拥有 20 多项美中台专利。
2、芥末堆不接受通过公关费、车马费等任何形式发布失实文章,只呈现有价值的内容给读者;
3、如果你也从事教育,并希望被芥末堆报道,请您 填写信息告诉我们。