什么是“虚拟现实+”？

教师之友网

什么是“虚拟现实+”？《 中华读书报 》（ 2016年03月30日   17 版）

    ■赵沁平（中国工程院院士、虚拟现实技术与系统国家重点实验室主任）
　　第82期中央和国家机关“强素质·作表率”读书活动主题讲坛
　　时间：2016.2.21
　　主办单位：中央直属机关工委、中央国家机关工委、国家新闻出版广电总局
　　主持人：郝振省
　　郝振省：同志们，朋友们，大家上午好。今天是2016年第2期，总排序第82期中央和国家机关“强素质·作表率”读书活动主题讲坛，我们为大家邀请到中国工程院院士、中国科协副主席、北京航空航天大学教授、中国仿真学会理事长、虚拟现实技术与系统国家重点实验室主任赵沁平教授，大家欢迎！
　　赵沁平教授长期从事计算机软件、虚拟现实技术等方向的科研工作，主持完成了国家自然科学基金，国家863计划、国防科技预研等二十余项国家科技计划项目。在我国，他带领团队最早开发建立了分布式虚拟环境，研制了实时三维图形平台，分布交互仿真应用程序运行平台等虚拟现实的基础软件，特别是他组织研发了虚实融合的飞机驾驶舱设计评估系统、机械装置拆装维护训练系统、北京奥运会开幕式节目创意仿真与流程监控系统、建国60周年国庆阅兵方案三维推演和决策系统。他是我国虚拟现实技术的顶级领军人才。今天国家新闻出版广电总局党组成员、副局长孙寿山同志和吴尚之同志来到现场，和我们一起聆听赵教授的主题演讲。
　　今天赵教授演讲的题目是《虚拟现实+》。讲这个题目，一方面是考虑到虚拟现实技术在生活中出现得越来越多，包括今年地坛庙会上都挂了一个牌子，写着“虚拟现实”。但是我们对它并不清楚，如虚拟现实技术的内涵和外延，产生和发展的来龙去脉，虚拟现实技术如何影响我们的生产生活，及其未来的发展趋势等等，都是我们需要了解的。在座的同志可能对虚拟现实技术及其应用还不十分了解，实际上在军事、医学、航空航天、智慧城市等诸多领域，虚拟现实技术大有用武之地。另一方面，从国家层面来讲，虚拟现实技术正在全面进入国家发展战略，成为各行各业科学发展新的信息技术支撑平台，虚拟现实+成为发展趋势。同时还要再说一句，从世界范围来看，虚拟现实技术已经成为国际间竞争激烈的高科技领域，成为硬实力的重要内容，成为软实力的重要依托。赵教授曾说，虚拟现实与各行业的关系类似于数学和物理，将成为人难以区分的真实和虚拟两个世界，或者是虚实混合的新世界。现在让我们请赵教授开讲，请他给我们讲解虚拟现实的神奇和奥妙。欢迎赵教授！
　　赵沁平：尊敬的各位领导，各位朋友，感谢中央和国家机关“强素质·作表率”读书活动给我这样一个机会，也感谢主持人对我刚才的介绍。
　　我今天和大家共同探讨的主题是“虚拟现实+”，为什么是“虚拟现实+”？“互联网+”大家已耳熟能详，也就是各行各业都可以利用互联网这一现代信息支撑平台创新和发展自身的业务。虚拟现实也是一种可以对各行业、各领域发展给予支撑的新的信息技术支撑平台，在座各位所在的部门、领域都可以应用虚拟现实技术，因此称其为“虚拟现实+”。
　　下面，我从虚拟现实（VirtualReality，VR）是什么，它能做什么，以后的趋势是什么，这几个方面给大家进行介绍。由于VR应用极具可视性，所以我尽可能通过VR在一些行业中的应用实例给大家介绍和展示。
　　一、虚拟现实是什么
　　VR的目标是以计算机技术为核心，结合其他相关科学技术，生成与一定范围现实世界在视、听、触觉等方面高度近似的数字化环境，人们通过一些交互设备与该数字化环境进行交互，能够产生亲临现实世界的体验。
　　模拟现实世界是人类自古以来就有的梦想，VR就是随着计算机技术，特别是计算机图形学和人机交互技术等的发展，人类在模拟现实世界方向上达到的最新境界。仿真大家可能都听说过，传统仿真可以说是数值仿真，VR则是图形仿真，当然现在的趋势是两者结合。
　　模拟现实世界的方法有实物仿真、机电仿真、计算机仿真等。实物仿真事例很多，草船借箭就是用稻草人对人进行模拟；军事训练中用木棍模拟枪械进行拼刺刀训练等。计算机诞生以后，计算机仿真成为模拟仿真的一个主流技术和方向，早期是模拟机仿真，后来是数字计算机仿真。随着计算机处理能力，特别是计算机图形处理和人机交互能力的大幅度提升，上世纪60年代出现了VR的概念。
　　VR有三个典型的特征：一是沉浸感，参与者可以全身心沉浸于计算机生成的三维虚拟环境中；二是交互性，参与者可以通过一些VR交互设备和虚拟环境中的对象进行交互，产生与对应真实环境中的对象进行交互的体验。现在自然交互、体感交互是非常热的一个研究方向。三是构想性，参与者在虚拟环境中可以激发想象，或者可以构想未来世界和历史世界。
　　每一项科学技术都有其特定的作用，都有适合它的应用领域。VR技术由于其特点，适合于如下几个方面应用：一是各行业领域的规划决策，比如城市规划，手术规划等；二是设计评价，比如在装备制造领域，可以先行设计构造虚拟样机，通过对虚拟样机各种性能的评价测试，对设计进行修改；三是训练体验，比如军事训练，以及对航天设备、核设备的维护，可以在虚拟的装备上进行维护和操作训练；四是文化娱乐等领域的应用，在座的各位对VR在这一领域的应用可能体验得比较多。
　　VR可以从两个方面改变我们的世界：一是让我们的发展变得更加科学，先在数字空间进行充分论证，然后再实际实施；二是可以使广大人民群众的生活更加精彩。
　　上世纪60年代，国外出现对VR技术的科学研究，我本人于上世纪90年代初期开始VR技术研究，是国内最早的。最近几年VR比较火爆。2015年习主席访美和访英时都参观了VR技术展示，如微软即将发布的AR（增强现实）头盔。另一个实例是2015年10月，美国在拉斯维加斯举行的民主党总统候选人辩论会，用VR技术进行实时直播，拥有VR观看设备的观众可以看到现场的两个人，并且可以选择观看的角度。这将是新闻传播发展的趋势，可以由用户选择内容、选择观看角度，而且可以把线上和相关的场景进行统筹，联结在一起。
　　经过几十年的发展，可以说VR在许多领域取得了引人瞩目的应用成果。最早是在军事方面，军事领域是应用VR技术最早，也是目前应用最多、取得明显成效的领域。还有航空航天、装备制造、医疗健康、动漫游戏等。专家们普遍认为，VR和其应用领域的关系，类似于数学和物理。先通过数学理论方法给出一个假说，然后再用物理实验方法对其进行验证。比如爱因斯坦100年前就通过理论和数学预言了引力波的存在，但到100年以后的今天，我们才真正从物理上观测到了引力波。各领域应用可以先在虚拟环境或虚拟对象上进行研究论证，然后再构造实物或进行实物操作。VR+将成为一个发展趋势。
　　最近几年由于一些巨头公司，如脸谱、微软、谷歌、三星等对VR产业的介入，导致VR在产业界和投资界迅速升温，许多媒体都将2016年称为VR产业发展的元年。
　　VR进入+的发展期，主要体现在两方面。一是VR进入各个行业，二是进入大众生活，特别是进入互联网应用和移动终端应用。2006年国家颁布的中长期科技发展规划纲要，就把VR列为信息领域优先支持的三个方面之一。新的“十三五”科技规划中，VR也是一个考虑的重点，和大数据、云计算等一样，国家会给予继续支持。
　　近两年，一些巨头公司通过收购或领投VR创新公司，或者自身组建VR研发团队，开始抢占VR产业的制高点，特别是头戴式设备，头盔和眼镜，因为它们是VR的基础设备，是硬件平台，如果在这方面领先的话，就会像智能手机、高端芯片一样，可以形成垄断，从而占领VR产业制高点。但更重要的是内容，只有显示设备，没有内容是没用的。
　　2014年脸谱公司斥资20亿美元收购了Oculus公司，这个公司是VR头盔创业公司。头盔有两大类，一类是VR头盔，一类是增强现实AR头盔，两者技术路线不同，应用目标也有所不同。2015年微软宣布要推出MicrosoftHo⁃loLensAR眼镜。还有谷歌、阿里巴巴领投数亿美元支持MagicLeap创业公司，在2015年突破一项颠覆性显示技术，即光场全息显示，可以使虚拟物体看起来完全与现实生活中一样。这一技术将给影视、游戏、商务、旅游和电信等行业带来全新的机会和颠覆性影响。HTC宣布与Valve联手，推出重量级头盔显示设备Vive，并将于2016年4月发售。
　　现在学术界、企业界、投资界都在对VR的发展前景进行预测。2016年初美国著名投行高盛发布一份报告，详细讨论了VR/AR产业的未来发展状况。高盛认为VR/AR拥有巨大潜力，到2025年VR与AR软硬件营收将达到800亿美元，乐观估计，年营收可达1820亿美元(硬件1100亿美元，软件720亿美元)，保守预测，到2025年也会有230亿美元。在标准预期下（800亿美元），2025年VR/AR产业将超过全球平板电脑（630亿美元）和游戏机（140亿美元）。在乐观预期下，到2025年，头盔显示设备等将从小众产品发展成为一种大众通用计算平台，移动性和电池续航问题均会得到解决。1100亿美元的硬件规模与当前笔记本电脑市场规模(1110亿美元)和电视机市场规模(990亿美元)相当。信息技术及科技咨询公司IDC预测，2016年我国VR设备出货量将达到48万台，同比增长476%，VR产业将迎来爆发式增长。
　　二、虚拟现实的应用及现状
　　前面讲了VR+将成为一个发展趋势。下面对VR在有关领域的应用现状，以及我国可以达到的技术水平，给各位进行展示和介绍。
　　1.国防军事。许多科学技术都是首先在军事领域得到应用，包括VR技术。美国上世纪80年代初研发了当时著名的系统SIMNET，将分布在美国和英、德的飞机、坦克模拟器通过远程网络连接在一起，构成分布式虚拟战场环境，进行异地的军事训练。此后又陆续开发了各军兵种和综合化的VR军事训练系统JSIMS、JMASS、STOW和WARSIM2000等，并形成了支持分布交互仿真的IEEEDIS标准。2014年，美国DARPA在五角大楼的公众开放日，展示了未来战争中的士兵增强现实感知技术，作战人员在战场上通过头戴设备可以看到整个战场态势，分辨敌军我军，以及接受作战指令等。军事仿真训练的优势，是可以构造任何作战地形环境和作战目标，并节约大量经费。美军目前40%的军事训练是在VR/AR环境下进行的。
　　下面演示的是导弹发射，与游戏不同，导弹的轨道都是根据物理和动力学计算出来的。
　　2.装备制造。在装备设计、研发过程中，可以采用虚拟样机技术。波音公司上世纪90年代初期对波音777飞机中的各种管线布局设计采用VR技术，一次成功。
　　现在运用VR技术比较多的是汽车制造业。近年来梅赛德斯-奔驰、宝马、丰田等著名汽车公司在新车设计中采用VR技术，首先研发虚拟样车，设计人员在虚拟样车中沉浸式地体验新车性能和舒适感，从而对设计进行改进，大幅度缩短了研发周期，降低了研发成本。
　　下面是宝马采用增强现实技术对车辆进行拆装维护引导的一个概念性实例。
　　现在建筑行业也在开发应用VR，可以将建筑效果和整个施工全过程完全三维化地呈现给甲方，而且和结构设计相结合，对建筑设计带来重大影响。
　　3.航空航天。航空航天领域应用VR也比较早。北航与中国商飞合作研发了飞机驾驶舱虚实结合的仪表布局和环境设计系统。驾驶员戴着头盔进行操作，测试飞机仪表布局、色度，起落时的光照是否合适，依此对设计进行调整。
　　4.医疗健康。VR在医疗健康领域极具发展潜力。首先是对人体及人体器官的三维可交互展示。在国家自然科学基金的支持下，北航陆续研发了牙科手术模拟器、心血管介入手术模拟器以及腹腔镜手术模拟器，目前正在向产业化方向推进。民政部康复中心制定了建设基于VR的康复基地的规划。我国一些医疗健康领域的企业，如天津的天堰公司等，也开始关注和部署开发相关的VR产品。医疗健康领域将因VR应用而产生重大变革。
　　下面演示的是腹腔镜手术，与传统开放式手术不同，医生手术不是看着人体器官，而是通过内窥镜看着显示在屏幕上的器官来做手术。这样就给虚拟手术，研发手术模拟器带来了机遇。虚拟手术中的人体器官都是通过几何、物理和生理建模得到的高度逼真的数字化器官，医生在这样的器官上进行手术操作，感觉与在真实器官上做手术一样。这样就可以通过虚拟手术模拟器对大夫进行手术培训。还可以采集个性化的病体器官数据，构建个性化病体器官模型，进行具体的手术规划和预演，从而大幅度提升手术效果，对医疗手术带来颠覆性影响。
　　康复训练也是VR可以发挥作用的领域，例如构造虚拟环境治疗恐高症、自闭症，进行肢体的康复锻炼等；美国通过构造的特定虚拟环境，对战后士兵的心理疾病进行治疗。
　　5.安防监控。现在我国有二三千万个视频监控摄像头，北京市有几十万个。目前都是由人来监视，由于视角有限，画面多，需不断切换，因此很容易疲劳，而且看不到场景整体情况。北航研发了虚实融合的监控系统，把监控区域视频图像与周边虚拟环境融合在一起，也可以把相邻监控区域的视频无缝融合，提升了监控系统的性能、功能和适人化水平。
　　6.电子商务。目前在电子商务方面，比如在淘宝网上，主要展示的是商品的二维图片。采用VR技术，不但可以看到商品的逼真三维形象，还可以进行首饰、服装等的试穿、试看。
　　下面展示的是一个VR家装设计与体验系统。可以沉浸式地选择体验不同的壁纸、地板等装饰材料和图案，以及家具的摆放效果。很显然VR技术将对这一领域带来巨大影响。
　　7.体育领域。下面展示的是一个篮球比赛解说、训练的VR概念演示。整个比赛场景、过程都是立体全息的，大家可以想象它在未来的影响会有多大。
　　8.文化保护。数字化文化保护与利用是VR技术的传统应用领域。通过VR技术可以再现历史文化遗产，特别是非物质文化遗产，使得参与者可以穿越时空，体验历史文化。下面是北航根据历史典籍记载复原的我国古代的礼射和五禽戏。
　　北航和北师大合作，通过动画将汉字从甲骨文到现代楷书的整个演化过程形象地呈现出来，并通过音视频结合解说构字的含义，可使大家对汉字有更深刻的了解。这里采用的技术与VR关系不大，但因其颇具知识性和观赏性，所以也推荐给大家，特别是可以让孩子们看看。
　　基于VR技术构建的虚拟博物馆和虚拟科技馆，想来大家已见过不少，如虚拟故宫、虚拟圆明园，以及中国科技馆的许多VR科普展品等。
　　9.教育培训。教育领域对VR有巨大应用需求。目前的网络教育课件都是文字和图片，无法进行实验教学，通过VR技术可以实现交互式物理、化学等的仿真实验，还有医学教学等各种实验。教育部批准建设了200多个虚拟仿真教学中心，支持这方面的发展，相信会对教学方式带来深刻影响。
　　前面把VR在一些主要领域的应用，通过视频实例给大家做了概要介绍。我1993年在北航创建了VR研究室，开始进行VR技术研究，2007年我的团队和研究基地由科技部批准成为虚拟现实技术与系统国家重点实验室，这是国内目前唯一专门从事VR研究的国家重点实验室。
　　我们早期主要与军方合作研发虚拟战场环境，后来研发了陆军指挥训练系统，用于指挥训练，可以节省大量经费。同时，我们开发了一些有影响的VR应用系统，如北京奥运会开闭幕式节目仿真系统，利用VR技术将节目创意方案全部三维数字化建模实现，导演组可以看到逼真的节目效果，以此进行节目的遴选决策。下面给大家展示的是奥运五环。如果没有VR技术的支撑，将耗费大量时间和经费。这些节目仿真所采用的图形工具，是我们自己研制的实时三维图形平台，该系统获得了国家科技进步一等奖。
　　三、虚拟现实系统的实现技术与发展趋势
　　下面简要介绍VR系统的实现技术。
　　实现一个VR系统，大体需要三方面的技术，即：建模、表现与交互。
　　首先是现实世界的对象在计算机数字空间的表示问题，也就是建模。建模需要通过数学、物理，以及各种数字化方法将现实世界中的对象、对象之间的关系、相互作用及动态变化所遵循的规律，映射为数字空间中的各种动静态数据表示。建模方法与所要模拟的对象类有关，也与应用领域密切相关。针对所要模拟对象的不同方面，建模方法分为几何建模、物理建模、行为建模和虚实融合建模等。由于现实世界形态的复杂性、发展的无限性，以及人类认识世界的局限性，使得建模成为VR领域永恒的研究方向。
　　第二类问题是虚拟环境对象的表现,包括视、听、触/力、嗅/味等的表现。VR表现技术将虚拟环境中的各种对象模型通过不同的表现方法、算法渲染在表现设备上，以沉浸方式呈现给用户。表现方法和对象模型及表现设备直接相关。表现设备，如头盔、真三维显示、力反馈操纵和触觉数据手套等都在不断发展，因此，这也是一个无穷尽的问题领域。
　　第三类问题是人对虚拟环境中对象的操作,以及虚拟环境对象对现实世界的作用，也就是VR人机交互问题，主要涉及人或外部世界与虚拟环境之间互相作用的信息交换方式与人机交互设备。自然人机交互是目前的一个研究热点。
　　VR大体上有如下几个发展趋势，首先VR将会与AI（人工智能）技术及其他相关领域技术结合，使其特征由3I成为4IE，即VR系统会具有智能（Intelligent）和自我演进演化（Evolution）特征；在VR建模技术方面会从目前以几何、物理建模为主，向几何、物理、生理、行为、智能建模发展；在交互技术与设备方面会出现一些颠覆性技术，如光场全息显示、实时同声翻译、触感温湿感交互和味觉等。
　　现有VR系统距离VR+的期望目标，尚存在若干重大技术瓶颈，例如：各类数据的获取，以及多源数据/模型无缝融合，新概念数据获取机制与设备，非刚体物理建模及自由交互与实时逼真响应，行为、智能与演化模型，模型的可建模性、复杂性与可信性，真三维显示与自然化人机交互机制与交互设备，应用效果的评价等。
　　VR技术的发展可以给许多行业带来升级换代式发展，如航空航天、国防军事、装备制造、智慧城市、医疗健康、公共安全、文化教育等；会对许多产业产生颠覆性影响，如影视、游戏、旅游、商务、社交网络等，同时可望形成新型的VR产业生长点，如VR人机交互设备产业，行业应用模拟器、虚拟环境产业，VR平台软件与嵌入式系统产业，领域和行业模型数据产业，网络、移动终端VR产业和VR服务产业等。可以说VR产业进入了爆发式发展的前夜。
　　我的报告到此结束，谢谢大家！