全面系统深入的介绍虚拟现实的理论与实践。侧重于交互设计。而交互是VR开发中相当重要的一环。内容全面,包括了VR的简史,体感设计、内容设计、交互设计以及可能的负面效果等等,操作性强,实用性高。
全面、系统、深入。国内无类似的原创著作。
Jason Jerald博士是NextGen Interactions的首席执行官,担任多家咨询委员会成员,并在全球各地的多个活动中演讲。他致力于开发虚拟现实系统和应用超过20年,参与了超过70个与虚拟现实相关的项目,涉及40多家组织,包括Meta、Valve、Oculus、Virtuix、Sixense、Google、Intel、AT&T、NASA、通用汽车公司、三家美国国家实验室和五所大学。
他的工作曾在ABC的Shark Tank节目、探索频道、《纽约时报》以及MIT出版社的期刊Presence封面上亮相。他曾担任多个技术和领导职位,并在ACM SIGGRAPH、IEEE虚拟现实和IEEE 3D用户界面委员会任职。他撰写了许多与虚拟现实直接相关的出版内容,并拥有许多虚拟现实的专利。
致中国读者
写在前面
自从《虚拟现实宝典:以人为本的VR设计》英文版首次出版以来,虚拟现实的旅程仍在继续。这是一段充满起伏的美妙旅程。可以说,无论结果如何,只要回顾和反思我们的经历,学习总是会发生的。虽然我们人类在生物意义上保持不变,但新技术、知识和人际关系在许多方面都发生了巨大的变化。
上海之行
当我写下这些文字时,我不禁回想起2023年在上海参加IEEE VR会议时的情景。事实上,我查了一下我的日程,此时距离我上次到上海刚好是一年零一天,也恰好是会议召开满一年。巧合吗?也许是,也许不是。然而,研究人员知道,作为人类,我们的注意力是强大的,我们会注意到所关注的事物(10.3节)。
我怀念中国的美丽以及人民的友善。我记得在黄浦江上的晚间游船上,高楼上飞舞的蝴蝶以某种方式形成了增强现实。我记得与许多中国人交谈,无论他们是虚拟现实领域的研究人员还是餐厅服务员,每一个人都很友好。我记得参观了壮观的上海自然博物馆,联想起这些展品与美国和墨西哥自然历史博物馆中的相似之处——虽然我们人类看起来可能有些不同,说话方式也不同,但我们在很多方面都是相似的。当然,我们都喜欢虚拟现实!
我还记得与一位朋友(前员工)朱泊霖的会面。记得我们第一次见面时,他给我留下了很深的印象,那时我们正在开展本书的工作坊活动,他工作得非常出色。遗憾的是,2020年他回中国后我们无法留住他。不过,他以自己的方式继续这段旅程,创办了自己的公司Owei Tech LLC(哦维科技),并取得相当大的成功。他在NextGen Interactions公司时,曾拓展了被动触觉(3.2.3节)的研究,在基于位置的娱乐领域应用了类似的概念。他的公司为不同的虚拟现实解决方案提供商创建内容,包括Elluxion、Movie Power、Rao π District和The Instinct Real Game等基于位置的娱乐品牌和主题公园。他带我参观了其中一家,这家公司同时使用被动和主动触觉、重定向行走(redirected walking),最令人印象深刻的是一座将真实与虚拟世界相结合的优秀演员的VR游戏厅——做得非常出色,是我所经历过的最引人入胜的VR体验之一。
追忆Brooks博士
我在2023年IEEE VR会议上认识到的一件事是, Frederick P. Brooks博士(《人月神话》一书的作者)在中国甚至比在美国更出名。我的一些同事组织了一个座谈会,重新审视了Brooks博士的开创性论文“What’s Real About Virtual Reality”。这使得和Brooks博士相关的话题成为会上的非正式主题,并且与我组织的座谈会主题 “高风险事件下XR应用的挑战与机遇”一致。在座谈会上,大家提及了Brooks博士的信念:身为计算机科学家,我们应该成为工匠,帮助他人完成工作。
我曾有幸得到Brooks博士的指导,他给我那篇关于虚拟现实延迟的论文提供了宝贵的建议。在很长一段时间内,我曾对他所建议的分析头戴显示器延迟的想法持怀疑态度。毕竟世界上关心此话题的人寥寥可数。最终,我屈服了,并着手研究。多亏了他的人脉,我得以邀请几位该领域的专家加入我的论文委员会。即使在我毕业后,关心此问题的人似乎仍然只有论文委员会的这几位专家。然而,几年之后,我发现Brooks博士是正确的。随着Oculus将虚拟现实革命推向主流,人们开始意识到虚拟现实延迟的重要性,整个世界似乎突然都开始关注这个话题了。对延迟的兴趣使我有机会与几家公司合作,并最终促成我撰写了本书,否则我可能没有合适的人脉、资源或理由去做这件事情。
Brooks博士对本书以及计算机科学/工程(以及其他学科)的许多领域产生了重大影响。每次与他交流,我都能获得一些新的见解,从而以新的方式思考。最早我从他那里学到的一件事是1个字节不一定是由8位比特组成。在那之前,我一直认为1个字节中有8位比特是一个公理和固有的真理。但在Brooks博士通过IBM的System/360系列计算机将8位比特标准化成1个字节之前,其他计算机使用的是6位甚至7位比特。现在回想起来,1个字节有8位比特似乎是显而易见的,但如果如此显而易见,为什么其他人没有这样做呢?想象一下,如果每个字节只有7位比特,世界将会多么不同,数学会变得多么具有挑战性?也许作为计算机科学家,我们不会如此关注2的幂次方。
Brooks博士最为人所熟知的是他撰写的《人月神话》一书。这本书引入了一些概念,例如现在被称为敏捷开发的概念,而其他思想领袖要到几十年后才能理解。然而,他的贡献远不止于此。与本书密切相关的是他的著作The Design of Design。但他的许多贡献并未被记录下来。多年来,他个人的建议和反馈对本书产生了重大影响。他对我的论文的修改(有时令人痛苦)涵盖了从高层的概念到语法的改进,以使观点更加清晰。我从他那里学到的一件事是写作可以促进更好的思考;我不仅成为了一名更好的写作者,也成为了一名更好的思考者。撰写本书无疑使我能够更清晰地思考虚拟现实设计,并使我成为一名更好的沟通者,而这是我担任NextGen Interactions首席执行官时必须具备的一项至关重要的技能。
Brooks博士未能参加2023年的IEEE VR会议,因为他不幸于2022年年末去世。他在北卡罗来纳大学教堂山分校任职近60年(在IBM工作了近10年后),学校为他举行了一次追思会。尽管这是令人悲伤的,但也是一次庆祝。他的许多学生都发表了讲话,我们在他的故事和对他的回忆中建立了联系。从这个活动中可以清楚地看出,他不仅对世界做出了直接贡献,而且他的许多学生也做出了重大贡献。如果没有他,世界肯定不会是今天这个样子。那个周末,我记得我徘徊在Brooks博士办公室外,回忆起曾经在同样的地点等待我们每周会议的时光,时而耐心,时而紧张。一位工作人员看到我,记得我是Brooks博士的学生之一,便问我是否想进去看看。于是他打开门让我进去,并关上了门,让我能完全沉浸于此刻。Brooks博士的办公室与我记忆中的一模一样,到处都是一堆堆的文件……两个咖啡杯、胶带、回形针和一些文件摆在他的桌子上,仿佛他当天早上刚刚离开。在他的书架上,放着我送的《虚拟现实宝典:以人为本的VR设计》一书的早期副本。那一刻,我几乎感动得忍不住流泪,既谦卑又自豪:因为像他这样的人将这本书放在办公室中占据一席之地,是本书莫大的荣耀。
在追思会上,Russ Taylor博士总结了Brooks博士那些简单而又独到的见解。我们都知道,简单比复杂更难实现,而Brooks博士以直接简明的陈述方式提供洞见的能力无人能及。我猜测,和我们一样,他并非自动产生那些有力的洞见,而是通过一生的学习和努力逐渐领悟到的。以下是他的一些洞见:
You can only steer a moving ship.
There's no right way to do a wrong thing.
Be careful not to provide more verisimilitude than veracity.
You learn what you know as you write.
Build one to throw away. And then throw it away.
Sometimes it is better to be specific and wrong than to be vague.
当然,还包括这条Brooks定理:
Adding people to a late project makes it later.
科技变化迅速,而人类变化缓慢
自撰写《虚拟现实宝典:以人为本的VR设计》一书以来,尽管技术和许多虚拟现实的发展已经取得了进步,但人类心理仍然保持不变。我尽力以一种能够经久不衰的方式写作,虽然其中一些术语可能有所变化,研究肯定会有所拓展,但我很高兴地说,所有核心概念仍然适用。话虽如此,我对其他人采取的一些方法感到惊喜,这些方法可以为人类提供更愉悦的体验,这是我自己也没有想到的。然而,有惊喜也并不奇怪。如果《虚拟现实宝典:以人为本的VR设计》涵盖了一切变化,那我会更吃惊。不过,我相信本书为设计新的方法和技术提供了坚实的基础。
明天会更好
未来有可能会令人害怕,但它也可能令人兴奋,更重要的是,它会不断改善。尽管世界上仍有很多令人讨厌和悲伤的事情(媒体也经常强调这一点),但统计数据告诉我们一个完全不同的故事——从大多数指标来看,世界正在以加速度改善:贫困减少了,预期寿命增加了,教育水平提高了。当然,虚拟现实技术也有了显著的改进。
这些改变并非偶然发生,而是由善良的人们努力使真实世界和虚拟世界变得更好而实现的。虚拟现实不会偶然改善世界和人类,而是依赖我们每个人的努力、为更大的利益而奋斗。我们不应该害怕未来,而应该像英雄那样去拥抱它,让虚拟世界和真实世界变得更美好。在NextGen Interactions公司,我们相信,发现并解决虚拟现实能够应用(对世界影响最深远)的使用场景,是我们道义上的责任。虽然你的使命可能与我们的不同,但我相信你会善加利用本书和虚拟现实技术。
结语
生逢一个多么美好的时代啊!祝愿你在创作中好运,希望有一天能够亲自在会议上了解到你的工作,或者也许我们会在某个看似偶然的地方巧遇。
Jason Jerald
CEO, NextGen Interactions
Raleigh, North Carolina, USA