增强现实：技术、应用和人体因素

　　本书共分四部分，23章。第一部分阐述了增强和沉浸式显示器以及它们的历史，虚拟空间的概念；第二部分探索使我们能够从视觉上感知真实世界和虚拟世界的生理过程，包括视觉机制、头戴式显示装置的组成、增强性显示装置、沉浸式显示装置、听觉机制、听觉显示装置、触觉机制、触觉和力反馈装置等内容；第三部分挖掘增强现实和虚拟现实在多个领域的应用，具体包括游戏和娱乐、建筑与施工、科学与工程、健康与医疗、航空航天与国防、教育、信息控制与大数据可视化等领域；第四部分首先探讨使用这些先进的可视化工具可能导致的并发症和副作用，以及解决办法，然后探讨这些技术的兴起带来的法律、社会和伦理方面的问题，后讨论这些关键技术的下一个重大进展及短期和长期前景。

　　Preface 前　　言
　　尽管增强现实和虚拟现实对公众很有吸引力，但了解这些系统实际上如何运作的人很少。AR和VR技术被视为给游戏和娱乐带来更好体验的酷技术，但除此之外，大家的理解还是比较模糊的。AR和VR最早的一波热潮出现在20世纪90年代初，现在新一代的懂技术的年轻人和专家表现出了与20年前相同的兴趣和迷恋，但几乎没有最新的资料能够清楚地解释这些实现技术，它们要如何利用人类感知系统的优势，除了游戏之外，哪些领域展示了各种现有的以及解决实际问题的应用的多样性。本书的目的就是填补这块空缺。
　　读者应该意识到，虽然最新一代的核心产品来自天才，但是增强现实和虚拟现实的真正开拓者出现在科学文献、技术短文、会议论文集，以及20世纪80年代和90年代的专利中。像汤姆·弗内斯、马克·博拉斯、史蒂芬R.埃利斯、斯科特·费希尔、沃伦·罗比内特、纳撒尼尔·杜拉赫、伊恩·麦克道尔、弗雷德·布鲁克斯、亨利·福克斯、伊丽莎白·文策尔、斯科特·福斯特、杰伦·拉尼尔和汤姆·德芬蒂，他们在实验室里静静地工作，解决着众多难题，开发着创新的硬件和软件方案，探索着相关的人类感知，为这个领域的再次兴起打下了基础。
　　而我站在他们的肩膀上。
　　谁应该读这本书本书的目的是作为计算机科学、工程、建筑，以及与AR和VR系统一样用到标准计算机可视化技术的其他领域中的本科生和研究生课程的补充读物。
　　如果你在从事商业、工程、科学领域的工作，本书将给你带来大量的应用场景，这些技术在设计质量、成本控制、高效协作、制造流程以及提高对数据的理解方面都有着深刻的影响。
　　如果你是一位游戏玩家或者一般的AR/VR爱好者，本书将是理想的读物。书中提供了扎实的感官机制基础知识，以及基本的头戴式显示设备、空间声音、传感器和一系列触觉/力反馈设备的实现技术。
　　尽管没有其他特定的背景知识要求，但作者假定大家对计算原理和人类生物学有基本的理解。
　　本书的组织结构本书深入浅出地解释了增强现实和虚拟现实系统。相比深入讲解各种实现技术，本书首先会介绍视觉、听觉、触觉的机制，分别紧跟其后的是对可穿戴显示器、3D音频系统、触觉/力反馈设备的解释。目标是帮助读者理解和欣赏我们非凡的感知机制如何直接影响相关实现技术的设计和应用，以及尝试达到的性能范围。
　　本书分为以下四部分。
　　第一部分由2章组成，介绍一些基本概念，比如：对增强和沉浸式显示器以及它们的历史的清晰描述、视觉空间和内容的阐述、三维空间中的位置和方向、常用坐标系和一般的导航方法。
　　第二部分由10章组成，探索视觉、听觉、触觉的机制，以及对图像、音频和触觉显示器的关键实现技术，还有传感器和输入设备的阐述。
　　第三部分由8章组成，提供案例学习和各式各样的有关增强和虚拟现实技术的现有应用，涉及领域包括：娱乐、建筑和施工、科学和工程、医疗保健和医学、教育和培训、遥控机器人等。
　　第四部分由3章组成，解释与增强和沉浸式显示器使用相关的关键人体因素问题、法律和社会考虑，以及对未来的关键硬件和软件技术的展望。
　　以下是对每章的详细描述。
　　第一部分包括第1章和第2章。
　　第1章概述增强和沉浸式显示系统，包括光学和视频透视变体，以及它们的历史。
　　第2章概述了虚拟空间的基本概念，包括与物理空间的相似之处和不同之处，用于定义、描述、组织空间的约定，还有导航的方法。
　　第二部分包括第3章～第12章。
　　第3章探索使我们能够从视觉上感知真实和虚拟世界的生理过程，包括视觉通路、空间视觉、单目和立体深度线索的回顾。
　　第4章探讨目镜、显示方式、成像和显示技术，以及光学架构。
　　第5章探索市面上众多的单目和双目增强显示器，强调它们的关键功能和设计差异，以及它们最初的用途。
　　第6章介绍最新一代的商用完全沉浸式的头盔显示器，涵盖了多种类别，从个人计算机和控制台驱动设备到基于现代智能手机的低端系统。
　　第7章解释我们的耳朵如何将空气分子平均密度中的快速变化转化为我们所感知的声音，大脑如何定位和分离声源，声音的线索如何有助于在虚拟环境中的整体沉浸感。
　　第8章详述增强和虚拟现实系统中使用的各种类型的音频显示和空间声音解决方案，研究它们的功能差异和每种最有利的应用设置的类型。
　　第9章探索使我们产生触觉的机制，包括皮肤的解剖、各种机械感受器和本体感受器的功能和能力范围，以及触觉和动觉线索如何补充视觉和音频显示。
　　第10章探讨一些用来产生触觉和动觉线索的技术与产品解决方案，以及充分发挥触觉力量的挑战。
　　第11章涵盖各种关键的传感器技术，用于跟踪用户的位置、方向和运动，头盔显示器以及输入设备。
　　第12章涵盖一些当前新兴的技术解决方案，实现了导航以及虚拟环境和其中的虚拟物体的交互。
　　第三部分包括第13章～第20章。
　　第13章挖掘在艺术和娱乐领域的增强和沉浸式系统中的一些独特应用，包括多人第一人称游戏（MFPG）、基于位置的娱乐和电影的虚拟现实。本章还着重强调在该应用领域运用这些新技术所带来的优势和挑战。
　　第14章通过案例研究阐述各种不同的增强和沉浸式显示器的使用方式，可用于解决设计可视化、通信和项目管理所带来的挑战。
　　第15章探索这些技术在广泛的不同领域的实际持续应用，比如太空系统、海军建筑、汽车工程、海洋工程和核工程。
　　第16章介绍增强和沉浸式显示的应用，包括医师培训、创伤后应激障碍（PTSD）和恐惧症的治疗、血管成像、医疗信息等领域，并强调与传统方法相比，这些解决方案的优势和益处。
　　第17章展示增强和沉浸式显示、空间音频、触觉/力反馈系统充分利用人类感知系统在复杂机器控制中的优势的案例研究，例如喷气飞机训练宇航员并帮助完善技能集，以及战场上士兵的态势感知。
　　第18章探索增强和沉浸式系统在有形技能培训方面一些已有的、影响重大的应用，帮助学生学习复杂领域的抽象概念，比如建筑学、儿童体验式学习。
　　第19章展示沉浸式显示在由许多科学研究和业务运作产生的海量数据集中获取数据、可视化以及处理数据的应用。
　　第20章探讨几个通过先进的可视化和控制技术在远程操作半自主机器人系统的应用例子。
　　第四部分包括第21章～第23章。
　　第21章着眼于使用这些先进的可视化工具导致的一些不容忽视的并发症和身体上的副作用，包括视觉诱发的晕动症和视觉辐辏调节冲突。此外，该章还提出可以采取的把影响降到最低的步骤。
　　第22章探讨由商用增强和沉浸式显示技术的兴起而带来的一些意义深远的法律、社会和伦理问题，包括产品安全、潜在的法院申请书和提交证据、第一人称游戏越来越多的暴力场景和批判现实主义等问题。
　　第23章探讨这些关键组件技术的下一个重大进展，指出短期和长期的前景，以及这些变化将带来的好处。
　　此外，本书最后有两个附录。
　　附录A，包括前面每章括号内的参考书目引用。
　　附录B，提供一个汇总表，包括几十个视觉显示器、空间音频解决方案、触觉/力反馈设备、位置/方向传感器，以及制造商的网址。还有为定制自己系统的开发者而提供的各种DIY资源列表，以及产品商标列表。
　　注释 指出有用或有趣的信息和事实。
　　配套站点本书的配套站点是 PracticalAR.com 。这个网站将定期更新产品、传感器和应用，以及重要论文和报告的超链接、作者博客等。
　　致谢无论是撰写哪种类型的图书，都需要一定的时间、大量的研究和多方面的帮助。那些支持我、鼓励我、鞭策我的朋友，他们在本书出版中扮演着关键的角色。为此，我要向培生集团Addison-Wesley的执行主编劳拉·勒温表达我最深的谢意，是她提供了这次写作机会，并在整个过程中促使我努力保持书稿的高质量和高标准。同样要衷心地感谢编辑和制作团队。邱松林是一位注重细节的策划编辑。编辑助理奥利维亚·基吉奥为本书的出版提供了很多至关重要的支持和帮助。
　　此外，本书也深受技术审校小组的影响，美国国家航空航天局喷气推进实验室的维克多·罗、Sensics的执行总监尤瓦尔·博格、密歇根大学UM3D实验室的埃里克·马斯罗斯基，以及AMD公司研究员卡尔·威克兰，等等。非常感谢你们提供的见解、建议和修正意见。
　　致我的朋友和同事们，包括史蒂文“1234”哈里斯、皮特和索尼娅、约翰和史黛西、伯尼和娜奥米，以及我在HCBC的其他朋友，感谢你们的鼓励和支持。
　　致我的家庭：心存感恩，不忘初心。