不仅是Vision Pro，AR还能这样玩

2024-02-26

红杉中国关注

更有价值的商业工具

编者按：本文来自微信公众号红杉汇（ID：Sequoiacap），作者：洪杉，创业邦经授权发布。

趋势一

AI驱动AR的未来

AI的发展一直与AR紧密相连。AI模型在人脸扫描、地图扫描等任务中效率更高，部分AI工具已经可以用来创建和操作3D对象。今天，AR不仅只利用AI来分析传感器数据——AI开始被用来实现一些更重要的任务，以补充和增强AR体验。

• 构建逼真的人体模型和物体扫描：AI已经帮助AR从仅仅分析一个人脸部的关键点，发展到能够重建一个逼真的人脸或其他物体，生成虚拟环境中人物的头像或资产的三维模型。

• 物体检测和标注：机器视觉可以识别并标注物体。这不仅适用于识别，还可以在现实世界的物体上放置虚拟物体，提升AR的交互体验。

• 文字识别和翻译：用户只需将摄像头对准对象文字，就能获得实时翻译。

AR与AI搭配，能帮助企业解决一些业务方面的问题，特别是用户服务难题。例如，当你家的某个电子设备出现了故障，很多时候你不再需要苦等维修人员上门，企业可以通过AR+AI技术指导用户排除故障、重新设置，同时也减少了服务成本。

趋势二

更加逼真的虚拟化身

社交AR的未来将会从卡通形象逐渐过渡到更逼真的虚拟化身，带来更自然的AR体验。苹果公司在发布Vision Pro时就展示了这项技术。

他们将这些逼真的化身称为“空间Persona（人物）”，并利用机器学习识别与展示更多的肢体语言和面部表情，提升FaceTime视频通话的AR/VR互动效果。

图注：苹果为Vision Pro推出的“Persona”功能将应用于钉钉会议，实时反映参会者的表情和动作。图源：钉钉

苹果公司并非孤军奋战。Meta公司也在研究类似的概念，并将其命名为“Codec Avatar”（编码化身）。事实上，他们已经专门开发了一个深度生成模型，来自动化创建逼真的3D人脸。

趋势三

移动AR——从游戏到商业工具

AR技术在移动设备上最初只是一种有趣的“玩具”，但现在它们已经发展成为一种非常有用的工具，可以完成如导航、远程协助、培训、产品可视化和场景分析等关键任务。

ARCore：最新的安卓AR功能

谷歌今年将发展其安卓AR技术ARCore。该框架在2022年发布的地理空间API的基础上，引入了街景参数接口，方便开发人员调取100米半径范围内的建筑物和地形的几何图形，从而在AR应用中创建更真实的建筑物和地形互动体验。

其中，屋顶锚点（Rooftop anchors）是一项重要功能，它可参考建筑物的实际高度和几何形状，将数字对象锚定在屋顶上；另一项新功能是地理空间深度（geospatial depth）。地理空间深度也是基于现有的街景数据，结合用户手机自带的深度传感器，生成65米的深度地图。

ARKit 6：iOS最前沿的AR技术

苹果公司的AR框架也在不断发展。其中一些最新功能包括：

• ARKit会话期间的4K视频录制

• 激光雷达（LiDAR）扫描仪深度API

• 利用LiDAR传感器的平面探测功能实现即时AR

• 动作和姿势捕捉

• 蒙特利尔、悉尼、新加坡和东京等城市的位置锚点

ARKit 6中得到增强的最强大功能之一是房间测量规划（RoomPlan），它利用设备上强大的LiDAR，可以快速借助iPhone或iPad创建建筑物的平面图，是强大AR测量工具的基础。

总体来说，ARCore和ARKit之间的区别更多是硬件，而非软件层面。尽管存在一些安卓设备可以与新款具备LiDAR功能的iPhone相媲美，但毕竟数量有限。而安卓设备的硬件配置难以统一，也让开发人员通过ARCore打造一致的体验变得更加困难。当然，苹果公司的设备也是如此，并非所有iPhone都配备了LiDAR。通常情况下，这种扫描仪只在Pro系列 iPhone和部分iPad Pro上可用。没有这种先进的深度传感器，设备就无法获得高保真的AR体验。

趋势四

WebAR——打造无障碍体验

移动AR面临的最大挑战之一就是硬件兼容性。功能最强大的AR体验虽然效果好、令人印象深刻，但对于绝大多数设备来说还无法很好实现。不过，还有一种方法试图另僻蹊径，那就是WebAR，它通过与大多数带摄像头的设备兼容的网络浏览器来提供更简单的AR体验。

虽然WebAR解决方案的功能不如手机本地硬件实现的AR强大，但其更广泛的设备兼容性是最大优势——WebAR几乎能在任何设备上实现面部滤镜、改变头发或物体的颜色、更换背景和绘制简单的3D物体等功能，这一点非常有用。

网络AR技术的未来也与AI密切相关。很受欢迎的WebAR开发平台之一，来自Niantic的8th Wall（第8墙）已经推出了一系列新功能，供开发人员在网络上开发沉浸式App。App连网后还能通过DALL-E和Stable Diffusion等AI模型生成更逼真的天空。与此同时，还可以与他人共享AR体验。

趋势五

跨平台AR应用

许多公司创造AR体验的最终目标是尽可能多地锁定客户。然而，随之而来的挑战也不少，例如：

• 不同的平台有不同的限制和功能，受众可能拥有不同的设备。

• 为每个平台原生开发对应平台App的成本可能会很高，而且需要专门的团队来确保每个平台之间的一致性。

• 跨平台的AR开发工具无法达到与原生开发工具相同的强大功能和质量水平。

跨平台开发工具比较适用于不太复杂的App开发。然而，如果你的App需要更强大的功能和更高的质量，原生开发工具是最佳选择。例如，如果你想开发一个在线商店，其中90%的功能不依赖于平台，对性能要求不高，只需要有一个简单的AR产品预览模块，那么你可以选择跨平台AR。

但如果App的功能需要更强的设备性能或是需要针对不同的平台，比如一些3D扫描或AR导航等App，那么各平台原生的开发工具会是更好的选择。

趋势六

可穿戴AR已成为现实

过去几年，可穿戴AR技术行业发生了重大变化。苹果公司的Apple Vision Pro便是消费者AR头戴设备迈向未来的重要里程碑之一。它拥有更高分辨率的显示屏、大量的分布式传感器、内置空间音频以及眼睛与手势跟踪功能，虽然从目前的反馈来看褒贬不一，但不可否认的是它的商业前景非常可观。

可穿戴AR体验最主要的特点是，你可以在任何地方生成一个屏幕，再通过它来打开App；你可以在家里的任何地方创建一个巨型屏幕来看电影。AR头戴设备将为我们打开一个全新交互的时代，空间计算则是我们与这些机器自然交互的必要条件。

苹果公司的Vision Pro的开发流程基于visionOS SDK（软件开发套件）。开发人员可以利用熟悉的苹果工具为该平台开发App，也可以使用visionOS SDK调整现有的App，使其适配于Vision Pro。

ARKit和visionOS的结合，可以实现更多高级的功能，如骨骼手部跟踪和一些辅助功能等。这样，用户就可以通过手势（或眼球运动、语音指令、头部运动等）与设备在虚拟空间中交互。

Meta也推出了具有全彩透视功能的Quest 3和Quest Pro，价格相比苹果公司的AR设备要低一些。

趋势七

AR与营销、零售业

AR技术在营销行业有许多不同的应用。AR名片、用户手册和产品演示都相对简单，可以转化为沉浸式体验。这是与竞争对手脱颖而出的绝佳方式。AR技术在营销领域持续为企业带来更多收益。AR Insider报告称，全球AR技术的未来收入预计将在2027年攀升至398亿美元。

在零售行业，AR大有可为。目前，“虚拟试穿/试用”之类的功能继续成为AR在零售应用中的主要推动因素——它在帮助企业提升客户在线购物体验的过程中，沉浸式体验起着重要作用。虚拟房间、虚拟试衣间、虚拟化妆间等正在流行。

趋势八

AR与导航、汽车

室内外导航

多年来，创新者一直致力于为室内和户外环境创造身临其境的导航体验——用户无需低头看屏幕，实际场景会自动出现动态的三维标记。不过，由于没有统一的方法或技术能适用所有环境类型，因此AR导航的未来确实存在细微差别。

室内导航在很大程度上仍受限于定位精度。打造AR室内导航系统并不难，但提高其定位精度却十分不容易。具体来说，室内导航可以引导顾客前往某一商店，给出相对准确的方向指引，但却还无法实现将顾客引导到商店货架上的特定产品。

至于户外方面，GPS本身就能在所有户外场景提供近乎完美的定位；从环境成像来看，对于正在驾车的用户而言，法规可能会禁止行驶中司机查看在挡风玻璃上显示的AR导航。目前谷歌和苹果在其AR平台中引入了VPS（Visual Positioning Systems，视觉定位系统），它们会比对街景图像数据库来确定用户的位置，然后在场景中生成AR导航。然而，如果无法获得准确定位或天气条件不允许，比如大雾天气，这些视觉系统就可能无法正常运作。

汽车驾驶

此外，汽车行业在以下方面也正从AR技术的创新中受益：

• 远程协助：为驾驶员提供引导式协助和诊断；

• 停车位检测：在繁忙的停车场中突出显示空闲的停车位；

• 疲劳驾驶检测：利用面部识别技术、头部和眼部动作追踪技术等检测司机的注意力情况，及时提醒疲劳的驾驶员集中注意力；

• 抬头显示屏（Heads-up display，HUD，指无需低头看手机显示屏，而直接在眼前的透明显示屏上看到更多信息的设备）：通过在视野范围内指引方向、突出危险来协助驾驶。