作者｜鹿尧
“每颗主星，都有自己固定的方位，请你参照卷轴的提示，移动火土木三星，让它们逐一归位。”按住手柄扳机，随着天空杯的移动，齿轮缓缓转动，掌心也感受到一阵阵的震颤。测定好三星方位，玩家根据提示连接星图，等到青龙白虎跃然纸上，此时提示音再次响起，观星定位就此完成。
故事发生在康熙年间，时任钦天监监正南怀仁，要向康熙帝呈进观候天象题本。300多年后，这份记录了立秋至秋分时候天象方位的题本，通过PICO的互动视频，再次呈现在我们眼前：带上VR眼镜，在不到十分钟的时间里，穿越时空探寻古籍背后的故事，手柄中的宽频马达，也在真实反馈体验时的触感。
对于还原历史这件事，人们总是有着很深的执念，千百年来，记录的形式不外乎文字和胶卷，但时间的冲刷不仅会模糊文字的细节，也会磨灭画面的质感。我们或许需要一种更清晰、更沉浸的体验方式，将历史丝毫毕现地还原在人们眼前。
就像我们过去提到的“创意机器”，创新技术的进步，让社会的记忆又回来了。而这一回，是字节跳动公益联合国家典籍博物馆，与PICO 、抖音共同打造的《古籍寻游记》，让历史得以重现：
以VR互动纪录片为核心，依托PICO的6DoF交互技术，以及火山引擎视频云的三维重建和视频扫描技术，将殷墟甲骨、居延汉简、敦煌遗书、明清档案等古籍呈现在VR画面中。
“你可以回头，看看钦天监的全貌。如果不恐高，下一个场景可以看看脚下的地球。”在开头的《钦天监南怀仁题本》里，观众与监正一起登上观象台，使用天文器材夜观天象、完成题本后，沉甸甸的官印落下的那一刻，历史的敦厚跨越千年，在当下产生了回音。
01
复活古籍的创意底座
如果时间再倒退一千多年，这次你不再是观星台上的天文科新人，而是东汉时期戍守边关的一个戍卒，但由于工作失误，导致附近烽燧的助吏被匈奴抓走，本来要受到的惩罚却被上司顶了锅。匈奴大肆犯境，心怀愧疚的你，接下来会怎么办？
这是即将上线的《古籍寻游记》里“居延汉简”的情节。像这样的故事还有几个，除了已经推出的“明清档案”和“殷墟甲骨“，在后者你可以穿越回现代，体验一把甲骨文的刻制，而在最后一期的“敦煌遗书”，你甚至能借助VR世界里，来到五代时期的后唐，跟随天文历法学家翟奉达完成敦煌遗书的修复。
如何让现代创意机器与古老的典籍对话，这是一个充满挑战的难题。制作一部VR复活古籍的视频，仅文物筛选、定剧情脚本、美术设定，就耗费了制作团队大半年时间。和一般的视频不同，VR复活古籍还要兼顾趣味性和历史的正统性：在有限的时长内展现历史原貌，同时让观众觉得有趣有意义。
传统的单块显示屏或投影方式，观众只能在尺寸和清晰度等参数间权衡，但不论怎么选，都跳不出二维的平面形态，更不能参与其中，获得真实的体感互动。所以为了营造更加贴近现实的沉浸式体验，VR里的每一个场景和人物的设计都需要精心打磨。
在画面制作上，PICO的解法比较特殊，它利用VR技术，通过计算机建模搭建起古代的场景，甚至用电影级别的动捕方案去制作人物动作。例如画面中的文物，大部分都是真实存在的，为了能更细致地展现其构造和纹理，火山引擎视频云采用神经辐射场技术，在不伤害文物的低噪情况下，扫描重建出文物的三维结构。
作为字节跳动旗下的云服务平台，近年来火山引擎推出了一系列以云为底座的行业解决方案，视频云也是其中之一。在这次的VR视频里，空间建图是行业的另一个难题，除了模型本身的结构会复杂，质感想做好也很难；像传感器的精度、数据的完整度、环境的复杂变化都会造成影响，如果是规模大的空间环境，数据量会非常大，误差也更容易出现，这对于制作团队的算法要求更高。
据火山引擎视频云团队介绍，在对敦煌石窟里的场景进行重建时，由于团队具备基于视觉、RGBD数据集，以及多模态数据作为支撑，所以他们只需要扫描视觉数据，再融合应用SLAM、深度学习等技术，就能对场景及其细节进行更快速和精准的复刻。
当文物和场景的静态画面都重建好，这时候要做的，就是对动态物体、人物的实时重建。这里涉及到的光场视频技术，在制作难度上要远高于场景重建，前者需要在三维空间内记录物体的所有信息，包括形状、深度、颜色等，除了要实时捕捉处理大量数据，还要用更复杂的算法来支持画面处理、光学模拟和深度计算。
当用户跟随南怀仁行至紫微殿，能看到周边树影斑驳，殿内明暗影影绰绰，这些真实感和还原程度极高的画面，主要得益于火山引擎视频云团队基于深度学习的生成技术。
由于光场视频比传统视频的数据量大得多，于是团队采用了多视角编码的方案，将数据进行压缩处理，让原本需要很多相机采集的工作，用稀疏的多相机输入就能完成。
02
原来PICO还能这么玩？
智能设备和移动互联网的普及，让视频已经成为不可或缺的表达方式和传播载体，这意味着，每一帧画面都可以被视为一件技术产品，也让追逐更好的用户体验，成为所有创作者的心照不宣。
近日，2023火山引擎春季FORCE原动力大会上，针对“体验创新”这个概念，火山引擎基于字节跳动的技术沉淀，在智能图像、音视频等方面为企业提供创作和互动营销服务，视频云也是众多赋能到企业的内部工具之一。
作为火山引擎云服务版图中的一环，视频云除了提供一套完整的音视频解决方案，包括视频上传、转码、传输等功能，提高视频处理的质量和效率之外；在这次古籍活化的项目中，三维重建、视频扫描、光场视频技术等，让它能够满足当下视频在制作过程中更高的要求。
火山引擎总裁谭待，谈及行业里的确定性趋势，他认为，随着互联网音视频用户在去年底已经达到10.4亿，视频化重塑消费者体验成了一个必然逻辑，在这种情况下，用户通过音视频获取信息、服务的这一行为，将成为影响企业优化消费者体验的方式和路径。
所以为了给用户更好的视频体验，这次视频云的产品升级，分别对应了“更高清、更交互、更沉浸”的三个方向。按照这个逻辑，火山引擎除了推出AR互动营销、创意互动Vlog、虚拟数字人等新产品；具体到火山引擎视频云的能力来看，比如基于自研编码器BVC2，人们能在点播、直播、编辑视频时，在不影响编码速度和画面质量的情况下，用更少的内存将文件储存起来；又或者在有限的带宽条件下，满足8K的VR直播观看条件，这主要得益于火山引擎视频云开发的“VR注视点渲染"技术。
我们过去一直认为，VR头显要成为真正的“消费级”产品，不仅需要硬件的成熟、价格的下探，还要有足够丰富的内容池。就拿PICO来说，PICO 4采用的Pancake光学方案缓解了画面畸变，让设备更薄、更轻，在佩戴头显的时候，巨大的屏幕让人置身360度环绕的空间里，给观众带来加沉浸的视觉和互动感受，这也无形中放大了内容的想象空间。
于是近两年，PICO不断拓展内容主题和形式上的边界，除了线上直播演唱会、虚拟演出，还有VR小剧场、世界杯直播，包括这次的《古籍寻游记》，就是在文化艺术方面的尝试。虽然这些只是现在VR视频生态的冰山一角，但在火山引擎视频云的技术加持下，对比以前经常穿模、清晰度低的过山车等全景体验，画质、对焦、沉浸感，都上了好几个台阶。
有一点值得注意，在VR里，游戏、视频、直播这些内容形式之间的界限并非泾渭分明，作为一种表现方式，VR的特殊性除了体现在三维的画面上，第四维上的触觉也十分重要。一般情况下，根据可交互程度的不同，VR中经常会提到的两个概念是3DoF、6DoF，6DoF指除了3个转动角度外，再加上下、前后、左右等3个位置的自由度。
说的直白点，3DoF是一种原地体验，人在VR空间里只能转头观看，但不能位移，相当于脑袋是被固定住的；但6DoF就能让用户在场景里行走，不光能四处观看，还能做出接近现实的动作，如在《钦天监南怀仁题本》中，你可以和南怀仁在观星台用天文器材观星，跟随他进入紫微殿，拿起毛笔书写文书，也能在其他的故事里体验甲骨刻字，甚至点燃烽火。
如今，6DoF交互技术已经被运用到主流的VR一体机上，如Meta Quest 2、PICO Neo3及之后的产品。但互动是一方面，在PICO的团队看来，在实体交互的过程中，触觉是必要的感官，如果要去真的定义未来电影，像从默片过渡到有声时代一样，并将XR从玩具变为工具，要实现的是让视频有“触感”。
为了解决这一问题，PICO的答案是我们之前提到的——宽频马达。PICO 4采用的就是50-500Hz的宽频线性马达，和手机将音频直接转换成振动效果不同，无论是看6DoF影视作品还是畅玩游戏，宽频马达能模拟不同物体交互时的不同频率的震感，用户可以感受音乐音浪的震动节奏与触碰触感，效果更逼真。
有意思的是，为了将画面音效转变为相应的震动效果，PICO将音频接口集成到SDK中，相当于一个资源库，让开发者灵活取用。据官方介绍，“宽频马达+空间音频在6DoF视频中的应用，PICO是独家。”言下之意，PICO 已经作为一种生态平台，能够容纳创新，吸引更多的用户和创作者，成为一种类似大众媒介的存在。
03
VR的真正价值究竟在哪？
从最初的书写文字到印刷术的发明，再到如今的数字时代，毫无疑问，科技的发展和社会的进步，人们对于获取信息的需求和期望也在不断地变化和演进。每一次终端设备的革新，像PC主机之于游戏，智能手机之于短视频，都会引发内容形式上的改变，有了先进的视频技术、光学、交互手段的VR头显，也在探索更合适的内容。
就像《古籍寻游记》所展示的，在古代，人们通过亲身体验、口述传承等方式来获取信息，这种方式往往需要时间和空间的消耗。等下我们可以通过虚拟现实、增强现实等技术来实现更加沉浸式的信息获取体验。人们对于获取信息的趋势正在向更多的沉浸感方向发展。
然而，很长时间以来，早已实现千万用户的VR，由于核心场景仍是游戏，对于听腻了“VR元年”的从业者和用户来说，这类产品似乎很难真正兑现它的“下一代移动设备”的承诺。因此如VR教育、VR工业、VR医疗、VR文旅等更多应用场景的内容需要被开发出来。
从内容形态上来看，当下VR已经发展出影视作品，互动剧、展览等沉浸体验，以及直播等方向，VR这一媒介为创作者打开了空间。但我们也看到，SteamVR、Quest这类平台的优秀作品，几乎都是国外开发者。实际上国内缺少的，不仅仅是具备策划能力和创意驱动的内容工作室，还有给创作者提供展示机会的生态或平台。
以前有业内人士评价，就像iPhone一样，真正让它被大众市场认可的，并不单单只是硬件的升级，还有软件和应用生态，PICO把自己定位为世界级的XR平台，尤其是在火山引擎提供了视频技术作为创意底座的情况下，前者所欠缺的内容生态，也恰好是字节所擅长的，两者的结合，意味着这门生意的想象空间更大了。
在火山引擎原动力大会上，“体验创新”这个说法不单单是体现在用户端：更高清、交互和沉浸；在“坚定上云”成为IT基建的业界共识的情况下，火山引擎面向不同场景和行业，推出不同的工具助力企业和创作者实现突破。举个例子，与传统影视不同，VR内容在制作时，已经把4K作为基本的分辨率，这需要依赖强劲的算力支持，来为用户提供刷新率更高、清晰度更高的体验，火山引擎起到的就是算力的摆渡作用。
总而言之，这也是火山引擎视频云与PICO合作的价值：不仅能提升C端用户的体验和感知，同时也在赋能企业。借用这种方式，VR行业的创新也正在不断突破过去的认知。
