【观察】虚拟制作技术推动视听创作数字化革新

导读

虚拟制作技术在国际国内视听领域应用逐渐推开。迪士尼、奈飞、亚马逊、索尼、环球等国际传媒公司，中央广播电视总台、河南广播电视台、爱奇艺等广电视听机构以及北京星光视听产业基地、横店影视文化产业集聚区等产业园区（基地）纷纷建立虚拟影棚、虚拟演播室。运用虚拟制作技术的视听作品层出不穷，影视剧《开端》《三体》《曼达洛人》等、电影《刺杀小说家》《长空之王》《瞬息全宇宙》等，以及各类新闻、综艺节目、电视晚会均大量使用了虚拟制作技术，呈现出精妙绝伦的视觉效果和广阔无垠的想象空间。

(资料图)

一、虚拟制作体系的定义

虚拟制作是集数字资产、虚拟预演、虚拟拍摄、现场剪辑、后期制作等环节于一体的全流程实时可视化制作体系，运用多线并行、实时可视的工作方式，突破了线性创作流程。

早期的虚拟拍摄主要是“蓝绿幕布前期拍摄+后期CG特效合成”，当前的虚拟制作以“LED显示屏显示+数字机械臂遥控式拍摄+实时渲染呈现”的方式为主，依托动作捕捉、渲染引擎、LED拍摄等技术，通过实时捕捉、实时追踪、实时渲染，将拍摄画面与特效实时合成，数字化的空间、透视、运动、光影等得以实时呈现，现场即可完成剪辑制作，极大提升创作效率。逐渐积累起来的数字资产也可以便捷再利用，相比传统影棚搭建，也降低了制作成本。

上海台出品的短片《城见新时代》，仅仅通过虚拟场景制作、现场拍摄、简单调色三个步骤，就在XR虚拟影棚中完成了一大会址、上海中心、航运中心、国家会展中心、美术馆、天文馆、迪士尼等上海特色地标等场景拍摄。

二、虚拟制作体系的三大核心技术

（一）虚拟引擎技术提供实时渲染能力

虚拟引擎是可视化开发工具、可重用组件、开发环境等的集成工具，最初主要用于游戏开发领域的虚拟场景、人物构建，其后广泛应用于影视制作、建筑设计、教育培训等多个领域。虚拟引擎的实时渲染、高精度虚拟场景创建、动态全局光照等技术让虚拟场景更加逼真自然，并通过实时调用、生成各类场景、数字角色，实现高效换景。当前虚拟引擎市场主要由美国的Unreal Engine、Unity等公司垄断，国内的技术研发还存在一些明显的差距。

电视剧《三体》的特效量近400分钟，大规模应用了动态捕捉、虚拟引擎拍摄等前沿技术，“古筝行动”中船体切割、扭曲的奇幻场景也都是通过计算机模拟实现的。动画《遮天》资产量特别大，前几集不停切换场景，传统拍摄方法难以实现。团队通过使用Unreal Engine进行场景建模，以大量高精度模型进行制作，节省了大量时间和精力。

（二）LED虚拟显示技术提供沉浸式环境

LED显示屏是虚拟制作的关键硬件组件，LED高分辨率和HDR广色域技术上的突破，使数字投影的虚拟背景更加真实，提供更加真实的环境光。相比传统的绿幕拍摄，LED屏为创作人员提供了沉浸式的制作环境，演员能够鲜活、及时地感知环境变化，更好地感受情绪，提升情节的感染力。

当前视听行业所用的虚拟摄影棚大多由LED天幕、LED墙面屏以及地砖屏三个部分构成。不同于以往仅对亮度、灰度、刷新率、一致性等常规指标有要求，虚拟制作所用到的LED显示屏需要保证专业摄像机的拍摄效果，还需要达到满足虚拟拍摄更高规格的帧率、色彩、延迟、同步性等相关指标要求。经过多年的发展，中国LED行业已经进入成熟期，占据全球LED产业的主导地位。洲明、利亚德、艾比森、奥拓电子等中国LED企业在虚拟摄影棚业务上占据优势地位，并衍生出影棚高端租赁的新商业模式。

影视剧《开端》大量内容均是基于360度环幕LED环形屏拍摄。在摄影棚中，公交车是唯一真实的道具，车厢外的所有画面都是剧组根据剧情需要进行实景拍摄后，再以虚拟背景的形式通过LED屏幕和计算机软件实时合成的，保证在主人公25次生命循环中车内外场景始终一致。

电影《长空之王》根据运动和光影变化的需求，在摄影棚搭建了270度弧形和360度桶形两个虚拟拍摄区，可以分别在平飞、转弯、拉升、翻滚和战机失速进入尾旋状态时，为道具座舱提供环境、光影的反射。通过实时的数字引擎三维背景画面与摄影机运动跟踪系统的匹配，解决了运动摄影中被摄体无法运动的问题，仅依靠摄影机运动来完成空间感、透视感、运动感。《长空之王》现场虚拟系统中，80%以上的硬件实现了国产化，广色域屏幕、高质量运动跟踪、手柄运动控制系统均实现了国内自主研发。

（三）数字资产技术实现视听要素高效生成

数字资产是对角色、场景、运动、光影、特殊效果等设计和数字化生成的数字要素，具备可编辑、可继承、可交易、可升级、可存储、可复制等特性。通过构建或购买数字资产，可在短时间内快速搭建大量数字化场景，丰富了拍摄的灵活性，解决了传统实体道具管理上的难题。数字资产是虚拟制作实现后期前置、提升生产效率的关键，即将在传统后期流程中才会进行创作的数字资产在拍摄初期就进行制作，并将这些资产用于虚拟预演、现场拍摄、后期合成等全流程制作。

浙江传媒学院学院副教授、电影视效指导陈奕认为，数字资产可分为IP类资产和通用型资产两个大类。通用型数字资产指的是运用数字技术采集或计算生成的影像元素文件，通过这些元素的组合与重构，由数字艺术家或计算机人工智能可以制作出现实世界或艺术想象中各种类型的影像画面。IP型数字资产指具有特定影像属性和广泛认可识别性的数字影像，包括角色、场景、道具、特殊效果等。

创建、积累数字资产，并形成规模化的数字资产库，可以长期再利用，并成为拥有知识产权的商业价值。如游戏行业的Unreal Engine Market、Unity Store等平台积累了丰富的数字资产。爱奇艺还基于影视剧《风起洛阳》中“不良井”场景的高精度数字化扫描，拍摄4K影视级虚拟制作样片《不良井之风云再起》和虚拟偶像小茉莉MV《心念》，探索了“实景扫描—资产重建—虚拟拍摄—精修入库—多业务复用”的完整制作流程。国内一些影视基地、技术公司已经开始布局以数字资产为核心要素、核心竞争力的新赛道。

三、虚拟制作体系的主要流程

虚拟制作体系实现了全流程数据化，摄影机运镜、镜头焦段、景深、灯光效果、特效氛围等都能够基于预演数据在后续环节中多次迭代优化，大致可分为三个阶段。

一是前期筹备阶段。首先根据内容需要进行数字资产制作，实现虚拟置景，创建包含建筑、道具、布景、灯光和特效等元素在内的逼真场景。再进行虚拟预演等，实现剧本可视化。如在电影《流浪地球2》正式拍摄之前，主创团队便运用低精度数字模型融合物理摄影机实拍与虚拟摄影机生成的混生影像，进行动态视觉预览。

二是拍摄制作阶段，具有虚拟结合、双线并行的特点。结合LED环幕和实景进行拍摄，同期也进行实时渲染制作。

三是后期制作阶段。得益于部分渲染、剪辑工作在拍摄过程中已经完成，后期人员可以直接获取到带有背景及实时摄像机跟踪的画面，提高了制作效率和质量，受前期影响更小，减少返工内容。

虚拟制作技术具备真实沉浸、灵活自由、流程可逆、降本增效等优势特征，是对影视创作方式和商业模式的一次深刻数字化革新，特别是在数字经济时代，数字资产的概念具有很强的启示意义。通过对视听内容真实场景及相关要素的高精度数字化留存和复用，能够大大降低边际成本，并可以通过编辑“分身”，复用到更多的内容产品、文化和其他综合服务中，实现IP的多元开发。在积累成足量的数字资产库后，更可以建立健康、长远和高回报的新发展模式。

（作者单位：国家广电总局发展研究中心）

责任编辑：李楠