虚拟现实制作技术作为当下极具颠覆性的科技力量，正以强大的魔力重塑着广播电视和网络视听等行业的版图，打破了传统视听的边界，让观众得以踏入沉浸式、交互式的奇幻体验空间。2024年11月18日，国家广播电视总局发布《广播电视和网络视听虚拟现实制作技术应用示范名单》，包含10个项目（详见《10个！广电总局认定：虚拟现实制作技术应用示范名单》）。本文对这10个示范项目的技术特色与亮点进行详细梳理，剖析它们如何巧妙运用虚拟现实制作技术，在融媒创作、沉浸式体验、虚拟拍摄等诸多方面实现创新突破。
 2024年11月18日，国家广播电视总局发布《广播电视和网络视听虚拟现实制作技术应用示范名单》，包含10个项目。本文对这10个示范项目的技术特色与亮点进行详细梳理，剖析它们如何巧妙运用虚拟现实制作技术，在融媒创作、沉浸式体验、虚拟拍摄等诸多方面实现创新突破。杭州趣看科技有限公司的融媒创作空间采用创新的“1+n”一体化模式，即一个空间能够同时满足多个内容创作室的功能需求。（一）5G+4K+VR全时直播系统全时直播系统作为云端专业慢直播“利器”，提供一体化服务，VR全景直播系统功能强大，制播一体机可以实现4K超高清VR直播与短视频制作；4K超高清直播系统又借助5G和采编录播一体机传输高清画面至云端；而移动直播+互动连线系统低门槛、低延时、高安全。 在珠峰5000小时直播中，4K超高清VR慢直播让媒体制作出珠峰绝美画面，珠峰、北京、拉萨三地嘉宾通过移动直播台进入互动连线房间，延时在200ms以内，真正实现远程沟通无障碍。
（二）三维虚拟演播室该虚拟演播室具备全身动捕、数字人主播和超现实实时渲染等多种功能，其中全身动捕技术通过在操作人员身上设置多个传感器，实时捕捉人体的运动数据，然后将这些数据映射到数字人主播身上，使数字人主播能突破时空限制模拟人类动作进行播报主持；超现实实时渲染引擎则可以根据主播的动作和场景需求，实时改变相应的背景光影效果、物体材质等。数字人主播可应用于既定的、机械繁琐的新闻播报中，解放主持人、记者至更深度的新闻报道中去。二、北京当红齐天国际文化科技发展集团有限公司-5G+XR沉浸式交互体验新场景应用示范 北京当红齐天国际文化科技发展集团有限公司集“XR内容制作+载具研发+数字运营整体解决方案及产品落地”于一体，以“soreal”为国际文化科技品牌，是2022年北京冬奥会和冬残奥会XR体验提供方。（一）5G网络及SoReal CloudXR边缘计算SoReal Cloud XR采用“云边端”架构，能够在靠近用户端部署边缘计算，最大限度降低延迟，在保持VR用户端设备轻便的前提下，利用5G网络将优秀的虚拟现实内容带给用户。在2023年服贸会期间，两位总台记者分别在首钢一高炉·SoReal科幻乐园和四川成都青白江元宇宙数字文旅产业园，借助SoReal Cloud XR边缘计算，现场的高清视频数据通过5G网络快速传输到边缘计算节点进行处理，然后将处理后的虚拟场景数据实时反馈到记者头戴的VR设备中，实现了跨省异地同屏互动，这种体验被总台称赞为“天花板”级虚拟现实新体验。 （二）大容量、低时延能力的5G-A解决方案当红齐天集团携手中国移动、中兴通讯、高通完成的室内超密集沉浸式场景下的XR竞技游戏应用试点中，在1千平米的空间内，用户无需背负沉重的背包设备，仅佩戴轻便的VR头显即可参与游戏。基于5G-A网络提供的数十个用户的实时百兆体验速率和低于10ms的平均空口传输时延，用户在移动过程中，虚拟游戏场景能够实时跟随用户视角变化，画面清晰度达到业界主流4K@90fps的高品质画质，且响应迅速，无卡顿现象。△5G-A大容量、低时延的XR保障方案原理示意图 △室内超密集沉浸式场景下的XR应用试点现场 （三）多种前沿技术融合在广西柳州打造的大型5G XR乐园——祥云SoReal螺乐园，将5G XR技术与柳州的古建筑相结合，利用自动化建模生产方式对古建筑进行数字化建模，通过5G云渲染将精美逼真的古建筑虚拟场景呈现给游客。大空间定位技术和先进传感器技术实时追踪游客在乐园中的位置和动作，游客乘坐VR载具时，VR交互系统根据游客的操作和动作，与虚拟场景中的元素（如虚拟导游、历史人物等）进行互动。AI+技术根据游客的行为习惯和偏好，为游客提供个性化的体验推荐。乐园还将“螺蛳粉”文化、“螺蛳”IP进行跨界融合，试营业期间获得原外交部发言人华春莹的点赞和转发。三、湖南广播影视集团有限公司-芒果沉浸式XR虚拟现实内容服务平台 芒果沉浸式XR虚拟现实内容服务平台由湖南广播影视集团打造，覆盖综艺、电影、电视剧、广告、虚拟拍摄等多个领域。（一）先进完备的硬件配置采用高精度XR屏幕，其主要拍摄区域呈半环形结构，由弧形立面屏和地屏架构组成，立屏长12米，高5米，地屏近60平米，纵深达6米。还配备诺瓦MX40Pro处理器、英国disguise虚拟渲染系统、Mosys追踪系统、Sony高清演播室摄像机等设备，实现从图像采集、处理到渲染输出的高效流程，这种设备组合既能满足高质量电视节目制作需求，又达到了电影摄制的专业标准。（二）虚拟场景构建利用虚拟场景构建技术，结合海量的数字资产库，能够快速、准确地根据节目或影视作品的需求创建各种虚拟场景。建模过程中，对场景中的物体、环境、纹理等元素进行精细设计和优化，同时运用数字资产库中的预设模型和素材，快速搭建复杂场景。在《恐龙博物馆》演示场景中，技术团队根据恐龙化石的形态、纹理等特征，以及博物馆的实际布局和氛围，利用虚拟场景构建技术进行精细建模。对恐龙骨骼的纹理进行高精度扫描和建模，使其表面细节清晰可见；《跟着环塔看新疆》将沙漠场景搬进虚拟棚，融合使用LED超高清、XR虚拟拍摄、AIGC等技术，成为芒果XR虚拟棚首个成功“入驻”棚内的项目；以及大型晚会《万疆》中呈现敦煌纹样圆环、竹简、书卷等元素构成的不同场景等。（三）实时互动与光学跟踪系统依托高精度的光学捕捉设备和实时数据传输技术，演员能够在虚拟场景中与虚拟数字人和资产进行流畅的实时互动，演员的每一个动作、表情都能即时反馈到虚拟场景中，使虚拟元素做出相应的互动反应。光学跟踪系统采用先进的传感器和定位算法，实时监测拍摄设备（如摄像机）的位置和姿态变化，同时精确识别演员身上的标识点，快速计算出演员在三维空间中的位置和姿态变化。拍摄动作场景时，演员的奔跑、跳跃、打斗等动作都能被精准追踪，虚拟场景中的物体（如武器、道具等）会根据演员的动作实时改变位置和状态，实现真实与虚拟的无缝对接。四、深圳市奥拓电子股份有限公司-虚拟拍摄关键技术应用示范 奥拓电子的业务范围涵盖金融科技、广告营销、文旅夜游、体育赛事等多个领域，产品畅销全球多个国家和地区，是全球智能视讯解决方案领域的重要提供商。（一）RGBW技术在传统RGB技术架构基础上，增加白色LED灯珠，优化了光谱的连续性，使光线更加均匀和自然。通过精确控制RGBW四种颜色灯珠的发光强度和比例，实现更广阔的色域覆盖和更高的亮度提升，避免了传统RGB模式下在某些光照条件下容易出现的偏色问题。在实际拍摄对比中，传统RGB模式下，打光效果cri≤50时容易出现偏色现象，而奥拓电子的RGBW模式cri≥90，更接近自然光。△RGBW自然光源肤色质感更真实 （二）超高刷新率与帧率奥拓电子支持高达251Hz的高帧率视频输入，成功解决了因视频源限制导致的图像重影问题。其信号源倍频功能采用先进的插值算法，能够将低帧率视频源提升至240Hz，在提升帧率的同时，对相邻帧之间的图像进行智能分析和补充，消除了低帧率屏幕显示的闪烁问题。在拍摄高速运动场景时，如职业足球赛事直播或动作片拍摄中的激烈打斗场景，运动员的快速奔跑、传球动作以及演员的打斗动作都能清晰呈现，画面流畅无拖影和闪烁现象。其7680Hz的刷新率远超通用LED显示屏的3840Hz，在拍摄汽车追逐场景时，车轮转动、车辆行驶轨迹以及周围环境的细节都能清晰可见。这一技术优势也体现在众多商业项目中，为苹果、微软、奈飞、亚马逊、Meta、日本东映等企业的影视拍摄提供了高质量保障。△奥托电子的超高刷新率与帧率示意图 （三）PWM打散技术为了实现超高刷新率，奥拓电子还采用了PWM打散技术。将影像导通时间分散成多个较短导通时间，同时确保每个打散的等份相加可维持原先未打散前的LED芯片导通比例。这种方式在不改变灰度等级的前提下，将刷新率提高到7680Hz，有效减少了画面在显示过程中的闪烁和噪点。在拍摄微观场景或精细画面时，如高端珠宝展示或珍贵文物拍摄，PWM打散技术能够细腻地呈现珠宝的每一个细节。钻石的切割面反射出的光芒、宝石内部的纹理和杂质等都能清晰可见，光影过渡自然平滑；在拍摄夜景中的古建筑时，光影对比强烈，该技术可以使建筑的轮廓、屋檐的雕花、墙壁的质感等细节在黑暗中依然清晰可辨，月光洒在古建筑上的光影效果、建筑周围树木的阴影以及远处灯光的微弱光晕等都能自然呈现。△LED显示屏灰度等级 五、利亚德光电股份有限公司牵头的-基于实时渲染的虚拟拍摄引擎应用示范 △《狮子王》电影使用OptiTrack技术跟踪虚拟摄像机 图片来源：《美国电影摄影师杂志》专栏 利亚德光电股份有限公司以基于实时渲染的虚拟拍摄引擎为核心，整合LED显示屏与动捕系统，可提供符合“好莱坞电影VP、XR虚拟拍摄标准”的拍摄场地，以及从剧本、美术设计、数字资产，到影视预演，虚拟拍摄以及影视评审（LED放映厅）的“虚拟制片数字化工业化生产全流程”解决方案。（一）LED与动捕系统深度融合利亚德通过自主研发的高速数据传输链路和精准同步算法，将LED显示屏与动捕系统紧密连接。其采用的OptiTrack高精度光学动作捕捉技术，利用多个高分辨率光学传感器，以极高的频率捕捉演员身上的标识点的位置和运动轨迹，这些数据经由高速数据传输线路实时传输至虚拟拍摄引擎。虚拟拍摄引擎凭借强大的计算能力，将这些数据转化为虚拟场景中相应元素的动作指令，从而实现虚拟场景与真实拍摄对象在动作、表情等方面的精准同步互动。在虚拟场景中，演员驾驶汽车前行，汽车车身会依据虚拟背景的光影变化实时映射出相应效果，若虚拟背景是乌云密布的恶劣天气，汽车车身则会被渲染上阴沉的色调，实现了虚拟背景与汽车之间的高度逼真互动。（二）高精度虚拟场景构建在建模过程中，运用高精度的几何建模技术确保场景中物体的形状、比例和结构精准无误，采用了细分曲面建模，使模型表面更加光滑和细腻。同时结合实地采集、高清扫描和数字绘制等多种手段获取真实材质的细节信息，并运用先进的材质编辑工具进行精细调整，使虚拟场景中的材质质感与真实世界中的材质几乎无法区分。比如对于金属材质，通过调整材质的反射率、粗糙度等参数，模拟出真实金属的光泽和质感。光影效果模拟技术可以根据不同的时间、天气和地理环境条件，精确计算光线在场景中的传播路径、强度变化和色彩偏移，营造出极为逼真的光影氛围。采用大气散射模型，可以模拟出不同天气条件下的光线散射效果。（三）空间计算技术利亚德虚拟动点构建的“一体三核”发展战略中，空间计算技术作为核心之一，涵盖了光学计算、惯性计算、无标记点识别计算等多项算法技术。光学计算通过对光信号的处理和分析，实现对物体位置和姿态的精确测量；惯性计算则利用惯性传感器获取物体的加速度和角速度信息，进而推算其运动状态；无标记点识别计算采用先进的计算机视觉算法，对物体的特征点进行识别和跟踪，无需额外的标记物即可实现精准定位。这些技术相互协作，实现了包括肢体、手势、表情以及体积面积、位置关系、形态大小等人体、物体空间计算场景应用。在游戏领域，为全球知名的游戏《2K》《使命召唤》以及国产3A游戏《黑神话・悟空》提供动作捕捉技术加持。在文旅领域，用全息数字人解决方案实现包括生成、驱动、渲染、呈现、互动五大能力，实现数字人多模式展示交互，为文旅演出提供助力。△“全息数字人“多模式交互 六、成都影视硅谷集团有限公司牵头的沉浸式体验增强现实场景互动应用示范 成都影视硅谷集团有限公司以影视产业为核心，依托四川传媒学院，致力于打造集内容创作、拍摄制作、宣传发行等多功能于一体的综合性影视产业平台。（一）三维重建利用专业的三维扫描设备（如高精度激光扫描仪）对现实场景进行全面扫描，获取物体表面的点云数据，然后通过复杂的算法将这些点云数据转化为三维模型。在“和美乡村·恩阳古镇影视城”项目中，精准还原了古镇建筑外观、内部结构、街道石板路及店铺招牌等细节。（二）多模态虚实交互集成多种交互方式，如语音、手势等，在与四川传媒学院合作的川传VR虚拟交互大空间剧场项目中，玩家在体验虚拟表演或游戏时，可以通过语音指令控制角色行动、查询剧情信息，也可以使用手势与虚拟物体进行交互，抓取虚拟道具、触摸虚拟角色等。玩家还可以语音呼喊队友、下达战术指令，如“队友，向左前方包抄”，同时用手势操作武器和工具，与虚拟敌人进行战斗。（三）产业集群优势凭借成都影视城已建成的影视硅谷超高清创新中心、虚拟现实视听技术创新应用国家广电总局实验室、“1+16”摄影棚群落等80余万平米产业载体，整合区域内的优质企业资源。这些企业涵盖了从拍摄设备提供、后期制作特效到创意策划等影视产业链的各个环节，通过资源共享、技术交流与合作，形成协同效应。在参与出品的《我的父亲焦裕禄》《公诉》《故乡别来无恙》等多部影视作品中，能够充分利用产业集群内的专业设备、技术人才和创意资源。还吸引了姜文、黄晓明等知名导演、演员聚集发展，助力打造“全国一流、世界知名”的影视文创高地。七、广东广播电视台-4K虚拟制作创新应用中心 广东广播电视台的4K虚拟制作创新应用中心涵盖虚拟现实沉浸式体验、虚拟数字人、数字孪生技术等多个应用示范领域。（一）4K超高清虚拟演播室该演播室配备了先进的4K超高清摄像设备与图像处理系统，运用实时图像识别与跟踪技术，能够精准定位虚拟元素与真实场景的位置关系。在2024年广东省省长王伟中的新春贺词录制中，虚拟演播室依据贺词内容，快速切换展示广东各地特色地标建筑（广州塔、汕头小公园等）的虚拟背景，将发展成果数据以动态图表形式融入其中。观众在观看时，能清晰看到省长身后建筑的细节纹理，图表数据的变化一目了然。（二）虚拟数字人数字人形象设计贴合Z世代审美，结合VR、AI、实时动捕等技术手段，粤语虚拟主播“悦小满”能与真人主持人同台搭档，还可以通过多种方式与观众进行“跨次元”互动，在综艺、直播中表现出色，并拓展至公益宣传等多场景。△惯性动捕设备&AH面捕头盔 △粤语虚拟主播“悦小满”能与真人主持人同台搭档 （三）4K节目制作采用专业的4K拍摄设备，搭配先进的图像传感器与镜头，确保拍摄画面的高清晰度与色彩还原度。在后期制作中，运用专业的图像处理软件（如达芬奇调色系统），对画面进行精细调色、降噪与锐化处理，同时严格把控音频质量，采用环绕声录制与混音技术，提升节目整体视听效果。原创音乐节目《国乐大典》中，在拍摄古筝演奏时，4K技术清晰呈现出琴弦的细微颤动和琴身的纹理；纪录片《通海夷道》里，海上丝绸之路的壮丽海景、沿线古迹的精美雕刻以及不同地域的人文风情都以细腻画面展现。△《国乐大典》 （四）5G+4K+AI云上融媒平台基于5G+4K+AI技术的云上融媒制作曾获2022年第十五届中国电影电视技术学会科技进步奖一等奖。该平台整合了5G的高速传输、4K的超高清画质和AI的智能处理能力，实现了融媒制作与分发的高效协同。通过AI智能分析算法对素材进行快速识别与分类，为编辑推荐合适剪辑片段；5G网络确保素材在拍摄现场与制作中心之间的快速传输，实现团队实时协作；在分发环节，基于用户画像与终端设备信息，智能推送适配4K内容。八、优酷信息技术(北京)有限公司-优酷虚拟拍摄核心算法突破与能力建设 优酷提供DIT、现场剪辑、调色等全链路虚拟拍摄解决方案，从为《紧急公关》提供的LED数字背景拍摄服务，发展到实现2D到3D全景实时拍摄，成功将虚拟拍摄合成画面现场调试时间从2小时锐减至20分钟。（一）快速调试与场景切换优酷自主研发的算法系统具备高效场景解析与适配能力，通过深度分析虚拟场景元素及拍摄参数，快速完成场景初始化调试。在场景切换时，运用预加载和智能缓存技术提前准备新场景关键数据，实时动态调整拍摄设备参数（焦距、光圈、白平衡等），确保与新场景光照和视觉效果完美匹配，保障场景过渡流畅自然。以在周庄数字梦工厂的帧享数字影棚拍摄《清明上河图密码》为例，影棚内设有高10米、弧长52米的巨型LED屏幕，拍摄过程中需要切换不同场景，从热闹的市井街道场景切换到幽静的树下雪景场景时，优酷的技术能够快速解析新场景元素，预加载雪景相关数据，调整拍摄设备参数以适应雪景的光照特点，降低亮度、调整白平衡营造寒冷氛围，仅半天时间就高效完成了包含树下雪景、日落湖边等八大特殊场景的拍摄。（二）数字人应用创新及效益通过AI构建数字人模型，数字人具备自然流畅的动作、表情和语言能力。在与真人演员互动场景中，根据剧情和真人演员表演，实时驱动数字人做出相应反应。《异人之下》中的AI数字人厘里扮演二壮角色，为让厘里更贴近角色，开启“真人肤质”设定，在与真人演员对话、并肩行走时，厘里的动作、表情自然流畅，眼神交流真实。仅其出场篇幅，就节省80%制作成本，缩短40%制作周期，开创数字人参演电视剧先例。△AI数字人厘里亮相《异人之下》 九、深圳广播电影电视集团-深圳广电集团虚拟现实制作技术应用示范 深圳广电集团的虚拟现实制作技术应用示范包括虚拟现实全景直播、点播应用示范、生成式人工智能技术（AIGC）应用示范、虚拟拍摄关键技术应用示范。（一）XR虚拟演播室利用LED屏幕搭建演播空间，三维渲染引擎实时生成虚拟场景，通过定位与跟踪系统，实现虚拟与现实元素精准互动，而图像合成算法让二者无缝融合。在总台春晚、国家宝藏、中国诗词大会等近百档节目中成功应用。央视也利用XR虚拟演播室技术进行台风天气预报↓↓△现场演示积水深度 △一棵树被台风刮倒，差点砸到主持人 △展示台风极端天气如何准备自救用品 （二）8K超高清XR+VP摄影棚粤港澳超高清数创园区打造华南首个XR+VP双流程超8K虚拟摄影棚，配备12K*4.5K高分辨率、97%以上DCI-P3广色域的小间距P1.95mm LED显示屏，结合“AI+5G+8K”技术，8K实时渲染系统实现VP与XR拍摄无缝对接，追踪与动捕系统保障精准同步，其157平方米大面积和200°大弧度设计提供沉浸式灵活创作空间。以国内首款3A大作《黑神话：悟空》为例，当玩家在这个摄影棚中体验该游戏时，得益于高分辨率和广色域显示屏，玩家能清晰看到孙悟空身上威风凛凛的毛发根根分明，山石云雾的纹理粗糙又自然逼真，使玩家仿若身临其境。十、安徽广电传媒产业集团有限责任公司牵头-合肥包河虚拟现实制作应用示范 合肥包河虚拟现实制作实验区依托“合肥国家广播影视科技创新实验基地”设立，拟开展增强现实场景互动应用示范、虚拟现实全景直播、点播应用示范、生成式人工智能技术(AIGC)应用示范，综合应用三维建模、全局动态光照、虚拟现实场景等技术。（一）三维建模与动态光照技术该技术含两大核心部分，一是高精度三维建模，运用专业扫描设备采集物体点云数据，再借算法“加工”成模型，其中AI辅助依预设风格要求，自动优化、补充细节，构建历史建筑模型，能贴合其年代与类型特征，“生成”适配装饰纹理、结构细节，提效增质。二是动态光照模拟，依托物理渲染引擎，细算光线反射、折射、散射等，“还原”真实传播路径与效果，借实时全局光照算法，随场景物体、材质变动灵活调光照，模拟昼夜、晴雨光影。在文化遗产保护传承层面，诸多濒危古建筑、文物可借这技术留存“数字分身”。（二）虚拟现实全景直播集全景拍摄、传输与实时交互于一体，其全景拍摄靠多摄像头阵列与高精度传感器配合，抓取全方位画面，经图像拼接算法“无缝”合成全景图；传输借助高效编码技术与高速网络协议，让全景视频流畅达电脑、手机、VR设备等终端。实时交互依托实时数据处理、云计算，观众用手机或VR设备操作，自如切换视角，还能借物联网融入现场实时数据。在传统戏曲演出直播中，观众能近赏演员神情、服饰细节，又可览舞台全景，助传统文化广传播；商业产品发布会直播里，观众可以360度细察新品外观、内部构造，企业设虚拟抽奖、试用环节，创新营销，提升转化率。（三）安徽数字文化科技产业园虚拟影棚该影棚集成虚拟摄影棚、实景影棚、电影后期制作和视效创作等功能，虚拟摄影棚采用高分辨率LED显示屏作为背景，通过实时渲染技术与摄像机跟踪系统配合，实现虚拟场景与实拍画面的实时合成。虚拟影棚作为一个综合性的影视制作平台，吸引众多影视制作企业和专业人才入驻，形成了产业集聚效应。结语 综上，这10个示范项目充分展现了虚拟现实制作技术在广电行业的多元应用与创新实践。它们在不同方面各有所长，共同推动着行业的技术进步。期望在未来虚拟现实制作技术能为广电行业带来更多积极改变，为广大观众提供更优质、丰富的视听内容，助力广电行业在新时代稳步发展，逐步构建起更加完善的虚拟现实制作生态体系。
|
