首页 > 正文

中央广播电视总台虚拟现实实验室副主任谭阳:“科技+文化”——媒体创新应用实践

2024-10-28 16:52 | 来源: 中国记协网
【字号: 打印  
Video PlayerClose

  中央广播电视总台自成立以来,紧紧围绕5G+4K/8K+AI战略布局积极构建媒体融合生产平台,在底层技术方面建立了5G云平台,主要包括总台的新闻云和CMG媒体云,应对不同的业务。4K/8K超高清技术,在高清以前(含高清),我们都是跟随美国、日本、欧洲,到了超高清时代,尤其是近几年8K的发展,我们已经开始引领超高清整个产业和行业发展。除了视频之外,还有最新推出的三维菁彩声。2023年7月,正式推出了央视听媒体类大模型,这也是我们现在AI的底座。基于自成立以来多年的积累,现在库里面大概有148万个小时的数字资产,这些构成了我们的技术底座。

  在AI类领域的应用包括两大类,第一类是从2019年开始到2023年,针对判别式AI,像语音转写、视频修复,我们修复了很多经典的老片,比如《红楼梦》《西游记》。应对体育的战术分析系统、智能剪辑系统。第二类是自2023年大模型出现之后,开始倾向于AIGC,生成式AI的发展,在今年年初推出了中国首部AI动画片《千秋诗颂》,针对文本类、动画类、视音频类的AIGC产品。第三类是在虚拟类,包括XR、AR、VR,基于XR之上推出了VP。在立体视觉类有6DoF自由视角、全息、大场景扫描、裸眼3D、云渲染等。

  首先为大家介绍总台超高清的发展。可能大家通过电视屏幕、各类新媒体都已经观看到了,现在有全系列端到端自主研发的超高清制播系统,成功支撑了各大晚会,包括新中国成立70周年阅兵、建党100周年、北京冬奥会、总台春晚,都是用的总台自主研发的全流程超高清制播系统。

  除了这些耳熟能详的场景之外,今天要给大家隆重介绍的是一个非常有意思的、有特殊场景的应用,是我们跟中国载人航天工程办公室联合设计的中国空间站超高清影像系统。该系统主要包括两部分,一是针对空间舱的舱内和舱外进行超高清2D、3D、VR全系列全流程拍摄。二是以此为基础构建的数字影像资产库,成功运用到总台的《飞向月球》《你好火星》等一系列纪录片制作,目前有更多的纪录片正在制作当中。

  科技+文化的结合是未来总台努力的方向。用虚拟制片技术跟台里的很多IP结合,这是《寻古中国》做的一系列尝试。

  XR最新的尝试,在今年的春晚中跟虚拟特效+实时渲染的合成,舞蹈演员的整个轨迹、位置信息都可以通过大屏同步展示出来。还有跟VR的融合,可以在空间去作画,这也是春晚当中的节目。XR现在已经成为总台在虚拟类最重要的技术。

  这些技术怎么跟文化或文旅结合?XR可以做成简短的小系统,可以形成BOX,在著名的打卡点去布置,适合打卡。像VR类的线下大空间体验,如把李白放到长安城,与现场观众互动。在VR大会中,我们跟江西文旅合作,发布了《王勃归来》,围绕王勃这个人物去打造IP形象,通过超写实数字人和XR制作、大场景三维扫描复原了滕王阁,复原了王勃,构建了一个文化元宇宙体系。

  如何通过AI去完成一部动画电影的制作?总台现在正在制作中国首部AIGC动画电影,里面主要解决3个问题。一是统一性,整场动画当中得保证每一个人物是一致的。通过建立对象模型库进行微调,确保统一性。二是稳定性。在使用AI过程中大家会发现AI生成非常不稳定,我们通过大量的数据训练,形成了专属的角色动作库,实现了角色的演绎。三是整体的连贯性、叙事性问题。解决整场多镜头切换当中连贯性的问题。解决了这三个问题之后就对整个传统动画电影制作进行了重构。我们知道动画电影制作流程大概分13个环节,用了AI之后减少到7个环节,从原来的线性流程进展到并行协作,原来必须先做剧本创作再做角色设计,现在是剧本创作之后所有的中间流程都可以同步进行。

  我们认为未来需要AGI(通用人工智能),当然更需要PAI,垂直领域的专业大模型,总台已经打造了央视听媒体大模型,目前已经试用了,包括四大模块,包含文本、图像、视频和利用多智能体协同打造的自媒体库,这是垂直领域的生成工具。

责任编辑: 葛燕燕
010090110010000000000000011124141310787007