8K观赛,身临其境手语播报数字人
8K-APP第一次在手机上。
实现8K视频播放
冬天看奥运会,电视依然是大多数人的选择。冬奥会开幕前夕,北京广播电视台冬奥会纪录片8K超高清实验频道正式开播。冬奥会纪录片8K超高清实验频道通过引入浅层压缩编码、多格式混合播放、分层编码技术、智能上下转换等新的架构、格式和功能,为观众提供更清晰、更震撼的观看体验。
不仅如此,在冬奥会期间,该通道将作为5G+8K在冬奥会中应用的演示和集成平台。以冬奥会超高清赛事转播为契机,继续开展超高清、高科技视频新技术的研究与应用,联动城市户外大屏、示范小区中屏、个人终端小屏,首次实现不同场景下的跨屏融合传播。这意味着,冬奥会期间,市民无论是在户外还是坐在家里,都可以随时了解赛事进展。
对于年轻人来说,通过手机等移动设备观看各种节目和赛事已经成为一种习惯。北京冬奥会期间,8K-APP等移动频道的同播技术不仅方便了公众随时通过移动设备观看比赛,还可以在移动端看到与冬奥会纪录片8K超高清实验频道同等质量的8K超高清频道内容。要实现这个功能,公众只需要下载一个8K的APP。
8K-APP是北京广播电视台为拓展融合通信场景,面向移动互联网打造的5G高科技视频移动应用产品。该产品首次在手机上实现了8K视频播放,是国内首个支持8K格式的手机应用。公众可以通过两个手指的手势轻松放大和缩小画面,并借助8K超高分辨率的优势,生动感受画面上的极致细节。
新的5G云广播技术
实现广播“轻量级云化”
最新的5G云播技术,是市民随时随地同步观看比赛不可或缺的。传统播出以现场制作为主,需要庞大的制作团队和设备,面临设备成本高、人员投入大等诸多问题。作为科技冬奥三大重点布局产业之一,云转播将重资产、高门槛的传统转播“云化”,实现了转播设备的云化和人员的远程服务。
云播的“秘密”浓缩在一个重930克、只有书包大小的5G广播背包里。它是如何“取代”传统转播车,打造赛事转播创新体验的?据北京国际云播科技有限公司CTO张鹏洲介绍,云播将转播车的功能搬到了云端,现场信号可以通过5G背包和5G网络传输到云播平台。工作人员只需要笔记本电脑等轻量级设备,就可以在云上实现多路信号的切换。
冬奥会测试赛期间,整个测试赛的“云制作中心”设在云播科技公司首钢办公区。一台笔记本,一块屏幕,完成了“云制作中心”的搭建。通过5G背包发出的前端信号,导演可以完成办公区的多屏引导、音频和字幕制作,最终将信号分发到多个媒体进行直播。
值得一提的是,为了适应冬奥会测试的室外寒冷环境,5G背包首次使用了石墨烯内袋。据北京创新爱尚家科技有限公司相关负责人介绍,其与北京石墨烯技术研究院研发的石墨烯智能加热产品及低温环境下热防护应用技术,突破了石墨烯柔性织物加热材料低温启动运行、快速电热转换等关键技术,实现了石墨烯柔性织物加热技术的低温应用,可有效应对低温挑战。
8K超高清沉浸式观看比赛
实现“千人千面”
为了达到身临其境的观看效果,除了更清晰的画质,视角的自由转换也是重要的支撑。据北京广播电视台技术人员介绍,通过在多路信号视频流中加入同步机制,可以使不同路径传输的信号在时间上保持一致,让观众自己充当向导,根据自己的喜好选择不同的观看角度,多维度、多角度观看比赛。
北京国际云播科技有限公司研发的自由视角技术,基于5G网络,利用部署在场馆现场的多摄像机,提供整个场馆周边任意角度的视频信息,方便观众通过旋转切换找到自己想要的视角和最佳跟进观看位置。自由视角技术以4K多轨广播级图像同步采集编码和画面合成技术为核心,呈现人或物360度环绕视角的立体效果,实现现场图像“千人千面”的互动体验。
据张鹏洲介绍,云播的“多版制作”功能为“千人千面”提供了进一步的支持。即同样的前端信号,不同的团队可以实时在线制作不同的版本,满足新媒体的个性化需求。2022年北京冬奥会,云播将为两个冬奥会雪上项目提供自由视角拍摄服务。
张鹏洲表示,结合5G和整体智能云网的能力,公众可以自主选择接收某个角度的直播信号,或者通过预置模板,由云系统计算随时提供定格环绕或慢动作环绕的效果,从而实现5G时代强交互的应用。2022年北京冬奥会提供云转播服务,不仅首次实现了中国公司为奥运会提供的自由视角拍摄服务,还首次将中国公司提供的自由视角信号作为奥运官方信号向全球转播。
智能游戏观看技术
满足不同人群的观赛需求。
值得一提的是,本届冬奥会还将帮助特殊群体了解冬奥会。为了方便听障人士深入了解比赛信息,充分感受冬奥会的精彩,智普AI、凌云光、北京广播电视台共同打造了“数字人转播冬奥会手语”,通过AI技术将转播内容翻译成手语,利用数字人虚拟主播进行转播。
可能有人会奇怪,为什么要开发虚拟主播,而不是专业的手语翻译。据北京智普华章科技有限公司(智普爱)相关负责人介绍,传统的人工手语翻译工作量大,节目主持人和手语主持人的配合难度极大,手语翻译专业人才非常匮乏,无法满足大量体育赛事的需求。利用数字人虚拟主播进行播报,很好地解决了这些问题。据介绍,“冬奥会手语数字人播”以超大规模预训练模型为核心技术,自主构建多模态肢体动作、表情、手指同步采集系统,运用跨模态拟人生成算法、超高精度逼真人物等行业领先技术,实现冬奥会期间赛事新闻的实时专业手语翻译和播报。
发展“冬奥会手语播报数字人”技术并不容易,其中一个难点问题就是目前国内缺乏完善的手语语料库数据。因此,在北京市残联和市残联聋人协会的支持下,R&D人员邀请了40多名聋人教师和手语专家转录手语文本并给予技术指导,对听障群体进行了大规模评估。最终建成国内最大的多模态手语语料库,总词汇量和句子量超过65438+万。这项技术不仅可以为听障人士提供手语信息广播服务,还可以降低冬奥会的运营成本。也体现了北京这座城市对残疾人的尊重,实现了科技与人文的完美结合。