AVS3视频编码技术:赋能8K时代 助力科技冬奥
编者荐语:
最新出版的《科技纵览》刊发中国工程院院士高文、北京大学教授黄铁军、马思伟等人的署名文章。
文章提到,海思、AVS产业联盟、当虹科技、广东省超高清视频创新中心、鹏城实验室,已于2019年联合发布首个基于AVS3标准的8K端到端视频技术解决方案。
以下文章来源于悦智网 ,作者高文、黄铁军 等
第三代数字音视频编解码技术标准(AVS3标准)是全球首个面向8K超高清及5G产业应用的音视频信源编码标准。北京2022年冬奥会和冬残奥会采用了AVS3标准,助力实现奥运史上首次通过8K视频技术直播开幕式和转播重要赛事的目标;打造冰雪项目交互式多维度观赛的全新视觉体验,使用户通过虚拟现实设备、8K电视和户外大屏收获极致享受,成为“科技冬奥”的一大亮点。同时,AVS3标准支撑中央广播电视总台全球首个8K超高清广播电视频道开播,在咪咕视频移动端直播场景落地,配合国家“百城千屏”项目推广,加速推动我国迈进8K超高清时代。超高清(UHD)、人工智能(AI)、虚拟现实(VR)和5G等新技术正带来新一轮重大原始创新机遇,而现代奥运会更是成为各主办国展现多领域科技创新实力的重要舞台。自2019年起,北京大学、中央广播电视总台、咪咕公司、上海交通大学等单位通力协作,面向北京2022年冬奥会和冬残奥会科技保障重大需求,围绕冬奥科学办赛、多维度交互体验等重点方向的关键科技瓶颈问题开展研究,攻克核心技术,示范前沿引领技术,重点突破了8K超高清压缩技术、自由视角多维度智慧观赛等关键技术任务科研攻关,从核心技术、平台构建和应用示范3个层面进行研发和实践,助推我国迈进8K超高清时代,助力打造冬奥极致体验。
迈向8K时代的核心技术:AVS3视频编码
先进、自主、开放的数字音视频编解码技术标准对我国相关产业和领域发展具有重要支撑作用。数字音视频编解码技术标准工作组(简称AVS工作组)是由原信息产业部科学技术司于2002年6月批准成立的标准组织,至今已扎根视频编码技术研究20年,有力地解决了我国数字音视频领域的知识产权问题,完成三代AVS标准的制定,在该领域实现了从跟跑、并跑到领跑的跨越式发展。此外,AVS工作组还建立有一套完备、公平、合理的知识产权政策,有利于AVS标准技术的市场推广;工作组成立初期专门设立专利池管理委员会,时至今日每年可为国家节省数以亿计的专利费用;2005年成立AVS产业联盟,形成结构合理、规则清晰、分工明确、权利和义务相平衡的创新体系。
第一代AVS标准(包括AVS1标准和AVS+标准)从源头上解决了自主音视频编码标准的缺失问题,带动了我国自主标准、自主研发的编码设备、终端产品的发展,其中AVS+标准已实现全国地面数字电视覆盖及卫星高清频道使用。第二代AVS标准则实现了同国际标准并跑的目标,由于在最初的设计时考虑了对大量高清视频流以及4K内容的支持,其架构也可用于8K图像编码,Main-10bit档次支持从典型的60fps到120fps多个级别的4K和8K内容。2018年10月1日开播的中央广播电视总台4K超高清频道(CCTV-4K),以及各地新上的4K超高清频道均采用了AVS2视频编码标准。AVS3标准是全球首个已推出使用的面向8K及5G产业应用的音视频信源编码标准,且我国具备完整的自主知识产权,这对加速AVS3标准与5G新媒体的融合发展、完成我国AVS3+5G+8K产业发展领先全球的部署具有重大意义。AVS3标准包括视频编码标准、音频编码标准和系统接口,主要面向8K视频需求,视频编码标准分为基准档次和加强档次,分别于2019年3月和2021年6月完成制定。AVS3视频编码标准基准档次完成时间早于H.266/VVC国际标准,实现我国在该领域的首次国际领跑,并率先发布面向8K超高清视频的新一代编码标准,推动产业领先布局。在性能方面,AVS3的压缩效率比AVS2提升1倍,能够有效解决8K压缩难题;同时,AVS3标准率先引入人工智能神经网络技术进行编码,是具有“智能化基因”的视频编码标准,为后续与其他智能化行业实现“互联互通”奠定坚实基础。因此,技术先进、专利清晰、产业链齐全的AVS3标准可谓是8K和5G进行编码的最优选择与最佳“搭档”,在我国迈向8K超高清时代进程中发挥着重要作用。
助推迈进8K超高清时代
2019年2月,工业和信息化部、国家广播电视总局、中央广播电视总台印发《超高清视频产业发展行动计划(2019—2022年)》指出,我国将大力推进超高清视频产业发展和相关领域的应用。国家“十四五”规划明确指出,我国将加快提升超高清电视节目制播能力,推进电视频道高清化改造,推进沉浸式视频、云转播等应用。
得益于AVS3视频编码技术与标准,我国当前正加速迈进8K超高清时代。这将推动超高清视频产业链在内容、网络和终端等重要环节上的空前融合,带动终端整机、视频制作设备、存储设备、传输设备、显示面板等的升级换代,补强编解码芯片、核心元器件等薄弱环节,提高产业供给体系质量;持续拉动5G宽带通信网络建设投资和业务发展,加速拓宽5G应用覆盖面,并为人工智能、虚拟现实等新一代信息技术提供重要应用场景,加快在广播电视、文教娱乐、安防监控、医疗健康、智能交通、工业制造等领域的创新应用,推动形成国际领先的新兴信息产业集群,抢占发展先机。2019年,上海海思技术有限公司、AVS产业联盟、当虹科技、广东省超高清视频创新中心和鹏城实验室联合发布首个基于AVS3标准的8K端到端视频技术解决方案,同时推出全球首款基于AVS3标准的8K超高清解码芯片Hi3796CV300。
该芯片支持8K@120fps解码和显示,集成8核64位Cortex-A73 CPU和Mali-G52 MC6 GPU,是适用于8K超高清机顶盒与智慧家庭大脑等市场的高性能系统级芯片(SoC),可为用户提供绚丽的人机交互界面和丰富的智能应用体验。至此,我国在AVS3视频编码标准制定、芯片技术和编解码器研发等方面均已占据先发优势,并率先完成从AVS3源头标准技术到落地应用的产业链贯通探索。
2020年11月,江苏有线、国家广电总局超高清电视技术研究和应用实验室、体奥动力、上海海思技术、当虹科技、京东方等单位联合在苏州奥体中心成功完成中国足球协会超级联赛冠亚军决赛8K超高清直播试验,搭建原生8K信号的制作系统,使用7 680×4 320P分辨率、50P帧率、HLG-HDR、BT2020宽色域等信号制作规范。这是国内首次大型体育赛事端到端的8K超高清直播试验,成功打通了8K超高清直播信号的采集制作、压缩编码、调制传输、入户接收、终端解码及大屏显示等全流程。
2021年2月1日,中央广播电视总台8K超高清频道(CCTV-8K)试播,标志着全球首次实现8K超高清电视直播和5G网络下的8K电视播出;2021年2月11日,中央广播电视总台春节联欢晚会在CCTV-8K频道进行首次8K直播,并在北京、上海、广州、深圳、成都、杭州、济南、海口、青岛、福州等10个城市公共场所的30多个8K超高清户外大屏及8K电视终端同步播放,这标志着我国从8K标准到8K制作流程技术已全面成熟;2021年12月31日,北京广播电视台冬奥纪实8K超高清试验频道正式开播;2022年1月24日,CCTV-8K频道正式开播,“百城千屏”公共大屏项目同时启动。当前,8K超高清生态构建正从多角度持续推进,贯穿8K内容制作、8K广播电视、8K点播视频等领域。同时,5G技术的全面推广和冬奥冰雪项目赛事转播等契机为我国8K电视市场规模持续增长创造了良好的外部条件。据相关统计,2022年1月我国8K电视市场规模环比增长38.2%,其中线下规模环比增长92.8%。有专家预测,2022年我国8K电视市场规模有望翻番。在8K市场品牌方面,三星和长虹的2021年零售量占比达76.6%;而随着更多电视整机品牌厂商在8K市场加大投入,2022年8K市场品牌竞争将进一步分化,品牌阵营将进一步扩大,其中创维和海信在8K领域的布局更为迅速,创维则率先采用5G+8K+AVS3技术构建了低延迟直播系统(见图2)。
助力打造冬奥极致体验
中央广播电视总台8K超高清频道、北京广播电视台冬奥纪实8K超高清试验频道均采用中关村视听产业技术创新联盟(AVS产业联盟)颁布的AVS3视频编码标准,为北京2022年冬奥会提供开闭幕式直播和重要赛事转播服务。经统计,在北京冬奥会期间,中央广播电视总台8K超高清频道完成开闭幕式直播与各类赛事节目直播35场,共计92小时;截至冬奥会闭幕,赛事重播节目整备50条,共计38小时;在播出节目单中,冬奥节目编排日均11.5小时,约占每日播出时长的72%。在奥运转播任务结束后,两个频道将进入常态化运转,全国各IPTV平台也将进一步拥抱8K,为我国8K超高清产业持续注入强劲动力。
此外,作为中国大陆地区唯一获得国际奥委会授权使用奥林匹克名称和五环标识的传播平台、全球首个以4K超高清标准24小时上星同步播出的专业体育频道,中央广播电视总台奥林匹克频道(CCTV-16)则采用了AVS工作组组织制定的AVS2和AVS+标准。在移动端直播场景中,咪咕视频应用同样采用AVS3编码标准,使用户可以通过移动终端随时随地欣赏精彩的冬奥赛事。这也是AVS3标准在移动端直播场景首次应用及落地,为进一步促进AVS生态建设提供支撑。除了追求8K超高清带来的视觉效果、呈现史上“最清晰”冬奥会之外,北京2022年冬奥会更是成为追求“最沉浸式”观赛感受的历史转折点。为打造冰雪项目交互多维度观赛体验,基于北京大学牵头的国家重点研发计划“科技冬奥”专项项目课题,研究团队利用人工智能技术进行虚拟视角合成和三维场景实时重建,研发冰雪项目交互式多维度观赛体验技术与系统(见图3)。借助虚拟现实设备和移动终端等平台,观众可获得接近360度旋转的“自由视点”沉浸感。此外,该系统也将为未来高水平赛事转播标准的建立提供重要参考。
在北京2022年冬奥会期间,AVS3编码标准、8K超高清技术以及多维度自由视角交互观赛系统已经得到实际应用检验与全球用户的广泛认可,助力北京冬奥会完美实现“简约、安全、精彩”的办赛要求。未来,北京大学研究团队将进一步提升应用效果、提升系统效能,推广应用于其他重大活动保障,开拓8K超高清技术的应用前景,充分发挥8K超高清技术的应用价值,以期为我国在提升大型活动管理、直播/转播保障等方面提供重要技术支撑。
致谢:感谢国家重点研发计划“科技冬奥”重点专项项目“冬奥超高清8K数字转播技术与系统”课题“面向8K超高清视频应用的高效编码标准及编解码器”(课题编号:2019YFF0302703)的支持。
本文刊登于IEEE Spectrum中文版《科技纵览》2022年3月刊。