seolu于2023-02-26发布在动手关注
干货别迷路背景介绍
卡塔尔世界杯已经结束，29天的赛程，64场比赛，终于梅西带领阿根廷时隔36年再次夺冠。 世界杯期间，抖音提供稳定优质的直播画面，为观众带来了完美的观看体验，决赛PCU高达+。
世界杯赛事涉及很多环节。 如何保证各个环节的画质稳定抖音优化，进一步提升画质，是一个巨大的挑战。 本文主要介绍世界杯期间火山机多媒体实验室的相关工作。
画质优化链接
世界杯涉及长链路，可以简化为下图的流程。 FIFA直播信号先传输到CCTV端进行合规和安全处理，演播室制作后传输到CDN，再分发到用户端。 从画质的角度来看，整个链路可以分为两部分：画质检测和画质优化。 对于CDN之前的链路，画质监控主要是为了发现问题/定位问题/推动相应的链路人员有针对性地解决问题。 图片质量优化在CDN和客户端两边进行。 以下内容主要介绍画质优化部分。
世界杯的直播是用支持HDR（高动态范围）的设备录制的。 该团队在支持 HDR 的设备上加入了 HDR 档位，并提供了多种不同分辨率/帧率的档位。 为了让观众获得更好的画质体验，团队通过自适应、视频降噪、ROI、端上超分等自研算法，有效提升赛事画质。
卡塔尔世界杯采用HDR拍摄方式，HDR拍摄的信号源色域更广，动态范围更大。 但是很多终端显示设备并不支持HDR信号播放，所以需要通过算法将HDR信号转换成SDR（标准动态范围）信号。
与SDR信号相比，HDR信号具有更宽的色域和更大的动态范围，在转换为SDR信号的过程中不可避免地会发生一些信息丢失。 一些常用的方法，无论是，还是，其本质都是设计一条固定的映射曲线，实现从HDR到SDR的转换，同时尽量保持HDR效果的还原。 但对于世界杯这样的大型赛事，场景的动态范围极大，场馆灯光/草地/球员的亮度差异明显。 观众感兴趣的球员信息其实都集中在暗区。 为了解决这个问题，团队提出了内容自适应算法网站优化，可以通过统计视频内容的实际光照情况动态进行，从而获得更好的效果。
左：算法，右：内容适配
为了兼顾视频码率和主观图像质量，团队采用了基于LSTM（长时短期记忆网络）的时域ROI技术，通过结合人眼显着区域检测和编码抖音优化，使画面上的码率分布更加准确。 合理的。 目前市面上还没有专门针对足球场景的（显着物体检测）数据集，一般的数据集在世界杯等特定场景中表现不佳。 针对这一问题，团队专门制作了足球场景数据集，通过眼动仪追踪球迷观看比赛时的注意力区域，得到了足球比赛专用数据集，大大提高了模型的准确率。 针对足球场景中显着物体多、显着区域分散的特点，团队专门优化了检测模型。 在保证检测速度的前提下，提高了模型的召回率和不同场景的鲁棒性，从而获得更好的主观质量。
注：红框表示ROI区域，左边是通用方案的结果，右边是优化后的结果
同时，团队利用视频降噪算法，根据视频信息去除时空噪声，将带噪视频处理成干净无噪声的视频。 由于去除了视频的噪声，在提高视频质量的同时降低了传输比特率。 由于用户端网速的限制，端上有多个档位。 当观看端网速较慢时，可能会切换到480P/720P等低分辨率档位。 这时会触发端上的超分辨率算法，提高画面清晰度。 超分辨率技术是指基于机器学习/深度学习方法，通过基于视频信息的时空建模，重建缺失的细节，将低分辨率视频重构为高分辨率视频。 这样，即使在低分辨率档位，您也可以体验到更清晰的画质。
左：降噪前的视频，右：降噪后的视频
左：视频超清前，右：视频超清后
此外网站优化，团队还提供大分辨率、高帧率、广色域，并采用色彩增强、自适应锐化等多种画质增强技术，呈现更具沉浸感的超高清画面。
