为了匹配超高清时代的视频体验极致追求,百度智能云打造了“智感超清”产品。核心价值就是利用去噪、去划痕、上色、画质增强、超分辨率等手段进行老片修新,实现对视频画质的提升和超高清内容的转换。智感超清背后涉及的技术众多,具体如下:

超分辨率
基于 U 型神经网络框架,提出一整套级联提升网络框架,可对视频空间分辨率进行从粗到细地提升。


自适应去燥
视频数据中的噪声模式难以人工模拟,通过自研的无监督去噪算法,可以摆脱有监督神经网络训练对成对噪声与干净图像的依赖;模型还设计了可用户交互的控制参数,支持用户调节适应不同噪声。


画质增强
细节纹理增强,采用深度残差卷积神经网络,对视频内容进行特征提取与重建,对画面的饱和度与原画质视频的压缩失真进行细节还原;感兴趣区域(ROI)增强与编码,通过 ROI 区域的实时检测与跟踪技术,对 ROI 区域进行局部画质增强,同时编码时码率分配进行 ROI 区域优化,保证 ROI区域视觉主观质量的提升。


SDR 转 HDR
基于全局与局部信息融合的门控残差网络单元,构建端到端的 SDR 视频源到符合 HDR 标准视频信号的上变换网络模型,高效地将传统 8bit 位深 BT.709 色域空间的信号,上变换到 BT.2020 色域空间下 10bit 及以上位深的信号。


高帧率重制
基于 MEMC(运动估计与运动补偿)的高帧率提升技术,通过对运动方向预判,据此进行插帧,提升画面流畅度与观屏舒适度。


超高清编码
采用异构计算 4K 编码技术,基于 CPU+GPU+ASIC 的异构加速计算框架,对视频的处理和编码进行加速处理。


百度智能云自研的智感超清技术,在 CVPR、ECCV 等全球大赛上均取得了好成绩。同时,百度智能云也在牵头《智能视频处理系统通用技术规范》产业标准的组织工作,致力于制订出普惠大众的通用标准技术。


目前,智感超清技术已经广泛应用在电影频道、得物 APP 等泛媒体与泛互联网场景中。帮助电影频道完成了众多老旧影片的修复换新工作,在提供更好用户主观体验的同时,减少了人工逐帧修复的成本,提升处理效率 10 倍 +。