智能视频技术在其中起着承上启下的重要作用,智能理解分析、智能视频生产与智能交互生成等关键 AI 技术充当着平台化与场景化创新应用的技术基石。


知识增强的视频理解


基于知识的视频语义理解技术,充分利用丰富、全面的知识图谱提升视频理解效果。该技术通过对视觉、语音、文本的多模态内容进行解析与融合,基于知识关联技术建立与视频理解知识图谱的连接,通过对背景知识的计算与推理,实现对视频的深度语义理解。


知识增强的视频理解技术,突破了传统的基于感知的视频内容分析的局限性,实现对视频的深度结构化语义理解,大幅提升视频理解效果,标签召回量提升 140%。目前基于知识的视频理解技术,已在百度的搜索、推荐、好看视频等多个重要业务中得到大规模应用,取得了显著效果。


智能理解分析综合应用的一个典型案例就是视频智能编目。面对海量信息,广电行业遇到的一大挑战就是在保证准确率的前提下,提升编目效率。视频智能编目通过对视频的多模态理解,算法能自动识别一系列的编目项,编目平均准确率超过 90%,相比于人工编目,效率能提升 6 至 8 倍。一段 30 分钟时长的新闻,人工编目需 4 小时,而智能编目只需要 30-40 分钟。