CCF-MM走进企业@成都爱奇艺科技有限公司

成都爱奇艺科技有限公司

2020年10月30日下午,中国计算机学会多媒体技术专委会和成都爱奇艺联合举办了“CCF-MM走进企业”活动。活动在成都市武侯区世外桃源广场B10 爱奇艺深度学习培训室举行。电子科技大学李文教授、电子科技大学徐行副教授、爱奇艺资深算法工程师Sam、爱奇艺高级工程师Mark应邀为参与此次活动的各位专委委员、领域专业人士做了精彩的报告分享。

徐行老师做了题为《多模态学习在图文匹配中的应用》的报告。首先介绍了多模态学习的基本概念,主要研究内容和主流方法。接着以当前比较热门的研究及工业应用领域—图文匹配为例,介绍了研究小组在该任务上提出的两类不同的多模态表示学习与特征融合的方法,并对两种方法的共同点和区别做了详细的总结。最后对当前工业界关注的基于预训练的多模态表示学习框架(Multimodal BERT)做了细致的讨论,并对多模态学习的未来发展方向和工业应用的领域做了展望。

Sam做了题为《视频内容理解在体育领域的落地》的报告。首先介绍了视频内容理解算法的背景、意义及热门研究点,详细阐述了动作识别的主流算法模型及其各自的优缺点;然后重点剖析了“体育大脑”,包括其总体框架、技术架构、技术细节,“体育大脑”是将爱奇艺将视频内容理解算法应用于爱奇艺体育的一个重点项目,综合视频、文本、语音、图片等多个模态,实时进行比赛分析,并对赛事内容进行精彩度评估,在减少人力成本的基础上,尽可能挖掘体育赛事的价值。最后,也提到了当前面对的一些挑战,以及爱奇艺在视频内容理解算法方面将进一步探索和研究的方向。

Mark做了题为《爱奇艺音频内容理解及应用》的报告。基于爱奇艺 PGC、UGC 视频对音频标签的应用需求,介绍了爱奇艺音频内容理解系统大致框架和基础算法,从对音频进行细粒度的分类,到建立完整的音频标签体系,实现对音频进行多维度、深层次的理解,并最终落地到爱奇艺的多个应用场景中,取得很好的业务效果。

四位专家还与现场听众围绕大家在研究中遇到的问题进行了交流和讨论。

活动最后,参与活动的专委委员、报告嘉宾及领域的部分专业人士合影留念。活动圆满结束!