中国计算机学会计算机视觉专委会

走进高校系列报告会

CCF－CV Series Lectures

北京工业大学•北京

（第115期）

主题：计算机视觉前沿技术及应用

时间：2022年7月15日（星期五）8:30-12:00

地点：北京工业大学（线上会议）

线上直播链接：CCF计算机视觉专委会B站官方账号

https://live.bilibili.com/22339632

直播二维码：

程 序

8:15-8:30 签到

8:30-8:35  开幕式

8:35-9:15

特邀讲者：林宙辰 教授，北京大学

演讲题目：Optimization Induced Equilibrium Networks: An Explicit Optimization Perspective for Understanding Equilibrium Models

9:15-9:55

特邀讲者：邓 成 教授，西安电子科技大学

演讲题目：多模态智能

9:55-10:35

特邀讲者：王瑞平 研究员，中国科学院计算技术研究所

演讲题目：视觉场景上下文的图结构化建模与推理

10:35-11:15

特邀讲者：方玉明 教授， 江西财经大学

演讲题目：图像质量评价：理论与方法

11:15-11:55

特邀讲者：马 超 副教授，上海交通大学

演讲题目：多模态三维物体检测和跟踪

执行主席：

胡永利  教授，北京工业大学

简 萌 副教授，北京工业大学

王博岳 副教授，北京工业大学

讲者/报告信息

特邀讲者：林宙辰

林宙辰是北京大学智能学院机器感知与智能教育部重点实验室教授，研究领域为机器学习和计算机视觉。他在人工智能核心期刊和会议上发表论文260余篇，出版中英文专著4本，谷歌引用数为25000余次。他曾多次担任多个业内顶级会议的领域主席，包括CVPR、ICCV、ICML、NIPS/NeurIPS、AAAI、IJCAI 和ICLR，现任ICPR 2022程序共同主席和ICML 2022、NeurIPS 2022、CVPR 2023资深领域主席。他曾任IEEE Transactions on Pattern Analysis and Machine Intelligence 编委，现任International Journal of Computer Vision 和Optimization Methods and Software 的编委。他曾获2020年度CCF科学技术奖自然科学一等奖。他是CSIG、IAPR和IEEE 的会士，国家杰青。

报告摘要：To reveal the mystery behind deep neural networks (DNNs), optimization may offer a good perspective. There are already some clues showing the strong connection between DNNs and optimization problems, e.g., under a mild condition, DNN’s activation function is indeed a proximal operator. In this paper, we are committed to providing a unified optimization induced interpretability for a special class of networks—equilibrium models, i.e., neural networks defined by fixed point equations, which have become increasingly attractive recently. To this end, we first decompose DNNs into a new class of unit layer that is the proximal operator of an implicit convex function while keeping its output unchanged. Then, the equilibrium model of the unit layer can be derived, we name it Optimization Induced Equilibrium Networks (OptEq). The equilibrium point of OptEq can be theoretically connected to the solution of a convex optimization problem with explicit objectives. Based on this, we can flexibly introduce prior properties to the equilibrium points: 1) modifying the underlying convex problems explicitly so as to change the architectures of OptEq; and 2) merging the information into the fixed point iteration, which guarantees to choose the desired equilibrium point when the fixed point set is non-singleton. We show that OptEq outperforms previous implicit models even with fewer parameters.

特邀讲者：邓 成

西安电子科技大学教授、博导。国家高层次人才、国家“百千万人才工程”有突出贡献中青年专家。教育部电子信息类教学指导委员会秘书长；中国计算机学会杰出会员、IEEE高级会员。长期从事跨媒体学习、认知和推理的研究。主持国家自然科学基金重点项目、科技部“863”计划课题、陕西省重点研发计划等项目近30项。在中科院TOP期刊和CCF A类国际会议发表论文130余篇。担任《Pattern Recognition》等国际刊物副编辑；担任计算机视觉国际顶级会议CVPR 2021、ICCV 2021领域主席，人工智能顶级国际会议IJCAI 2018-2021高级程序委员，以及多个国际会议的程序委员会委员。获2016年国家自然科学二等奖（第3）、2019年陕西省自然科学一等奖（第1）。

报告摘要：媒体大数据时代，图像、视频、文本和音频等多模态数据大量涌现，类型多样、关系复杂。此外，人类的信息获取、环境感知、知识学习，都是以多模态方式来进行。多模态智能被视为从限定领域的弱人工智能走向通用人工智能的关键所在，而多模态数据的表征、理解与推理又是多模态智能的瓶颈问题，研究并解决这些问题将极大推动新一代人工智能的发展。报告首先介绍多模态智能的发展历程、面临的机遇与挑战，并从多模态表示学习、知识推理和可信计算等三个方面介绍近年来团队的最新研究进展。

特邀讲者：王瑞平

王瑞平，中科院计算所研究员、博导，研究领域为计算机视觉与模式识别，重点关注真实开放环境下的视觉场景理解问题。发表国际期刊和会议论文90余篇，Google Scholar引用6000余次，获授权国家发明专利9项。带领研究生6次获得本领域主流国际学术竞赛冠亚军，获得CVPR2021 CLVISION Workshop “Best Paper Award”奖励。先后在CVPR2015、ECCV2016、ICCV2019等国际会议合作组织并主讲Tutorial。担任Pattern Recognition、Neurocomputing等国际期刊编委，十余次担任IEEE CVPR (2021/2022)、ICCV(2021)、ECCV(2022)、WACV(2018-2020/2022/2023)、ACCV(2022)等国际会议领域主席。研究成果获得2015年度国家自然科学奖二等奖（第4完成人）、2019年度国家自然科学基金委优青项目资助。

报告摘要：视觉场景上下文信息对于辅助场景解析具有重要作用，如：检测场景中的遮挡小目标、识别开放环境中的未知对象、预测场景物体间的空间语义关系等。针对不同类型与形式的场景上下文信息利用，提出了场景图结构化表示的统一建模框架，将场景中不同区域的对象表示为图上的结点，对象之间的关系表示为图上的边，采用消息传递机制进行图推理。本报告将介绍围绕该框架取得的一些进展，包括：结构化图推理驱动的通用物体检测、视觉图与语义图联合的零样本物体检测、全局位姿图引导的单目图像3D物体检测、部件聚合图辅助的点云实例分割等工作。

特邀讲者：方玉明

江西财经大学信息管理学院院长，教授，博导，长期从事多媒体信息处理，计算机视觉等方面研究，国家自然科学基金委“优秀青年科学基金”项目获得者，获2020年江西省自然科学奖一等奖，主持国家自科基金重点项目、优青项目和面上项目、科技部新一代人工智能重大项目课题等项目/课题10余项，发表中国计算机学会推荐A类期刊/会议和IEEE汇刊高水平论文60余篇，学术成果被谷歌学术引用6000余次，担任多媒体处理领域顶级期刊IEEE Transactions on Multimedia等多个国际学术期刊编委，入选2020和2021年爱思唯尔中国高被引学者。

报告摘要：介绍图像质量评价概念和分类，概述最近几年来的相关进展，进一步，介绍本团队近年来在该领域的一些研究工作以及未来的发展趋势。

特邀讲者：马 超

上海交通大学人工智能研究院长聘教轨副教授、博士生导师。上海交通大学与加州大学默塞德分校联合培养博士。中国图象图形学学会优博、上海市浦江人才。2016至2018年澳大利亚机器人视觉研究中心（阿德莱德大学）博士后研究员。主要研究计算机视觉与机器学习。研究工作多次发表在计算机视觉领域顶级期刊 (TPAMI/IJCV) 和会议 (ICCV/CVPR/ECCV/NeurIPS) 上。Google学术引用7000余次；连续两次入选爱思唯尔中国高被引学者（2020-2021）。CVPR 2018、2019优秀审稿人。入选微软亚洲研究院“铸星计划”。研究成果应用于华为达芬奇芯片及其无人驾驶MDC平台，获华为2021年度优秀技术成果奖。

报告摘要：多模态数据在自动驾驶场景下应用广泛。比如LiDAR点云能够提供精确的距离定位，但缺乏物体表观信息。相反，图像能够提供丰富的色彩和纹理信息，但是缺乏深度信息且存在视觉畸变。目前多模态融合不仅存在时域和空域上的语义对齐难题，更存在跨越多模态语义鸿沟的数据增广难题。本报告汇报多模态融合方面的最新进展，首先展示高效率的LiDAR点云检测方案，再通过学习4D Transformer对多模态数据进行语义对齐，以及保持多模态数据时空一致性的数据增广方法，最后介绍多模态物体检测与跟踪任务协同的统一框架。

执行主席：胡永利

北京工业大学教授，博士生导师，北京人工智能研究院研究员。北京市百千万人才工程入选者，北京市高层次创新创业人才支持计划领军人才。长期从事模式识别、计算机视觉、机器学习和智能交通等方面的研究，近年来关注图像视频聚类、多视聚类、跨媒体和图网络等方面的研究。主持国家自然科学基金联合基金重点、面上和北京市科技计划等项目10余项。共发表论文110余篇，其中包括IEEE TIP、TNNLS、TCYB、TMM、TCSVT、TITS、ACM TKDD等IEEE/ACM汇刊和CVPR、AAAI、IJCAI、ACM MM等CCF A类会议论文30余篇。获得国家发明专利授权 22 项。获2020吴文俊人工智能科技进步奖一等奖、2020青岛市科技进步奖二等奖、2017年和2018年国家自然科学基金委水下机器人目标抓取大赛二等奖。

执行主席：简 萌

北京工业大学信息学部智能媒体计算研究所副教授。分别在2010年、2015年于西安电子科技大学获得电子信息科学与技术理学学士学位、模式识别与智能系统工学博士学位。2018年-2019年新加坡国立大学计算机学院访问学者。2017年获得北京优秀人才青年骨干，2018年获得北京工业大学日新人才培养计划支持。获中国图象图形学学会技术发明二等奖，参与指导学生获得爱奇艺人物识别竞赛三等奖、VideoNet视频分类竞赛一等奖等，承担课程人工智能理论与实践，主要研究方向社会媒体计算、图像理解与模式识别，近年来承担国家自然科学基金面上项目、国家自然科学基金青年基金项目等10余项，发表《IEEE Transactions on Image Processing》、 《IEEE Transactions on Signal Processing》、《IEEE Transactions on Multimedia》、《Pattern recognition》、《Neurocomputing》等著名国际期刊发表SCI、国际会议EI论文30余篇。

执行主席：王博岳

北京工业大学副教授，博士生导师。研究方向为跨模态分析，以第一/通讯作者发表学术论文18篇，其中 IEEE/ACM 汇刊12篇，CCF¬A 会议3 篇；近年来主持科研项目7项，主要包括国家自然科学基金青年项目、北京市自然科学基金青年项目、北京市教委科技支撑一般项目、中国博士后科学基金项目（一等资助）等；2020 年获“中国图学学会优秀博士学位论文奖”，2021 年入选“北京工业大学高端人才队伍建设计划”，2022 年入选北京市科协“青年人才托举工程”。

承办单位简介

北京工业大学简介

北京工业大学（Beijing University Of Technology）创建于1960年，是一所以工为主，工、理、经、管、文、法、艺术、教育相结合的多科性市属重点大学。1981年成为国家教育部批准的第一批硕士学位授予单位，1985年成为博士学位授予单位，1996年通过国家“211工程”预审，正式跨入国家二十一世纪重点建设的百所大学的行列。2017年9月，学校正式进入国家一流学科建设高校行列，8个学科跻身2020年QS世界大学排行榜前500，位列QS2020年世界大学排名中国内地第32，工程学、材料科学、化学、环境科学与生态学、计算机科学、生物学与生物化学6个学科进入ESI前1％。

学校下设17个教学科研机构，开设本科专业70个，研究生专业覆盖34个学科；具有一级学科博士学位授权点20个；一级硕士学位授权点33个，专业学位授权类别18种；博士后流动站18个，在站289人。国家重点学科3个，北京市重点学科21个，北京市重点建设学科18个。学校现有国家工程实验室2个，国家级产学研中心1个，国际合作中心1个，省部共建国家级重点实验室培育基地1个，教育部重点实验室或工程研究中心8个，北京实验室1个，北京市重点实验室或工程技术研究中心、研究与开发中心30个，北京市国际科技合作基地10个，北京市哲学社会科学研究基地3个，北京市习近平新时代中国特色社会主义思想研究基地1个，行业重点实验室4个。省部共建协同创新中心1个，北京市级协同创新中心3个，北京高校高精尖创新中心1个。定期出版专业刊物2种。

建校61年来，北京工业大学始终与国家和首都改革发展同向同行，走出了一条特色内涵差异化发展的一流大学建设之路，推动学校成为国际知名、有特色、高水平的研究型大学，成为首都北京培养高素质创新人才的重要基地、服务区域社会经济发展的有力支撑、展现市属高校发展建设成果的示范窗口，16万余名毕业生从这里走向各条战线，让青春在党和人民最需要的地方绽放绚丽之花。

北京工业大学信息学部简介

信息学部成立于2016年9月2日，由原电子信息与控制工程学院、计算机学院、软件学院、微电子学院整合组建而成。秉承“不息为体，日新为道”的校训，以中国特色、世界一流为目标，以立德树人为根本，以国际化和信息化为抓手开展建设工作。汇聚一批师德高尚、业务精湛的专家学者，将北京工业大学信息学部建设成为高水平信息人才培养基地。设有电子科学与技术学院（微电子学院）、信息与通信工程学院、人工智能与自动化学院、计算机学院、软件学院，其中微电子学院和软件学院是国家示范性学院。拥有电子科学与技术、控制科学与工程、计算机科学与技术、软件工程4个一级学科博士学位授权点和博士后流动站。电子科学与技术、控制科学与工程、计算机科学与技术、软件工程、信息与通信工程、网络空间安全6个一级学科硕士学位授权点。电子与通信工程、控制工程、集成电路工程、计算机技术和软件工程5个专业学位授权领域。“电子与电气”、“计算机科学与信息系统”两个学科进入QS世界大学学科排名400强，“计算机科学”学科进入ESI国际学科排名前1%。有电子信息工程、通信工程、自动化、电子科学与技术、计算机科学与技术、信息安全、物联网工程、软件工程、数字媒体技术、微电子科学与工程、机器人工程11个本科专业。其中教育部特色专业4个、北京市特色专业4个、北京市级品牌专业立项建设专业4个、“卓越工程师教育培养计划”入选专业4个、通过工程教育认证专业5个，北京市“一流专业”建设专业1个。学部有中国工程院院士3人，“高等学校教学名师奖”获得者1人，教育部“长江学者奖励计划”特聘教授1人，“国家自然科学基金杰出青年基金”获得者3人，“国家自然科学基金优秀青年基金”获得者1人，百千万人才工程国家级入选者2人，国家级“网络安全优秀教师奖”1人，中国科协青年托举人才1人，北京学者2人，北京市战略科技人才1人，北京高等学校卓越青年科学家1人。

北京人工智能研究院简介

北京人工智能研究院是2017年12月成立的学校新型二级教学科研机构，坚持“立足北京、服务首都，高端引领、协同创新，完善机制、争创一流”的发展思路，打造国际一流的人工智能协同创新平台，使之成为高端人才聚集地和拔尖创新人才的培养基地。研究院面向首都“四个中心”功能定位和构建“高精尖”经济结构的重大需求，瞄准人工智能前沿领域，开展原创性基础理论与关键技术研究，加强产学研用合作，推动北京人工智能产业协同创新发展。通过用人聘人机制、科研体制机制改革，推进学科交叉协同创新研究，培养人工智能领域的卓越拔尖人才。研究院拥有智慧环保北京实验室、计算智能与智能系统北京市重点实验室、多媒体与智能软件技术北京市重点实验室、智能感知与自主控制教育部工程中心4个重点实验室，并设立人工智能基础理论和方法、智慧环保、跨媒体智能、智慧医疗与健康、机器人技术5个研究中心。研究院现有专任教师74人，其中教授28人，博士生导师26人，包括长江学者特聘教授1人、国家杰出青年基金获得者3人，国家优秀青年基金获得者1人，北京学者2人，北京领军人才1人，北京市卓越青年科学家1人，北京市百千万人才工程1人，北京市杰出青年科学基金获得者2人，北京市科技新星3人，北京市拔尖创新人才3人。经过几年的努力进取、不断开拓，北京人工智能研究院在理论、方法和应用上取得一系列的创新成果，承担了国家自然科学基金创新群体、重大项目、重点项目、国家重点研发计划项目等重大科研任务，获得了国家科技进步奖二等奖2项（排名第一，排名第二各1项）、国家技术发明二等奖1项（排名第四）、吴文俊人工智能科学技术一等奖等省部级奖11项。研究院与日本、德国、美国、澳大利亚、挪威、加拿大、香港等许多发达国家和地区的高水平研究机构和科研院所保持着长期友好的合作关系。