2021年4月28日，由中国计算机学会计算机视觉专委会主办的第9期CCF-CV“视界无限”系列活动——“手绘草图研究的前沿进展与未来趋势”研讨会在北京邮电大学成功举办。研讨会邀请了英国萨里大学宋一晢教授、香港城市大学傅红波教授、西安电子科技大学邓成教授、中山大学郑伟诗教授、西安电子科技大学王楠楠教授、北京航空航天大学于茜副教授、香港中文大学韩晓光助理教授和英国萨里大学逄开岳高级研究员做主题报告并参与圆桌讨论。北京邮电大学人工智能学院党委书记杨洁教授、中国计算机学会计算机视觉专委会主任、北京大学查红彬教授，中国计算机学会计算机视觉专委会秘书长、北京邮电大学马占宇教授，中国计算机学会计算机视觉专委会副秘书长、南开大学杨巨峰教授出席活动。本期研讨会由北京邮电大学人工智能学院承办，英国萨里大学宋一晢教授任主席、北京邮电大学齐勇刚助理教授任执行主席。

研讨会由北京邮电大学人工智能学院齐勇刚老师主持。

   北京邮电大学人工智能学院党委书记杨洁教授首先致辞，对各位专家学者和来宾表示热烈欢迎。她表示北京邮电大学是国内最早从事人工智能人才培养和科学研究的单位之一，本次研讨会是一次难得的学术交流机会，希望以此为契机广交学术人才，增进友谊，激励创新，为拓展未来人工智能领域的国际合作与交流寻求新思路，与同行专家学者、海内外朋友一道，为国家科技事业发展贡献力量！

   中国计算机学会计算机视觉专委会主任、北京大学查红彬教授致辞。查教授表示很高兴能够与线上线下的各位一起探讨计算机视觉的前沿问题，他指出CCF-CV专委的视界无限活动已经办了很多期，是围绕一个主题进行深入讨论的研讨会，“草图”这个主题第一次举办，很有意义，手绘草图是人与计算机交互的重要方式，可以提高交互效率。此外，草图是多学科交叉的领域，涉及包括视觉、图形学、艺术等。希望本次研讨会能对从事这一领域研究的老师和同学们有所启发。最后代表专委会感谢主办单位各位老师同学为筹办本次研讨会作出的努力，预祝研讨会圆满成功！

   英国萨里大学SketchX实验室负责人宋一晢教授的引导发言题目是“Vision != Photo”。宋教授希望报告能够抛砖引玉，大家一起交流碰撞出一些好想法。报告指出视觉应该包含“看”和“理解”，但图片只有原始的像素信息，并没有任何语义信息，而草图是一种蕴含了人为处理的图像，具备了图片所没有的信息，这是草图研究最大的意义所在——帮助探索人类的视觉理解机制。宋教授表示，近些年来草图的研究因为上述原因更多的受到关注，他在报告中简要介绍了课题组近年来的Sketch相关工作，已及近期Sketch和传统视觉领域相融合的热点问题，包括细粒度的视觉分析、三维视觉以及OCR等。

    香港城市大学傅红波教授的引导发言题目是“Data-Driven Sketch Interpretation”。傅教授的发言主要围绕如何用数据驱动的手段来帮助解决草图理解的各种任务展开。傅教授首先介绍了目前处理草图的主要技术手段，包括CNN、RNN以及attention等，然后从草图的不同任务出发介绍了现有技术如何解决美化、分类、分割和3D建模等问题。最后介绍了现有技术手段中存在的问题，比如由于抽象程度、绘图样式和绘图错误等原因，导致机器无法正确理解草图的语义。

   西安电子科技大学邓成教授的报告题目是“手绘草图视觉生成及检索研究进展”。邓教授首先总结梳理了在草图图像的生成和检索领域中，现有经典方法及其存在的不足。邓教授指出目前草图图像生成和检索领域面临的主要挑战包括：草图与真实图片的失配以及成对数据集的稀缺；手绘图像中颜色和线条信息的缺失；手绘图像抽象程度的差异性。最后，邓成教授认为未来的发展方向主要分为三个层面：1. 在数据层面，解决数据不平衡和缺失的问题。2. 在特征层面，进一步提升草图分辨率。3. 在应用层面，提升草图检索的交互实时性。

   中山大学郑伟诗教授的报告题目是“面向换装的行人重识别问题研究”。郑伟诗教授指出以往的行人重识别问题多数依赖于行人的纹理特征，但在面临行人换装的问题时，基于纹理特征的重识别方法将失去可靠性。针对上述问题，郑教授介绍了自己团队设计的基于人物素描轮廓特征的建模方案，有效提升了行人换装情况下的重识别准确率。最后，郑教授介绍了其团队对于获取人体的精准轮廓特征的最新进展，结合对人体行走姿态的相关研究，提出了人体轮廓3D建模的方案。

   西安电子科技大学王楠楠教授的报告题目是“异质人脸图像合成与识别”。首先，王楠楠教授指出异质人脸图像合成主要是指可见光图像与这些不同模态和形态图像之间的相互转换，多用于公共安全领域进行高清晰的人脸图像快速重建。随后，王教授介绍了异质人脸图像合成的典型方法，并以人脸素描画像和照片的合成为例，讲解了异质人脸合成中的关键原理和其团队的工作进展。包括基于人脸素描的剪纸合成，公共安全领域的人像应用，人像数据集的扩充，人像合成的多任务框架。最后，王教授提出了基于现有工作的未来扩展方向，包括风格化的迁移，长依赖关系的嵌入等。

   北京航空航天大学于茜副教授的报告题目是“基于手绘的自然图像和三维物体的生成”。于老师认为基于手绘的生成任务是一个需要研究者们引起关注的领域，并指出基于手绘的自然图像生成可以看作为“image to image translation”的任务来处理。随后，于老师指出目前的工作大多数关注于基于从自然图像中提取的具有规则线条的边缘图，而忽略了不具有对应的自然图像并且有不同程度形变的手绘图。于老师以其团队近期的研究为例，详细解析了“从手绘图到自然图像的翻译”这项工作的技术细节，包括分阶段引入灰度图作为中间态、自监督去噪损失等技术手段。

   香港中文大学（深圳）韩晓光助理教授的报告题目是“基于深度学习的智能草图三维建模”。首先，韩老师指出简笔草图往往是用户表达三维形状最简便的方式，但构建三维几何的专业性和复杂性与之存在巨大的矛盾。随后，韩老师介绍了其团队针对三种不同类型的3D模型开展的研究工作，包括三维人脸、人造物体、动物角色。韩老师特别强调了分割生成、组合方式、细节渲染和实时交互问题的重要性。最后，韩老师认为sketch生成3D模型并不是单纯的二维图片生成三维模型问题，保证输入sketch和输出model的一致性以及生成过程的实时交互性都尤为重要。

   英国萨里大学SketchX实验室逄开岳研究员的报告题目是“基于手绘的细粒度图像检索”。首先，逄老师指出在图像检索中，手绘是最直接的视觉输入，有效缓解了在形容细粒度视觉特征时进行语义诠释的笨重性。逄老师认为由于绘画技能的差异性，收集可信赖的绘画数据集是目前面临的巨大挑战。针对这一问题，逄老师以其最新的研究为例，介绍了一系列利用跨域数据的预训练优化方法。最后，逄老师强调了sketch对于图像检索领域的重要意义：1. 以人类手绘的图像为基准更有助于划分人类能区分的粒度极限。2. 对于包含多种元素的图像，sketch可以有效传达人类对图像中元素的偏好，有助于解决视觉显著性的相关问题。

   紧接着是panel环节，由北京邮电大学齐勇刚老师主持，与八位讲者探讨了手绘草图研究的前沿进展与未来趋势。整个研讨会在下午5点40分圆满结束。

Panel 实 录

为了惠及广大研究者，每期“视界无限”精选嘉宾观点进行分享，以下为本期研讨会Panel实录。

齐勇刚：大家好，很高兴有机会与各位专家一起探讨手绘草图研究的相关问题，首先请教一下各位老师，sketch目前发展到了什么阶段，未来的发展方向是什么？

宋一晢：草图在vision领域还处于一个刚刚开始的阶段，大部分的工作还是去探索sketch在某个应用领域上的特性，比如说retrieval方面我们就是应用到了sketch，可以达到更加细的粒度。我认为以后可以跟graphics多结合一点，然后结合sketch和human understanding，对可解释性和attention都很有意义。

傅红波：草图本身的历史还是比较久的，至少研究了有二三十年，从sketch到3D model，然后再从3D model回到sketch。目前顶会发表的主要还是sketch到image、到3D model，因为这个问题相对来说难度比较大，但反过来，例如从image生成sketch对于弥补数据集的匮乏也是比较有帮助的。怎么样去解决sketch的understanding的问题也是挺有意思的切入点。之前graphics里面使用pair data多一点，那么如何引入unpair的思想也是挺有意思的点。我认为vision和graphics在sketch上也是有一些交叉的，包括sketch的重建就有比较多的结合点。

齐勇刚：那么，各位老师认为sketch领域的研究对machine learning领域具有怎样的推动意义呢？对vision领域具有怎样的推动意义呢？

郑伟诗：对于第一个问题，由于sketch领域普遍使用的是二值图像，而针对二值输入的机器学习建模是一个不容易处理的问题，而如何结合深度学习，或许能在技术上获得新的进取。对于第二个问题，由sketch拓展到一般vision是一个很好的方向，因为通过sketch画出来的可以看成是一种高一些层次的感知或认知。比如说一个瓶子，我们只需要把我们认知里那个瓶子的形状画出来，无论这个瓶子是红色的瓶盖还是蓝色的瓶盖，它上面贴的是什么样的标签、品牌，我们依然觉得它是一个瓶子。我们现在更多是通过卷积去做这件事情，依然仅是通过数据驱动，所以没有办法避免类似瓶子的颜色这种数据上的偏差，并没有把我们人类这么多年总结下来的常识融合进去。可能的是，当我们遇到游乐园里那种形状很奇特的瓶子，就会出现识别错误。所以如果能够将sketch用的很好的话，应该会对视觉领域的识别鲁棒性有比较好的助力。

齐勇刚：感谢郑老师！我认为郑老师刚才提到了两个特别重要的问题：第一个就是目前sketch的表示问题。目前大多数的sketch数据都是二值图像，不过在傅老师和宋老师的报告中也提到，现在已经有一些研究者开始尝试使用向量对sketch进行表示。那是否还存在更好的表示方式，我觉得这是一个很开放的问题。那么第二个问题其实也和宋老师的报告题目很吻合，就是“sketch不等于vision”。甚至可以延伸到对于真实的世界并不存在但人却能识别的东西，或许sketch会更有优势，我觉得这都是很开放、很有意义的问题。线上的嘉宾们是否觉得这也是一个很有意义的方向？

宋一晢：我想延伸伟诗刚才说的关于“sketch有一些photo没有的信息”这部分内容，这部分我觉得是sketch最好的点。我觉得目前sketch从以应用为中心，逐渐开始对一些其他的计算机视觉技术产生影响。下一步sketch是否可以对整个计算机视觉的前沿领域起到推动作用。目前我觉得这个推动可能会从human understanding的这个角度产生。比如最近我们在做attention的问题，过往大家采用的方法都是倾向于数据驱动的。但其实人在画画的时候，这种attention就已经存在了。比如画一个猫，我是先画这个耳朵还是先画须子，此时我们对物体的理解和对这个场景的理解就产生了。最后，希望大家能够多使用sketch去理解human attention的问题。

齐勇刚：我们大家都知道，相比于传统的vision problem，sketch领域没有那么多的dataset，包括傅老师也提到了，其实也是有很多工作都需要sketch的dataset。那我想问一下各位老师，目前sketch领域dataset的缺乏是不是一个亟待解决的问题？这是不是一个未来重要的研究方向？

宋一晢：我觉得dataset是很重要的，当然大家都已经在这方面各自有很多贡献了。其实从3D model可以生成一些比较开放的dataset，要比从图片生成dataset更简单一些，从和计算机图形学结合的角度来看，我觉得这可能是一个比较好的方向。然后邓老师做了一些小样本的工作，可以将某个类别dataset应用到其他的case上，这也是一个很好的路径。

齐勇刚：我想问问邓老师，您觉得现在草图方面小样本学习的前景怎么样？因为这里面涉及到的跨域问题，可能比一般的vision problem更困难一些。跟传统的vision problem相比，这里面是不是有一些特定的问题需要解决？

邓成：其实我刚才听宋老师还有几位老师在讨论的时候也是很有启发的，我比较认同宋老师说的，需要从根源上去开展研究。我们关注小样本或者零样本问题，其实更多的是以我的需求为出发点。我想做一些特定的数据集，但是有时资源比较有限，所以才会想到做小样本或者零样本的这种方向。当然把这个作为一种研究来说是没有问题的，但从根本性问题角度来说，可能还有待考虑，对于第二个问题，我认为目前想要从sketch里面要得到rich feature是非常难的。所以要想有所突破的话，可能还是要借助一些额外的辅助信息来完成相关的任务。

齐勇刚：是的，包括于茜老师也做了很多这方面的工作，今年的文章也是做了这个unpair的工作，这块其实也是在数据有限的情况下来做的一个工作，您觉得这一块还有什么可以挖掘的地方吗？

于茜：我认为sketch的生成是一个很好的方向。因为目前大部分的研究都关注于从sketch到photo、sketch到3D，但其实从photo到sketch这一步我觉得做得还不太够。如果能够生成更多的sketch，特别是具有不同手绘风格的sketch的话，我觉得对现有的数据集是一个比较好的补充。其实在很早的时候，我们做过一个人脸数据集，只不过那个数据集很小。就是找到不同的画家，在不同的时间限制下，比照着一个photo去画人脸的sketch。

王楠楠：这个数据集我知道，大概有400对数据吧，我们沿着这个方向做了一个3万张的数据集。我们是先让计算机根据photo去合成一些半成品，然后再让人绘制完成这个sketch。我认为这样可以让计算机做那部分繁琐的、重复的计算，然后人再去加入认知的部分。这个数据集目前正在准备当中，后面会发出来。

齐勇刚：在这里还想问大家一个问题，各位老师认为手绘草图未来的发展方向和趋势是怎么样的？特别是今年这个CVPR首次出现了sketch的细分领域，那是不是说现在sketch研究真正引起了更多人的关注，也意味着sketch进入了主流的vison问题？

傅红波：其实在图形学领域内，sketch相关的工作一直存在，但更多的是作为一种输入手段。随着触摸式的智能输入设备越来越普遍，相较于以往paper & pencil的手绘方式，现在可以获取到更多的digital stroke信息。目前vision领域的很多工作可能还是把sketch简单当作image来看，但我觉得这并没有充分利用sketch所包含的信息。另外一方面就是，目前3D sketch数据也变得越来越容易采集了，这可能也是一个需要更多关注的方向。

宋一晢：我感觉sketch相较于其他的vision领域来讲，应该是一个可以更开脑洞的方向，更具趣味性。对于博士生而言，这是一个比较好的研究方向，做出的成果可能会影响比较大，而且有较强的自我满足感。