AIART 2024

AIART 2024

CCF多媒体专委会 20240714日 20:08 北京

AIART 2024

The 6th IEEE Workshop on

Artificial Intelligence for Art Creation

Introduction

Recent advances of AI-Generated Content (AIGC) have been an innovative engine for digital content generation. As an ever increasingly powerful tool, AI has gained great popularity across the whole spectrum of art, such as AI painting, composing, writing, virtual hosting, fashion, design, etc. Tools like Sora even demonstrates the ability to model and simulate the physical world. An era of AI-generated videos or movies is coming. Moreover, AI is also capable of understanding art, and evaluating the aesthetic value of art as well. AI has not only exhibited creativity to some extent, but also served as an enabling tool to discover the principles underneath creativity and imagination, which are traditional challenges for neuroscience, cognitive science, and psychology. Despite all these promising features of AI for Art, we still have to face the many challenges such as the explainability of generative models and the copyright issues of AI art works.



This is the 6th AIART workshop to be held in conjunction with ICME 2024 at Niagara Falls, Canada, and it aims to bring forward cutting-edge technologies and most recent advances in the area of AI art in terms of enabling creation, analysis, understanding, and rendering technologies.

Keynotes



Keynote 1



Speaker: Lamberto Coccioli

Title: Is Artistic Creativity Worth Saving? Facing the Existential Challenge Posed by Generative AI

Time: 8:05 – 8:30, July 19, 2024

Abstract:

The sudden explosion of generative Artificial Intelligence and its creative applications in all art forms is forcing us to question the very meaning and purpose of art, giving us a glimpse of a world where human expressions of artistic creativity, from music composition to film making, from painting to architecture, may be largely supplanted by AI. Is this an inherently undesirable outcome? From my point of view as a composer, musician and music technologist I will consider the impact of generative AI on music and artistic creation, and outline what is at stake not only in terms of immediate concerns, for example around IP protection, but also from a wider philosophical perspective. Are there boundaries we shouldn’t cross in co-creation scenarios with AI agents? Ultimately, is human artistic creativity as we know it really worth preserving?

Biography:

Lamberto Coccioli read architecture in Rome and music composition in Milan with Azio Corghi. Of lasting influence were also a series of field recording trips to remote areas of Colombia. Working for five years with Luciano Berio and research centre Tempo Reale in Florence, Lamberto pioneered new works with live electronics and immersive technologies, including his ground-breaking opera Magma. Moving to the UK in 2000, he joined Royal Birmingham Conservatoire (RBC) as Head of Music Technology, directed the 6-year, €3.1m project Integra – Fusing Music and Technology and founded Integra Lab, the internationally-renowned music interaction design research centre. Lamberto is Professor of Music and Technology and Associate Principal at RBC, where he is responsible for international development and large strategic projects, including the new RBC building with its state-of-the-art performance venues and innovative digital infrastructure. Research interests span from computer-assisted composition to augmented performance to the philosophy and ethics of technology.





Keynote 2



Speaker: Shuai Yang

Title: AIGC for Human Artistic Rendering

Time: 10:00 – 10:25, July 19, 2024

Abstract:

Artistic portraits are ubiquitous in our daily lives and the creative industry. Intelligent human artistic rendering aims to automatically design artistic portraits based on real human portraits. This keynote will introduce our proposed three models for human artistic rendering: DualStyleGAN, VToonify, and StyleGANEX. First, I will discuss DualStyleGAN for image stylization, achieving exemplar-based high-resolution and style-controllable artistic portrait design. Next, I will extend DualStyleGAN to the video domain with VToonify, enabling vivid high-resolution artistic portrait video generation. Finally, I will introduce StyleGANEX, which extends portrait stylization to more general portrait image and video editing tasks.

Biography:

Shuai Yang received the B.S. and Ph.D. degrees (Hons.) in computer science from Peking University, Beijing, China, in 2015 and 2020, respectively. He is currently an assistant professor with the Wangxuan Institute of Computer Technology, Peking University. His current research interests include image stylization, image translation and image editing. He was a Research Assistant Professor with the S-Lab, Nanyang Technological University, Singapore, from Mar. 2023 to Feb. 2024. He was a postdoctoral research fellow at Nanyang Technological University, from Oct. 2020 to Feb. 2023. He was a Visiting Scholar with the Texas A&M University, from Sep. 2018 to Sep. 2019. He was a Visiting Student with the National Institute of Informatics, Japan, from Mar. 2017 to Aug. 2017. He received the IEEE ICME 2020 Best Paper Awards and IEEE MMSP 2015 Top10 percent Paper Awards. He has served as the area chair of BMVC 2023/24 and ACM MM 2024

Program

Address: Peninsula, Niagara Falls Marriott

Time: 8:00am – 12:00am, July 19 (GMT-4)



时间

项目

8:00    – 8:05

Opening    Remark (Dr. Ambarish Natu)

8:05    – 8:30

Keynote 1

Host: Dr. Ambarish Natu



Lamberto    Coccioli

Title:    Is Artistic Creativity Worth Saving? Facing the Existential    Challenge Posed by Generative AI

8:30    – 9:50

Session F1

Host: Dr. Ambarish Natu



01: Chinese Ancient    Painting Figure Face Restoration and Its Application in a Q&A    Interaction System

Rui    Li



02: Beyond Aligned Target    Face: StyleGan-Based Face-Swapping via Inverted Identity Learning

Yuanhang    Li 



03: Q-Boost: On Visual    Quality Assessment Ability of Low-level Multi-Modality Foundation    Models

Zicheng    Zhang



04:    Anatomically-Informed Vector Quantization Variational Auto-Encoder    for Text to Motion Generation

Lian    Chen 



05:    Intelligent Music Chord Recognition and Evaluation Based on    Convolution and Attention

Shuo    Wang 



06: Real-Time Interaction    with Animated Human Figures in Chinese Ancient Paintings

Yifan    Wei



07: StyleSelf:    Style-controllable High-fidelity Conversational Virtual Avatars    Generation

Yilin    Guo



08: Multimodal    Semantic-Aware Automatic Colorization with Diffusion Priors

Han    Wang

9:50    – 10:00

Coffee    Break

10:00    – 10:25

Keynote 2

Host: Dr. Luntian Mou



Shuai    Yang

Title:    AIGC for Human Artistic Rendering

10:25    – 11:55

Session F2

Host: Dr. Ambarish Natu



09: Popular Hooks: A    Multimodal Dataset of Musical Hooks for Music Understanding and    Generation

Xinda    Wu 



10: Aesthetic Assessment    of Movie Still Frame for Various Field of Views

Xin    Jin (Beijing Electronic Science and Technology Institute); Jinyu Wang (Beijing Electronic Science and Technology Institute); Wenbo Yuan (Beijing Electronic Science and Technology Institute); Yihang Bo (Beijing Film Academy); Heng Huang (University of Science and Technology of China); Yiran Zhang (Beijing Film Academy); Bao Peng (Beijing Film Academy); Peng Xu (Beijing Film Academy); Xin Song (Beijing Film Academy); Hanbing Yang ( Beijing Film Academy)



11: AI-Assisted Content    Creation of Naked-eye 3D Effects on Curved LED Screen: Enhancing    Artistic Expression and Creativity

Yeming    Li 



12: Characteristics of    Visual Complexity: Calligraphic Fonts Vs. Printed Fonts

Yuchen    Wang



13: "AI Life"    and Human Fear: From Phenomenological Insights to Digital Creation

Jiaying    Fu 



14: Segmentation-Based    Parametric Painting

Manuel    Ladron de Guevara 



15: The WuShu Database for    Cursive Script Character and Style Recognition

Xinrui    Shan



16: MemoMusic 4.0:    Personalized Emotion Music Generation Conditioned by Valence and    Arousal as Virtual Tokens

Yihan    Sun



17: Creating and    Experiencing 3D Immersion Using Generative 2D Diffusion: An    Integrated Framework

Ziming    He

11:55    – 12:00

Best    Paper Award & Closing Remark (Dr. Luntian Mou)

TPC Members

  • Ajay  Kapur, California Institute of the Arts, USA

  • Alan  Chamberlain, University of Nottingham, Nottingham

  • Alexander  Lerch, Georgia Institute of Technology, USA

  • Alexander  Pantelyat, Johns Hopkins University, USA

  • Bahareh  Nakisa, Deakin University, Australia

  • Baoqiang  Han, China Conservatory of Music, China

  • Baoyang  Chen, Central Academy of Fine Arts, China

  • Beici  Liang, Tencent Music Entertainment Group, China

  • Bing  Li, King Abdullah University of Science and Technology, Saudi Arabia

  • Björn  W. Schuller, Imperial College London, UK

  • Bob  Sturm, KTH Royal Institute of Technology, Sweden

  • Carlos  Castellanos, Rochester Institute of Technology, USA

  • Changsheng  Xu, Institute of Automation, Chinese Academy of Sciences, China

  • Dongmei  Jiang, Northwestern Polytechnical University, China

  • Emma  Young, BBC, UK

  • Gus  Xia, New York University Shanghai, China & Mohamed bin Zayed  University of Artificial Intelligence, United Arab Emirates

  • Haifeng  Li, Harbin Institute of Technology, China

  • Haipeng  Mi, Tsinghua University, China

  • Hongxun  Yao, Harbin Institute of Technology, China

  • Jesse  Engel, Google, USA

  • Jia  Jia, Tsinghua University, China

  • Jianyu  Fan, Microsoft, Canada

  • Jing  Wang, Beijing Institute of Technology, China

  • John  See, Multimedia University, Malaysia

  • Juan  Huang, Johns Hopkins University, USA

  • Junping  Zhang, Fudan University, China

  • Kejun  Zhang, Zhejiang University, China

  • Ke  Lv, University of Chinese Academy of Sciences, China

  • Kenneth  Fields, Central Conservatory of Music, China

  • Lai-Kuan  Wong, Multimedia University, Malaysia

  • Lamtharn  Hanoi Hantrakul, ByteDance, USA

  • Lei  Xie, Northwestern Polytechnical University, China

  • Lin  Gan, Tianjin University, China

  • Long  Ye, China University of Communication, China

  • Maosong  Sun, Tsinghua University, China

  • Mei  Han, Ping An Technology Art institute, USA

  • Mengjie  Qi, China Conservatory of Music, China

  • Ming  Zhang, Nanjing Art College, China

  • Mohammad  Naim Rastgoo, Queensland University of Technology, Australia

  • Na  Qi, Beijing University of Technology, China

  • Nick  Bryan-Kinns, Queen Mary University of London, UK

  • Nina  Kraus, Northwestern University, USA

  • Pengtao  Xie, University of California, San Diego, USA

  • Philippe  Pasquier, Simon Fraser University, Canada

  • Qin  Jin, Renmin University, China

  • Qiuqiang  Kong, ByteDance, China

  • Rebecca  Fiebrink, University of London, UK

  • Rick  Taube, University of Illinois at Urbana-Champaign, USA

  • Roger  Dannenberg, Carnegie Mellon University, USA

  • Rongfeng  Li, Beijing University of Posts and Telecommunications, China

  • Rui  Wang, Institute of Information Engineering, Chinese Academy of  Sciences, China

  • Ruihua  Song, Renmin University, China

  • Shangfei  Wang, University of Science and Technology of China, China

  • Shasha  Mao, Xidian University, China

  • Shiguang  Shan, Institute of Computing Technology, Chinese Academy of  Sciences, China

  • Shiqi  Wang, City University of Hong Kong, China

  • Shun  KuremotoUchida  Yoko Co.,LtdJapan

  • Si  Liu, Beihang University, China

  • Simon  Lui, Huawei Technologies Co., Ltd, China

  • Tiange  Zhou, NetEase Cloud Music, China

  • Weibei  Dou, Tsinghua University, China

  • Weiming  Dong, Institute of Automation, Chinese Academy of Sciences, China

  • Wei-Ta  Chu, National Chung Cheng University, Taiwan, China

  • Wei  Li, Fudan University, China

  • Weiwei  Zhang, Dalian Maritime University, China

  • Wei  Zhong, China University of Communication, China

  • Wen-Huang  Cheng, National Chiao Tung University, Taiwan, China

  • Wenli  Zhang, Beijing University of Technology, China

  • Xi  Shao, Nanjing University of Posts and Telecommunications, China

  • Xiaojing  Liang, NetEase Cloud Music, China

  • Xiaopeng  Hong, Harbin Institute of Technology, China

  • Xiaoyan  Sun, University of Science and Technology of China, China

  • Xiaoying  Zhang, China Rehabilitation Research Center, China

  • Xihong  Wu, Peking University, China

  • Xinfeng  Zhang, University of Chinese Academy of Sciences, China

  • Xu  Tan, Microsoft Research Asia, China

  • Yanchao  Bi, Beijing Normal University, China

  • Yi  Qin, Shanghai Conservatory of Music, China

  • Ying-Qing  Xu, Tsinghua University, China

  • Yirui  Wu, Hohai University, China

  • Yuanchun  Xu, Xiaoice, China

  • Zhiyao  Duan, University of Rochester, USA

Organizers



Luntian Mou

Beijing University of Technology, Beijing, China

ltmou@bjut.edu.cn

Dr. Luntian Mou is an Associate Professor with Beijing Institute of Artificial Intelligence (BIAI), School of Information Science and Technology, Beijing University of Technology. He was a Visiting Scholar with the University of California, Irvine, from 2019 to 2020. And he was a Postdoctoral Fellow at Peking University, from 2012 to 2014. He received Ph.D. in computer science from the University of Chinese Academy of Sciences in 2012. His current research interests include artificial intelligence, machine learning, pattern recognition, affective computing, multimedia computing, and brain-like computing. He has published in renowned journals such as TAFFC, TMM, TOMM, and ESWA. He holds 4 granted international patents (USA, Europe Union, Japan, and South Korea), and 3 granted China patents. He serves as a Co-Chair and Chief Editor of System subgroup in AVS workgroup, and the Chair of IEEE 1857.3 and IEEE 1857.7. He is an Expert of MPEG China Delegation. He is the Leading Chair for 3 published international standards (IEEE 1857.3-2023, IEEE 1857.7-2018, IEEE 1857.3-2013) and 3 China national standards (GB/T 33475.1-2019, GB/T 20090.11-2015, GB/T 20090.12-2015). He is the recipient of the Beijing Municipal Science and Technology Advancement Award, IEEE Outstanding Contribution to Standardization Award, and AVS Outstanding Contribution on 15th Anniversary Award. He serves as a Guest Editor for Machine Intelligence Research and a Reviewer for many important international journals and conferences such as TIP, TAFFC, TCSVT, TITS, and AAAI. He is a Senior Member of IEEE and CCF, and a Member of ACM. He is the Chair of the organizing committee of the 2023 CSIG Conference on Emotional Intelligence (CEI). He is the Founding Chair of the IEEE Workshop on Artificial Intelligence for Art Creation (AIART).





Feng Gao

Peking University, Beijing, China

gaof@pku.edu.cn

Dr. Feng Gao is an Assistant Professor with the School of Arts, Peking University. He has long researched in the disciplinary fields of AI and art, especially in AI painting. He co-initiated the international workshop of AIART. Currently, he is also enthusiastic in virtual human. He has demonstrated his AI painting system, called Daozi, in several workshops and drawn much attention.





Kejun Zhang

Zhejiang University, Hangzhou, China

zhangkejun@zju.edu.cn

Computer Science of Zhejiang University. He received his PhD degree from College of Computer Science and Technology, Zhejiang University in 2010. From 2008 to 2009, He was a visiting research scholar of University of Illinois at Urbana-Champaign, USA. In June 2013, he became a faculty of the College of Computer Science and Technology at Zhejiang University. His current research interests include Affective ComputingDesign Science, Artificial Intelligence, Multimedia Computing and the understanding, modelling and innovation design of products and social management by computational means. He is now the PI of National Science Foundation of China, Co-PI of National Key Research and Development Program of China, and PIs of ten more other research programs. He has authored 4 books, more than 40 scientific papers.





Jiaying Liu

Peking University, Beijing, China

liujiaying@pku.edu.cn

Dr. Jiaying Liu is currently an Associate Professor with the Wangxuan Institute of Computer Technology, Peking University. She received the Ph.D. degree (Hons.) in computer science from Peking University, Beijing China, 2010. She has authored over 100 technical articles in refereed journals and proceedings, and holds 43 granted patents. Her current research interests include multimedia signal processing, compression, and computer vision. Dr. Liu is a Senior Member of IEEE, CSIG and CCF. She was a Visiting Scholar with the University of Southern California, Los Angeles, from 2007 to 2008. She was a Visiting Researcher with the Microsoft Research Asia in 2015 supported by the Star Track Young Faculties Award. She has served as a member of Membership Services Committee in IEEE Signal Processing Society, a member of Multimedia Systems & Applications Technical Committee (MSA TC), Visual Signal Processing and Communications Technical Committee (VSPC TC) in IEEE Circuits and Systems Society, a member of the Image, Video, and Multimedia (IVM) Technical Committee in APSIPA. She received the IEEE ICME 2020 Best Paper Awards and IEEE MMSP 2015 Top10% Paper Awards. She has also served as the Associate Editor of IEEE Trans. on Image Processing, and Elsevier JVCI, the Technical Program Chair of IEEE VCIP-2019/ACM ICMR-2021, the Publicity Chair of IEEE ICME-2020/ICIP-2019, and the Area Chair of CVPR-2021/ECCV-2020/ICCV-2019. She was the APSIPA Distinguished Lecturer (2016-2017).





Ling Fan

Tezign.com

Tongji University Design Artificial Intelligence Lab, Shanghai, China

lfan@tongji.edu.cn

Dr. Ling Fan is a Scholar and Entrepreneur to bridge machine intelligence with creativity. He is the founding chair and professor of Tongji University Design Artificial Intelligence Lab. Before, he held teaching position at the University of California at Berkeley and China Central Academy of Fine Arts. Dr. Fan co-founded Tezign.com, a leading technology start-up with the mission to build digital infrastructure for creative contents. Tezign is backed by top VCs like Sequoia Capital and Hearst Ventures. Dr. Fan is a World Economic Forum Young Global Leader, an Aspen Institute China Fellow, and Youth Committee member at the Future Forum. He is also a member of IEEE Global Council for Extended Intelligence. Dr. Fan received his doctoral degree from Harvard University and master's degree from Princeton University. He recently published From Universality of Computation to the Universality of Imagination, a book on how machine intelligence would influence human creativity.





Zeyu Wang

Hong Kong University of Science and Technology (Guangzhou), Guangzhou, China

zeyuwang@ust.hk

Dr. Zeyu Wang is an Assistant Professor of Computational Media and Arts (CMA) in the Information Hub at the Hong Kong University of Science and Technology (Guangzhou) and an Affiliate Assistant Professor in the Department of Computer Science and Engineering at the Hong Kong University of Science and Technology. He received a PhD from the Department of Computer Science at Yale University and a BS from the School of Artificial Intelligence at Peking University. He leads the Creative Intelligence and Synergy (CIS) Lab at HKUST(GZ) to study the intersection of Computer Graphics, Human-Computer Interaction, and Artificial Intelligence, with a focus on algorithms and systems for digital content creation. His current research topics include sketching, VR/AR/XR, and generative techniques, with applications in art, design, perception, and cultural heritage. His work has been recognized by an Adobe Research Fellowship, a Franke Interdisciplinary Research Fellowship, a Best Paper Award, and a Best Demo Honorable Mention Award.





Nick Bryan-Kinns

University of the Arts London, London, UK

n.bryankinns@arts.ac.uk

Dr. Nick Bryan-Kinns is a Professor of Creative Computing at the Creative Computing Institute, University of the Arts London. His research explores new approaches to interactive technologies for the Arts and the Creative Industries through Creative Computing. His current focus is on Human-Centered AI and eXplainable AI for the Arts. His research has made audio engineering more accessible and inclusive, championed the design of sustainable and ethical IoT and wearables, and engaged rural and urban communities with physical computing through craft and cultural heritage. Products of his research have been exhibited internationally including Ars Electronica (Austria) the V&A and the Science Museum (UK), made available online and as smartphone apps, used by artists and musicians in performances and art installations, and have been reported in public media outlets including the BBC and New Scientist. He is a Fellow of the Royal Society of Arts, Fellow of the British Computer Society (BCS), and Senior Member of the Association of Computing Machinery (ACM). He is a recipient of the ACM and BCS Recognition of Service Awards, and chaired the ACM Creativity and Cognition conference 2009, and the BCS international HCI conference 2006.





Ambarish Natu

Australian Government, Australian Capital Territory, Australia

ambarish.natu@gmail.com

Dr. Ambarish Natu is with the Australian Government. After graduating from University of New South Wales, Sydney, Ambarish has held positions as a visiting researcher in Italy and Taiwan, worked for industry in United Kingdom and the United States of America and for the past ten years has been working in the Australian Government. For the past 17 years, Ambarish has led the development of five international standards under the auspices of the International Standards Organization (ISO) popularly known as JPEG (Joint Photographic Experts Group). He is the recipient of the ISO/IEC certificate for contributions to technology standards. Ambarish is highly active in the area of international standardization and voicing Australian concerns in the area of JPEG and MPEG (Motion Pictures Experts Group) standardization. He previously initiated an effort in the area of standardization relating to Privacy and Security in the Multimedia Context both within JPEG and MPEG standard bodies. In 2015, Ambarish was the recipient of the prestigious Neville Thiele Award and the Canberra Professional Engineer of the Year by Engineers Australia. Ambarish currently works as an ICT Specialist for the Australian Government. Ambarish is a Fellow of the Australian Computer Society and Engineers Australia. Ambarish also serves on the IVMSP TC and the Autonomous Systems Initiative of the IEEE Signal Processing Society. Ambarish has also been General Chair of DICTA 2018, ICME 2023 and TENSYMP 2023 in the past. Ambarish has keen interest in next generation data and analytics technologies that will change the course of the way we interact with in the world.

Partners

Machine Intelligence Research

Machine Intelligence Research (original title: International Journal of Automation and Computing), published by Springer, and sponsored by Institute of Automation, Chinese Academy of Sciences, is formally released in 2022. The journal publishes high-quality papers on original theoretical and experimental research, targets special issues on emerging topics and specific subjects, and strives to bridge the gap between theoretical research and practical applications. The journal has been indexed by ESCI, EI, Scopus, CSCD, etc.

  • MIR  official websites:

https://www.springer.com/journal/11633

https://www.mi-research.net

  • MIR  Editor-in-Chief - Tan Tieniu, Institute of Automation, Chinese  Academy of Sciences

  • MIR  Associate Editors-in-Chief

Liang Wang, Chinese Academy of Sciences, China

Yike Guo, Imperial College London, UK

Brian C. Lovell, The University of Queensland, Australia

Sponsorship

Founded in 2024, the Computing Art Laboratory was established by the School of Art at Peking University and iFLYTEK, dedicated to exploring the infinite possibilities of the fusion of technology and art. The research of the Computing Art Laboratory covers a wide range of fields, including AI painting, art installations, digital human theater, VR games, VR short films, and so on. Characterized by the integration and co-construction of art, science and technology, the Computing Art Laboratory carries out in-depth interdisciplinary research and academic exchanges, and cultivates application-oriented talents for the society.

阅读原文

微信扫一扫
关注该公众号