CCF《AI模型训练碳排放评估方法》团体标准草案

标准主要技术内容:规定AI模型训练碳排放评估的目标、评估范围、功能单位、系统边界、数据收集与处理、碳排放评估方法、报告等内容。

牵头单位:浪潮电子信息产业股份有限公司

标准价值:随着人工智能的兴起和深度学习技术的突破,超大规模神经网络模型在一系列领域中取得了成功。例如, BERT(具有340 Million参数)、GPT-3(具有175 Billion参数)等超大规模语言模型在多项自然语言处理任务中取得了重大突破,在计算机视觉领域Transformer Vision(具有632 Million参数)及其变种模型已经得到广泛应用。然而,随着模型复杂度增加、模型参数成倍增加,训练模型和使用模型带来的能源消耗和二氧化碳排放当量已经成为不可忽视的因素。比如训练模型 GPT-3(175B 参数)的电能消耗可达1287兆瓦小时,相当于产生552吨二氧化碳 。根据Facebook报告 ,模型使用(inference)带来的能耗和二氧化碳排放是模型训练的2倍以上。因此,在上述背景下,大模型与能源消耗、二氧化碳排放带来新的问题亟待解决---如何快速、有效的评估神经网络模型的能耗开销问题。当前,国内外高校、企业、政府等组织机构已经展开对这一问题的研究,但还处于起步阶段。国外斯坦福大学、哥本哈根大学等知名研究高校指出研究AI模型碳排放问题的重要意义;谷歌、Facebook等企业近期发布了若干技术报告,研究测量AI模型训练产生碳排放量测量方法,并指出不同的测量方法结果差异很大。近期,我国政府发布了一系列碳排放核算标准,如《电子信息产品碳足迹核算指南》、《数据中心温室气体排放核算指南》(2021 年版)。然而,目前标准主要关注具体设备实体的核算问题,仍然缺少针对软件AI模型的测量与核算指南,及有效的碳排放评估系统。因此设计了一项新的碳排放评估核算标准规划,以提出针对软件AI模型的测量与核算指南。