打造中国最大的
AI信息汇总平台


每日AI前沿术语:绿色AI(Green AI)

每日AI前沿术语:绿色AI(Green AI)插图

随着深度学习,特别是超大规模预训练模型技术的发展,模型训练和推理所消耗的能源日益增长,这带来了更多的碳排放问题,对于全球气候可能造成不良影响。为了解决这一问题,研究者们开始探索研发更为绿色的AI算法及其相关技术。

知识点

1.绿色AI指的是在不增加,甚至降低计算成本的前提下,研发性能更为强大的AI模型的技术手段。

2.实现GreenAI主要有两个方面的手段,一是设定评价模型能效的方法;二是在模型架构、训练、推理、数据利用等方面进行研究。

定义

绿色AI指的是在不增加,甚至降低计算成本的前提下,研发性能更为强大的AI模型的技术手段。[1] 绿色AI的概念最早由艾伦人工智能研究院等机构的研究者在2020年提出。

提出绿色AI概念的目的在于呼吁AI研究者重视人工智能带来的环境和可持续发展问题。据[2]统计,2018-2019年的国际顶会中,很多研究者关注AI的准确率而非效率。

每日AI前沿术语:绿色AI(Green AI)插图1

图注:顶会中研究者关注准确率、效率和二者兼有的比例 [2]

相对于绿色AI概念的是红色AI,指的是不计算力代价提升模型性能的技术和模型。[1] 与红色AI不同,绿色AI鼓励研究者尽可能减少模型训练和推理所消耗的算力资源。

实现绿色AI的方法

1.确定评价方法

2020年的绿色AI论文中,研究者认为实现绿色AI的首要工作是确定评价AI能耗的方法。[2] 在评价模型的效率的指标方面,包括:

(1)碳排放量

(2)电力消耗

(3)实时收敛时间

(4)参数规模

(5)浮点运算量(即达到预期效果所消耗的算力)

ueq01.gif

图注:计算红色AI的公式[3]

此外,有开源社区开发者提出了绿色AI标准,推动研究者上传评测结果,推动建立统一的能效评价体系。[4]

每日AI前沿术语:绿色AI(Green AI)插图3

2.研发绿色AI所需的技术

在[1]中,研究者认为应当在模型架构、训练方法、推理方法和数据使用等方面进行改进。主要包括:

(1)紧凑的模型架构:在更小规模的模型上实现更高性能;

每日AI前沿术语:绿色AI(Green AI)插图4

(2)高效的训练策略:在初始化、正则化、渐进式训练、高效自动机器学习(AutoML)等方面进行技术改进;

每日AI前沿术语:绿色AI(Green AI)插图5

(3)高效推理策略:包括模型剪枝、蒸馏、低阶因式分解、数量化等;

每日AI前沿术语:绿色AI(Green AI)插图6

(4)高效数据利用:包括主动学习和小样本学习等。

每日AI前沿术语:绿色AI(Green AI)插图7

参考链接

[1] Xu, Jingjing, et al. “A Survey on Green Deep Learning.” arXiv preprint arXiv:2111.05193 (2021).

[2] Schwartz, Roy, et al. “Green ai.” Communications of the ACM 63.12 (2020): 54-63.

[3] Green AI:https://cacm.acm.org/magazines/2020/12/248800-green-ai/fulltext

[4] Green Artificial Intelligence Standard:https://github.com/daviddao/green-ai

欢迎免费使用GPT对话,感受ChatGPT的魅力!AI爱好者 – 最具实力的中文AI交流社区平台 (aiahz.com)

长按扫描二维码进群领资源

每日AI前沿术语:绿色AI(Green AI)插图8
赞(0) 打赏
未经允许不得转载:AI爱好者 » 每日AI前沿术语:绿色AI(Green AI)

评论 抢沙发

欢迎来到AI爱好者

我们旨在打造一个最具实力的中文AI交流社区平台,致力于为所有AI爱好者,创业者和使用者提供优质服务. 我们的宗旨是为广大用户提供免费解决方案,您可以通过问答形式提出与AI相关的任何问题.

AI社区AI工具

安全服务战略合作伙伴:麒麟盾 SCDN

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续提供更多优质内容,让我们一起创建更加美好的网络世界!

微信扫一扫打赏

登录

找回密码

注册