让你的AI绿起来,艾伦研究所提出深度学习效率评估标准Green AI

牛小七 2019/08/15 01:24

作者 | 鱼羊 发自 凹非寺

来源 | 公众号“量子位”(ID:QbitAI)

培养一个靠谱的AI需要消耗大量的算力。

随着摩尔定律的终结,AI的计算成本正在疯长,几乎每隔几个月计算基线就要翻一番。

听起来可能有点吓人,可事实就是,从2012年到2018年,AI算力消耗几乎增长了30万倍。

新知图谱, 让你的AI绿起来,艾伦研究所提出深度学习效率评估标准Green AI

连Facebook的AI负责人杰尔姆·佩森蒂都公开表示了对此事的担忧:

随着算力的提升,在AI研究上我们仍有收获,但同时,压力也变得越来越大。

最新的一项研究甚至发现,单一模型在训练期间产生的二氧化碳排放为180吨,这相当于普通汽车整个服役期排放量的3倍。

新知图谱, 让你的AI绿起来,艾伦研究所提出深度学习效率评估标准Green AI

新知图谱, 让你的AI绿起来,艾伦研究所提出深度学习效率评估标准Green AI

什么概念呢,大概就相当于一个人从纽约坐飞机去旧金山,又从旧金山坐回来,来回来去2000趟吧...

对此,艾伦研究所,卡内基梅隆大学和华盛顿大学的科学家们提出,让你的AI绿一点。

红AI与绿AI与AI

不只是喊喊口号,这一回,科学家们严谨地依靠数据分析,提出了红AI绿AI的概念。

先别着急挠头,科学家们并不是在搞绕口令创新,只是想知道什么是绿AI,应该先了解一下另外一个概念—— 红AI(Red AI)

红AI

ELMo,BERT,openGPT-2,XLNet……

这些模型的名字是不是一个赛一个响亮? 没错,它们都在红AI的名单上。

谷歌的BERT-large需要在一个包含64个TPU的的30亿字数据集上训练四天,才能练成不灭金身。

OpenAI的最强文本生成模型GPT-2-XL用40亿字投喂。

至于那只扬名全世界的阿法狗,每个小时就能花掉1000美刀。

太! 费! 资! 源! 了!

科学家们给它们下了一个定义: 这些使用了大量算力资源来追求“state-of-the-art”的AI其实就是在“买”最佳结果,它们就是 红AI

红AI,是一切只向准确率看齐的AI,它们的研究人员总是忽略成本和效率,只管state-of-the-art,哪管洪水滔天。

新知图谱, 让你的AI绿起来,艾伦研究所提出深度学习效率评估标准Green AI

没有调查就没有发言权,科学家们从几个顶会里抽取了60篇论文,用统计数据说明AI研究人员们就是关注准确率多过效率。

真是个红AI大行其道的时代啊。

不可否认,红AI的工作是有价值的,其中大部分的工作都在帮助人们推动人工智能的界限。

但是,它们确实 不够高效 ,并且它们是 收益递减 的。

新知图谱, 让你的AI绿起来,艾伦研究所提出深度学习效率评估标准Green AI

↓↓↓↓

训练样本指数增加,目标检测准确率却是线性增长的。

新知图谱, 让你的AI绿起来,艾伦研究所提出深度学习效率评估标准Green AI

R-结果; E-样本; D-数据集; H-超参数

总结一下,红AI具有以下几大特征:

  • 训练单个样本花销巨大

  • 需要大量训练样本

  • 需要大量实验

再次强调,推动模型大小,数据集大小和超参数搜索空间的限制边界是 有意义的

但是,一定要提高对红AI成本的认识,优化效率! 优化效率! 优化效率!

而对效率的追求,就是所谓的 绿AI(Green AI)

绿AI

绿AI实际上是一种深度学习效率评估标准。

研究人员提到,高昂的成本不仅对环境产生了压力,也在阻止来自新兴经济体的研究人员进入深度学习领域。

毕竟就算环境允许,也不是谁都能像谷歌那样动辄烧1000多个CPU的。

绿AI的愿景是,在人工智能研究中,在不增加计算成本,甚至是减少成本的情况下,仍然能产生新颖的结果。 不增加碳排放,更关注效率,保护环境,更加包容。

新知图谱, 让你的AI绿起来,艾伦研究所提出深度学习效率评估标准Green AI

那么衡量标准到底是什么呢?

当然也可以用碳排放、用电量、消耗时间、参数数量这些数值来对一只AI进行评价,但这难免受到地域、设备差异的影响。

比如用火电和用水电训出来的AI,那能一样吗?

研究人员提出 FPO(浮点运算) 来作为评价指标。

FPO能够估计计算过程执行的工作量。 通过定义 两个基本操作,可以计算任何机器学习抽象操作的FPO成本,包括矩阵乘法,卷积操作等等。

新知图谱, 让你的AI绿起来,艾伦研究所提出深度学习效率评估标准Green AI

使用FPO的好处在于,第一,它能直接计算机器在执行模型的特定实例时完成的工作量,因此是与能量消耗直接相关的一个参数。

第二,FPO与运行模型的硬件无关,有利于不同方法之间的公平比较。

第三,FPO与模型的运行时间密切相关,还会考虑每个时间步长的工作量。

不过,FPO也不是完美的,它忽略了模型的内存消耗和实现等因素。

研究人员承认,单靠FPO不足以促进真正的绿AI的发展。 他们鼓励AI研究人员们在模型训练期间观察预算/准确度曲线,这样开发人员能做出更明智的决策,突出不同方法的稳定性。

他们还主张将效率列为计算机顶会官方承认的贡献,并且支持开发人员公布预训练模型,以便为其他人节省再训练的费用。

想想有一天绿AI成为主流,那么抱着笔记本电脑的本科生也可以愉快地搞一搞机器学习了。

网友怎么看

这篇论文一公布,立刻有网友表示,这对AI的发展来说非常重要。

文章提到了技术民主化的问题。 当模型需要越来越多的算力,能够达到门槛的人就会越来越少,那么AI技术就会落入少数几个公司手中。

新知图谱, 让你的AI绿起来,艾伦研究所提出深度学习效率评估标准Green AI

还有网友表示:

长远来看,这可能会将更多研究推向更多数据简约深度学习技术。 更合理的方法也许是,改进软件以使大型模型的部署更加简单。

新知图谱, 让你的AI绿起来,艾伦研究所提出深度学习效率评估标准Green AI

但也有人怀疑Green AI并没有什么卵用:

就算你可以在10秒内训练模型,顶级研究团队还是不会放弃超强算力。 也许绿AI是一件好事,但它不会让AI研究更环保,也不会改善包容性。

新知图谱, 让你的AI绿起来,艾伦研究所提出深度学习效率评估标准Green AI

那么,你会让自己的AI绿一点吗?

传送门

论文: https://arxiv.org/abs/1907.10597

新知图谱, 让你的AI绿起来,艾伦研究所提出深度学习效率评估标准Green AI

牛小七
+ 关注

更多新知