​大模型的尽头是电力？

大模型的尽头是电力？

图片来源 @视觉中国

文｜乌鸦智能说

在这场以大模型为名的千亿美金级豪赌实验，从来不缺少故事。从 ChatGPT 引爆那一刻起，AI 行业的竞争从来不仅是技术的竞争，也是一场资源的竞争。到了今年，这场竞争从算力延伸到了电力。

在今年短短不到三个月的时间，黄仁勋、奥特曼和马斯克分别在不同场景的演讲里都表达了同一个观点：AI 的未来很缺电。

据《纽约客》当时时间 9 日报道，荷兰国家银行数据专家 Alex de Vries 估计，OpenAI 旗下聊天机器人 ChatGPT 每天消耗超过 50 万千瓦时的电力，用于处理约 2 亿个用户请求，相当于美国家庭每天用电量的 1.7 万多倍。

更重要的是，在互联网时代迈向 AI 时代的过程中，数据中心的耗电增长曲线将从线性增长变成几何式上升。假设生成式 AI 被集成到谷歌的每一个搜索中，届时意味着谷歌每年将会有 29.2 太瓦时的电力消耗（292 亿度电），相当于 2021 年美国全社会总用电量的 0.77%。

考虑到搜索只是一个 AI 应用场景，后续随着应用场景的增加，人工智能行业的耗电量将出现巨大增长。‍‍

从缺硅到缺电

今年以来，在 AI 大佬的讲话里，都有一个共同的主题：缺电。不久前，在一场公开演讲里，英伟达创始人黄仁勋表示，"AI 的尽头是光伏和储能，不要光想着算力，如果只想着计算机，需要烧掉 14 个地球的能源 "。

OpenAI 的创始人山姆 · 奥特曼也提出了类似的看法。奥特曼公开承认，人工智能行业正在走向能源危机。在瑞士达沃斯举行的世界经济论坛年会上，奥特曼警告说，下一波生成型人工智能系统消耗的电力将远远超出预期，能源系统将难以应对，未来 AI 的技术取决于能源，我们需要更多的光伏和储能。

作为科技圈的大佬，马斯克也成为了能源焦虑的吹风人。不久前，马斯克在博世互联世界 2024 大会上预言，" 接下来陷入短缺的将是电力，到明年（2025 年），我们就没有足够的电力来运行所有的芯片了。"

这并非马斯克第一次预测人工智能算力会面临变压器和电力供应的短缺，2023 年至今，马斯克和其 xAI 团队已至少三次提及过这一问题。去年 8 月，马斯克就警告说，电力短缺造成的严重后果，可能会阻碍人工智能等能源密集型技术的发展。

有趣的是，上周腾讯科技发布的《朱啸虎讲了一个中国现实主义 AIGC 故事》里，当谈及未来 5 到 10 年能不能产生 AGI，朱啸虎同样表达了对算力、能耗等资源的担忧：

" 从哲学角度看，智力级别的提升首先需要能量级别的提升。可控核聚变实现前，我不太相信地球有足够的算力能够实现真正的 AGI。帮人类降低 90% 的工作可能未来 3 到 5 年可以实现，但最后的 10% 可能需要天量的算力和能耗，这也是为什么 Sam Altman 想融天量的资金！行百里者半九十。"

所有大佬都认为 AI 的未来很缺电。那么，大模型的耗电量究竟有多疯狂？

单月耗电量大比拼，ChatGPT 等于 23.7 万中国人

在 AI 行业的成本结构里，电力成本是除了芯片成本外最核心的成本。一般来说，生成式 AI 的电力消耗主要来自两方面：训练构成 AI 系统核心的大型语言模型时所需的电力，以及大型语言模型执行逻辑推论（Inference）运算时的能耗。

由人工智能初创公司 Hugging Face 搭建的 BLOOM 模型 ，有 1760 亿参数，光是前期训练它，就得花掉 43.3 万度电。2022 年，我国居民年人均用电量是 948 度电，BLOOM 训练阶段用的电就相当于 456 个人一年的用电量。GPT-3 的耗电量更夸张，训练一次需要 128.7 度电，相当于 3000 辆特斯拉同时跑 32 公里。

这还只是训练阶段的用电量，越往后走推理才是用电量的大头。据 IDC 预测，2023 年 AI 服务器训练需求占比达 41.5%，随着大模型的应用，该比例在 2025 年将降低至 39.2%。

对于大模型在训练阶段的用电量，晚点做过一个测算：

按 ChatGPT 日咨询量 2.7 亿次、月咨询量接近 80 亿次计算，已知 1 张 A100 GPU 推理 1 个单词大约需要 0.35 秒。假设每个提问长度约 30 个字 / 单词，则 ChatGPT 每天需要处理 80 亿字咨询量，用一张 A100 GPU 来跑需要约 78 万小时，对应每天需要约 3.24 万张 A100 GPU。

前述 3.24 万张 A100 GPU 大约等同于 4000 台英伟达 DGX A100 服务器（搭载 8 张 A100 GPU），后者最大功率为 6.5 kW，单月耗电量约为 1872 万 kWh。

每处理一次用户请求的耗电量，相当于 60 瓦的灯泡亮 140 秒。这样一来，项目光是电费就得交近 200 万美元。2022 年中国居民人均生活用电约 79kWh/ 月，ChatGPT 单月耗电量差不多跟 23.7 万中国人相当。

如果生成式 AI 被进一步采用，耗电量可能会更多。在互联网时代，仅仅用于数据存储的数据中心每年耗电增速和耗电占比数据基本维持线性增长。据统计，2022 年全国数据中心总耗电量约 2700 亿千瓦时，占全社会用电量的 3.1%，超过两座三峡水电站年发电量。

但到了 AI 时代，能耗变成了几何式上升的趋势。举个例子，假设生成式 AI 被集成到谷歌的每一个搜索中，届时谷歌就会大幅增加对电力的需求。

据 SemiAnalysis 估算，在每次谷歌搜索中实施类似 ChatGPT 的人工智能将需要 51.28 万个英伟达 A100 HGX 服务器，总计 410.26 万个 GPU，如果每台服务器的电力需求为 6.5 千瓦，意味着每年 29.2 太瓦时的电力消耗（292 亿度电），相当于 2021 年美国全社会总用电量的 0.77%。

考虑到搜索只是一个 AI 应用场景，后续随着 AI 应用的增加，人工智能行业的耗电量将出现巨大增长。 荷兰国家银行数据科学家亚历克斯 · 德弗里斯在一篇论文中估计，到 2027 年，整个人工智能行业每年将消耗 85 至 134 太瓦时 ( 1 太瓦时 =10 亿千瓦时 ) 的电力。

为什么大佬押注核聚变？

怎么解决 AI 面临的能源危机？大佬们很快找到了一个答案——核聚变。

据国际原子能机构给出的定义，核聚变是模仿太阳的原理，使两个较轻的原子核结合成一个较重的原子核，结合期间释放出大量能量。与化石能源相比，聚变反应不排放二氧化碳；并且与当前通常意义上的核能——核裂变能相比，它既不会产生核废料，辐射也极少。

近年来，核聚变研究取得了不少积极进展。去年 2 月，设在英国牛津的欧共体联合聚变中心（JET）实验室科学家在实验中产生了平均 11 兆瓦的功率输出，足够供应 1 万个家庭使用。

由于核聚变存在巨大的想象空间，引得不少大佬下注。作为 AGI 的坚定信徒之一，奥特曼目前总共投了两家能源公司—— Helion、Oklo。

其中，2021 年奥特曼以个人名义豪掷 3.75 亿美元，领投了核聚变公司 Helion 价值 5 亿美元的 E 轮融资，并称这是自己有史以来 " 最大的赌注 "。除了阿尔特曼，Helion 还获得了 " 硅谷创投教父 " 彼得 · 蒂尔、Facebook 联合创始人达斯汀 · 莫斯科维茨、领英创始人里德 · 霍夫曼、eBay 第一任总裁杰夫 · 斯科尔等人的 6 亿美元投资。

公开资料显示，Helion Energy 是一家核聚变初创公司。他们正在开发一种磁惯性聚变技术，通过非中子聚变产生氦 3 和聚变能，从而可以使用仅从水中提取的燃料产生低成本的清洁电能。

2023 年 5 月，微软宣布和 Helion Energy 签署了购电协议，将于 2028 年向 Helion 购买其核聚变发电厂的 50 兆瓦电力。在这份购电协议中 Helion 表示， 2028 年前上线的核聚变装置，在一年内会把发电功率提升到 50 兆瓦以上，能够撑起 40000 户家庭的供电。Helion 首席执行官大卫 · 柯特利说，公司的目标是有一天将成本降低到每千瓦时 1 美分，即 1 度电 0.07 元人民币。

除了奥特曼外，贝索斯则向加拿大的核聚变能源初创公司 General Fusion 进行了投资。据了解，General Fusion 通过使用两种混合聚变技术（磁性和惯性约束），在磁场中约束氢同位素等离子，然后利用高压，使之产生高温及高的密度。

有趣的是，在核聚变这条赛道，并没有看到马斯克的身影。原因是，马斯克认为，最好的能源问题终极方案，是利用太阳能（风能本质也是太阳能的一种），而不是不计成本去搞人造太阳。

从大模型开闭源到未来能源的方向，马斯克又一次做出了与奥特曼不同的选择，竞争还在继续。