马斯克称Grok 3约需要10万张英伟达H100训练 目前最大的问题就是卡不够
2024-4-10 14:5:31 Author: www.landiannews.com(查看原文) 阅读量:4 收藏

埃隆马斯克日前在 X/Twitter 上表示,通用人工智能 (AGI) 最快将在明年或 2026 年超过人类智力,不过这需要大量的处理器进行训练,同时也这也需要耗费大量的电力。

xAI 目前正在加紧训练 Grok 2,此版本预计会在 5 月完成训练,Grok 2 训练过程中使用了 20,000 张英伟达 H100 加速卡,埃隆马斯克称未来的迭代需要更多资源,Grok 3 的训练大约需要 10 万张 H100 加速卡。

马斯克称Grok 3约需要10万张英伟达H100训练 目前最大的问题就是卡不够

马斯克表示人工智能技术的进步目前主要受两个因素制约:第一个是先进处理器,例如想要获得 10 万张 H100 加速卡并不容易,这不仅需要耗费大量的资金,也因为英伟达产能问题需排队;第二就是电力供应的限制。

H100 加速卡的最大功耗约为 700W,10 万张 H100 加速卡同时运作则会产生 7,000 万 W 也就是 70MW,70MW 的功率对于一个企业来说已经是个相当高的用电功率,但不要忘记这些加速卡还需要大量的工业制冷设备进行散热。

因此运营一个包含 10 万张 H100 加速卡的数据中心的功率是个天文数字,这对人工智能公司来说用电成本可能都需要花费大量的资金。

不过电力问题总得来说还是可以解决的,但芯片供应在未来两年能不能赶上来还是个大问题,尤其是现在初创人工智能公司非常多,每个公司都需要大量的加速卡,所以 xAI 想要购买更多的显卡可能也需要更长时间。

版权声明:感谢您的阅读,除非文中已注明来源网站名称或链接,否则均为蓝点网原创内容。转载时请务必注明:来源于蓝点网、标注作者及本文完整链接,谢谢理解。


文章来源: https://www.landiannews.com/archives/103294.html
如有侵权请联系:admin#unsafe.sh