英伟达:CPU 已经落伍,用 GPU 磨炼狂语言模子老本可飞腾 96%
时间:2025-03-17 09:00:31 出处:焦点阅读(143)
IT之家 5 月 29 日新闻 ,英伟已经用G言模凭证英伟达在 2023 年台北电脑展会上的落伍老本演讲,该公司宣称其 GPU 可能大幅飞腾磨炼大型语言模子(LLM)的磨炼老本以及耗能。

英伟达首席实施官黄仁勋在演讲中,狂语可飞向 CPU 行业建议了挑战,英伟已经用G言模他以为天生式家养智能以及减速合计是落伍老本未来合计的倾向。他宣告传统的磨炼摩尔定律已经由时 ,未来的狂语可飞功能提升将主要来自天生式家养智能以及基于减速合计的措施 。
英伟达在展会上揭示了一份 LLM 的英伟已经用G言模总体具备老本(Total Cost of Ownership,TCO)合成:首先,落伍老本他们合计了磨炼一个 LLM 所需的磨炼 960 个 CPU 组成的效率器集群的残缺老本(搜罗收集 、机箱、狂语可飞互连等所有配置装备部署),英伟已经用G言模发现这需要破费约 1000 万美元(IT之家备注 :之后约 7070 万元国夷易近币),落伍老本并破费 11 千兆瓦时的磨炼电力。



比照之下,假如坚持老本巩固 ,置办一个价钱 1000 万美元的 GPU 集群,可能在同样的老本以及更少的电力破费(3.2 千兆瓦时)下磨炼 44 个 LLM 。假如转而坚持电力破费巩固,那末可能经由 GPU 集群实现 150 倍的减速,以 11 千兆瓦时的电力破费磨炼 150 个 LLM,但这需要破费 3400 万美元,此外这个集群的占地面积比 CPU 集群小良多。最后,假如只想磨炼一个 LLM,那末惟独要一个价钱 40 万美元、破费 0.13 千兆瓦时电力的 GPU 效率器就能了。
英伟达所要表白的意思是 ,比照 CPU 效率器,客户可能以 4% 的老本以及 1.2% 的电力破费来磨炼一个 LLM,这是一个重大的老本节约。
猜你喜欢
- 市售三款公牛65W快充充电器拆解汇总,该如何选择?
- 骑士詹姆斯最疯狂的球迷,他是唯一一个冲进球场喊詹姆斯回家的人榜一大哥刷20万获得女主播青睐,潇洒3夜被拉黑,怒晒其床照
- 中超“结束”了!上港揭晓赛季最大悬念,或已提前着眼亚冠晋级赛女运动员“难以启齿”的心酸:比赛前要“刮毛”,赛后忍痛扯泳衣
- 热火筹码曝光,开拓者贪心不足!利拉德有苦难言,三方交易恐破产罗布泊遇难女身份被扒,985毕业与车主关系密切,花1W旅游晒成干
- 原创 中超第2vs日本第2!2-6仍可亚冠出线,对手5主力缺阵,泰山拒爆冷
- 火箭喜讯连连,又有5名新援加盟!休城豪阵满员,杰伦格林新目标官宣!30亿交易达成,湖人双喜临门,哈登利拉德方案,火箭新交易
- 德甲联赛新闻_德甲视频直播_德甲积分榜_英超
- 猛龙平替卫士?哈弗留给路虎的时间不多了娱乐圈的“假戏真做”,祸害了多少女明星?
- 威海481家企业加速向海“掘金”湖北妈妈肾衰竭,移植7岁儿子的肾,得救后:我的孩子,你安心走