英伟达:CPU 已经落伍,用 GPU 磨炼狂语言模子老本可飞腾 96%
时间:2025-03-17 10:44:53 出处:焦点阅读(143)
IT之家 5 月 29 日新闻,英伟已经用G言模凭证英伟达在 2023 年台北电脑展会上的落伍老本演讲 ,该公司宣称其 GPU 可能大幅飞腾磨炼大型语言模子(LLM)的磨炼老本以及耗能 。

英伟达首席实施官黄仁勋在演讲中,狂语可飞向 CPU 行业建议了挑战,英伟已经用G言模他以为天生式家养智能以及减速合计是落伍老本未来合计的倾向。他宣告传统的磨炼摩尔定律已经由时,未来的狂语可飞功能提升将主要来自天生式家养智能以及基于减速合计的措施 。
英伟达在展会上揭示了一份 LLM 的英伟已经用G言模总体具备老本(Total Cost of Ownership ,TCO)合成:首先,落伍老本他们合计了磨炼一个 LLM 所需的磨炼 960 个 CPU 组成的效率器集群的残缺老本(搜罗收集、机箱、狂语可飞互连等所有配置装备部署) ,英伟已经用G言模发现这需要破费约 1000 万美元(IT之家备注:之后约 7070 万元国夷易近币),落伍老本并破费 11 千兆瓦时的磨炼电力 。



比照之下 ,假如坚持老本巩固,置办一个价钱 1000 万美元的 GPU 集群,可能在同样的老本以及更少的电力破费(3.2 千兆瓦时)下磨炼 44 个 LLM。假如转而坚持电力破费巩固,那末可能经由 GPU 集群实现 150 倍的减速,以 11 千兆瓦时的电力破费磨炼 150 个 LLM,但这需要破费 3400 万美元,此外这个集群的占地面积比 CPU 集群小良多。最后,假如只想磨炼一个 LLM,那末惟独要一个价钱 40 万美元、破费 0.13 千兆瓦时电力的 GPU 效率器就能了 。
英伟达所要表白的意思是,比照 CPU 效率器,客户可能以 4% 的老本以及 1.2% 的电力破费来磨炼一个 LLM ,这是一个重大的老本节约。
猜你喜欢
- 三连胜!卡子哥爆砍41+5+5,祖巴茨18+12,快船客场击败爵士啦个球2023-12-09 13:58江苏啦个球2023-12-09 13:58江苏
- 劳塔罗扳平,国际米兰和尤文图斯各取1分
- 原创 火箭弃他,快船弃他!34岁神枪连场20+真香,变杜兰特绝配冲冠
- 6人得分上双,狂造15分逆转!爵士终结4连败,英格拉姆空砍26+6+8《家有儿女》中明目张胆的穿帮镜头,导演是把观众当傻子吗?
- 4-2笑傲加泰德比!西甲超级黑马继续狂飙!41分登顶冲击联赛冠军78年他从副总理被贬为工人,安慰妻子:我不自尽,不要听别人议论
- 皇家马德里:全球关注的新篇章
- 季孟年:乐成是所有下场的良药 雄鹿的化学反映不断降级
- 德甲综合 | “狼堡”大胜弗赖堡 法兰克福升至第二世界上最残忍的子弹:击中后会在痛苦中死去 已被禁止战争中使用
- 浙江VS墨尔本城首发浮现:李提香张佳祺坐镇 弗兰克领衔 穆神冲锋《家有儿女》中明目张胆的穿帮镜头,导演是把观众当傻子吗?