微软CTO: Scaling Laws让模子越来越好还莫得碰到角落收益递减

发布日期：2024-07-13 14:24 点击次数：165

北京时辰7月10日，微软首席时刻官凯文·斯科特（Kevin Scott）接管红杉老本结伴东说念主帕特·格雷迪(Pat Grady)以及比尔·科夫兰(Bill Coughran)的访谈，对 Scaling Laws 、盘算市集变化、与 OpenAI 和洽，以及微软AI计策等话题进行了不雅点共享。

咫尺还莫得碰到Scaling的角落收益递减

在谈及大模子行业的 Scaling Laws话题时，Kevin Scott示意，咫尺在范围化上并莫得碰到角落收益递减的情况。

Scaling Laws是大模子领域的一个老师规定，即跟着模子大小、数据量和盘算才略增多，模子性能会握续普及。

不外跟着 OpenAI 的 GPT-5 模子迟迟未能推出，行业内运转出现不同声息，合计Scaling Laws 还是运转碰到天花板，持续扩大范围带来的收益可能在迟缓减少。

不外，从公开的言论来看，多数AI行业内的内行们及企业高管们合计，Scaling Laws咫尺仍然有用。

谈及这个话题，Kevin Scott示意，“尽管其他东说念主可能这么念念，然而咱们在范围化上并莫得碰到角落收益递减的情况。”

他强调，这内部如实存在一个指数级的增长，然而由于建筑超等盘算机、熟练模子需要时辰，只可每隔一段时辰才调采样一次（熟练一次模子）。

他剖判，OpenAI下一代的模子行将到来，会更低廉，才略更强，也能处分更复杂的问题。“这等于每一代模子跟着咱们范围扩大而发生的故事。”

一个多月前在洛杉矶举行的 Berggruen Salon 活动上，Kevin Scott曾示意，下一代东说念主工智能不错见效莽撞博士级锻真金不怕火，推理才略会大大提高，而这将象征着东说念主工智能发展的重大飞跃。

OpenAI首席时刻官Mira Murati日前剖判，公司正在开导的新一代东说念主工智能模子GPT-5，有望在2025年底或2026岁首推出。

英伟达 GPU 性价比很高

跟着东说念主工智能大模子崛起之后，盘算市集也在发生真切变化，好多大模子企业王人在抢购英伟达的GPU芯片，以致于东说念主们王人在开打趣说，通盘的钱王人流向了英伟达。

Kevin Scott 在访谈中示意，英伟达在这方面作念得很好，英伟达GPU的性价比在每一代中的普及速率王人特出了摩尔定律。“英伟达每一代硬件在性价比上王人有普及，时常比用在通用盘算领域的摩尔定律还要大。”

Kevin Scott 说，A100的性价比大致是V100的3到3.5倍，H100诚然莫得那么多，但也接近。从表面上看，下一代（芯片）也很有竞争力。

Kevin Scott 合计，硬件的高出有多种原因，部分是因为制程时刻，部分是因为架构，还有很大一部分是因为大概在盘算中期骗更窄的字长。比如，当今不需要64位算术，而是用精度低得多的算术就不错了。“AI 领域存在大王人不错并行处理的盘算，而且咱们在硬件架构上正越来越擅长索要这种并行性。”

日前，英伟达知道的文献高傲，其客户结构呈现出较高蚁集度，少数几家公司为其孝顺了大部分收入。抑制2024年4月28日的2025财年第一财季，有一家客户孝顺了总收入的13%，另一家孝顺了11%。

据瑞士银行（UBS）分析师Timothy Arcuri分析，微软很可能是英伟达的最大客户，在2024财年占英伟达总收入的19%，况且这一趋势很可能延续于今。