新浪博客

转载：万字长文详解英伟达遥遥领先的底层逻辑：AI快节奏创新的最大赢家！

2024-03-04 14:35阅读：

http://blog.sina.cn/dpool/blog/u/1249424622

内容导读：本文是美国的TECH FUND对“为什么英伟达在芯片大战中仍将保持优势”的深度分析，内容十分详实精彩，智能小巨人科技进行了编译，Enjoy~
内容目录：
当前的AI训练热潮和即将到来的推理市场
我们处于AI加速的大规模资本支出热潮中
半导体和AI训练的周期性
推理是比AI训练更大的市场，Nvidia业务潜力巨大
看多or看空Nvidia取决于推理市场的发展
Nvidia保持领先的战略
数据中心GPU发布节奏提速
Nvidia对芯片驱动软件的快速更新
Nvidia构建了从硬件到软件的完整堆栈
Nvidia HGX平台的开箱即用集成解决方案
Nvidia在即将到来的推理市场中的优势
Copilots将驱动庞大的推理需求
Nvidia AI foundry定制模型的价值
Nvidia在推理市场将占据大量份额
AMD和英特尔仍然远远落后
科技巨头的定制芯片将成为更有实力的竞争对手
AI快节奏创新的最大赢家——Nvidia
本文由智能小巨人科技编译，转载请按以下格式注明来源：
来源 | 王铮Silvia（ID：silviawz2023）
转载：万字长文详解英伟达遥遥领先的底层逻辑：AI快节奏创新的最大赢家！

当前的AI训练热潮和即将到来的推理市场
我们处于AI加速的大规模资本支出热潮中
我们目前正处于人工智能加速的大规模资本支出热潮之中。
构建最佳 LLM 的竞争驱动力（数据大小、数据质量、模型大小和计算能力的函数）导致了对更大 GPU 计算集群的需求。
例如，从参数数量来衡量模型大小来看，即使在对数尺度上，每个领先模型的LLM参数数量目前也呈指数级增长（下图来自Nature）。
GPT4 估计在 1.8 万亿个参数上运行，在 25,000 台 Nvidia A100 上的训练时间超过三个月。
训练1万到2.5万个GPU的集群已经变得很普遍。例如，我们知道特斯拉正在大约1到1.4万个GPU的集群上训练他们的FSD系统，埃隆·马斯克 (Elon Musk) 为他最近的AI初创公司购买了类似数量的产品，该公司现已发布了Grok的第一个beta版本。 转载：万字长文详解英伟达遥遥领先的底层逻辑：AI快节奏创新的最大赢家！
半导体和AI训练的周期性


一个关键问题是，这一资本支出阶段将持续多久，基础设施投资是众所周知的周期性投资，半导体也不例外。
从Nvidia最近的历史来看，收入通常会在六到八个季度内扩张，然后是周期性修正，需要一到两个季度才能找到底部。正如您在绿线上看到的那样，在这些低迷的季度中，收入往往会环比下降 20% 到 30%。
在这种历史背景下，华尔街模型的收入将继续再增长五个季度。
转载：万字长文详解英伟达遥遥领先的底层逻辑：AI快节奏创新的最大赢家！
Nvidia Revenues


在Nvidia的上一季度，来自大型云和互联网巨头的需求最为突出。本季度，虽然这一领域的需求持续增长，但我们也开始看到来自企业和政府市场的收入来源更加多样化。
Nvidia的CFO解释道:
“消费互联网公司和企业在第三季度推动了非凡的环比增长，约占我们数据中心收入的一半，并超过了总增长。像 Meta 这样的公司正在全面开发深度学习推荐系统，并且还在投资生成式 AI，以帮助广告商优化图像和文本。企业采用人工智能的浪潮现在开始了。企业软件公司，如Adobe，Databricks，Snowflake和ServiceNow正在将AI copilots添加到他们的平台。更广泛的企业正在为特斯拉和自动驾驶等垂直行业应用开发定制AI。云云服务提供商在本季度推动了我们数据中心收入的大约一半。所有超大规模CSP以及一系列GPU专用CSP的需求都很强劲。Nvidia H100 GPU实例现在几乎可以在每个云中使用。为了满足强劲的需求，我们今年每个季度都大幅增加了供应，并预计明年将继续这样做。”
最后一句话至关重要，因为该公司正在指引明年继续增加供应。
后来，Jensen Huang在电话会议上证实了这一点，UBS分析师问道:
“您认为数据中心甚至可以增长到2025年吗？”
Jensen回答:
“当然，我们相信数据中心可以增长到2025。”
Nvidia的CFO在这里补充了一些细节:“我们在每个季度都做得非常扎实，这决定了我们的收入。我们仍在努力改善供应，并计划在明年全年继续增长。”
我对此的理解是明年每个季度的环比增长都将继续，显然这是一个非常看涨的指引。
现在，请记住，即使是Nvidia，也很难看到从现在起9到12个月后的需求会是什么样子，semi公司通常会给出看涨的前景，直到有一天早上你醒来，他们突然指引下个季度下降 30%。当我们谈到估值时，我们将讨论其中有多少已经被包含在股价里了。
关键问题仍然是当前加速计算的建设将持续多长时间。
我之前估计，AI训练的资本支出计划可能如下所示——第一年的初始支出很大，第二年和第三年有一些替换和有限的扩展，如果项目成功，第四年还有一大笔支出来更新和扩展基础设施。这显然会给英伟达带来非常周期性的收入。
转载：万字长文详解英伟达遥遥领先的底层逻辑：AI快节奏创新的最大赢家！
推理是比AI训练更大的市场
Nvidia业务潜力巨大
然而，据估计，推理是两者中最大的市场，在这里，GPU将更多地根据需求安装，从而提供更多的非周期性收入，这些收入的增长应该与AI软件产生的收入更加一致。
将当前的Nvidia出货量与已安装的全球计算能力进行比较，可能会给我们一个暗示，即Nvidia的收入将从现在开始持续增长多长时间。
虽然在现阶段加速计算的渗透率似乎不太可能达到100%，但也许大约15%的已安装计算能力将变得加速是有道理的。显然，这个数字有很大的上升空间，因为LLM在提高生产力方面具有巨大的潜力。
Nvidia的数据中心业务目前以每年680亿美元的速度产生收入，Jensen经常引用的数字是全球数据中心装机容量为1万亿美元。
现在，这在某种程度上比较了苹果vs橙子，但无论如何，在此基础上的渗透率约为 6.8%。目前，与已安装的计算能力相比，目前Nvidia的出货量仍然有限。
另一种方法是将Nvidia交付的数据中心GPU的数量与已安装的服务器的数量进行比较，这是已安装的全球计算能力的代理，大约有1.04亿台服务器 (在Nvidia的资本市场日期间，他们提到目前在公共云中运行的2600万台服务器，假设云渗透率为 25%，我们可以得到估计的服务器总数)。由于Nvidia目前应该以每年约280万台的速度交付数据中心GPU (随着 H100 和 H200 组合的增加而减少)，这将使加速计算的渗透率达到 2.7% 左右:
转载：万字长文详解英伟达遥遥领先的底层逻辑：AI快节奏创新的最大赢家！
现在，这两种方法都不精确，但它们给出了一个想法，即与现有的计算能力相比，Nvidia目前的销售额仍然有限。
因此，如果LLM成为日常工作负载的重要组成部分，例如随着copilots，数字助理，skynet和生成式AI的兴起，这使得Nvidia的收入有可能在未来几年增长，因为推理需求继续增长。
看多or看空Nvidia取决于推理市场的发展
因此，简而言之，牛市的理由是，尽管随着AI训练GPU的资本支出激增，收入增长已经非常惊人，随着推理市场的发展，我们将在未来几年继续看到增长。
另一方面，熊市的理由是，对推理的需求令人失望，我们在4到6个季度左右的时间内得到了通常的周期性修正。
当我们谈到估值时，我们将把这些情景绘制出来，看看这对股价中的风险回报图景意味着什么。
Nvidia保持领先的战略
为了在竞争中保持领先地位，Nvidia将在硬件和软件方面进行创新。
数据中心GPU发布节奏提速
首先，该公司正在以一年的节奏发布新的数据中心GPU。
在下面的时间轴上，您可以看到A100和H100发布之间存在两年的差距。然而，现在该公司每年都会发布一个新的旗舰架构，B100在 '24和X100在 '25。
在这两者之间，我们还获得了具有更高带宽内存的H100、H200的升级。
这种节奏加速的一个关键原因是人工智能方法仍在快速发展，这不仅使该公司能够使其芯片更强大，而且还可以使它们适应新型工作负载。 转载：万字长文详解英伟达遥遥领先的底层逻辑：AI快节奏创新的最大赢家！
Nvidia还将在同一块板上发布GH200，GPU和强大的基于ARM的CPU。
H200和GH200都使用先进的CoWoS封装，将芯片并排互连到一个功能模块中。由于这是一个供应受限的过程，这是Nvidia今年无法满足GPU需求的主要原因。
该公司还将发布不需要CoWoS的功能较弱的GPU，即L40S。这个GPU足够强大，可以进行AI模型的微调和推理。所以应该有充足的需求。
Jensen在第二季度电话会议上解释了GH200:
“Grace Hopper现在正在大批量生产。随着我们在高性能计算和人工智能基础设施方面取得的所有设计胜利，我们的第一个数据中心CPU正以非常快的速度发展到数十亿美元的产品线。Grace Hopper具有非常快的内存以及非常大的内存。在矢量数据库或语义搜索领域，即所谓的检索增强生成 (RAG)，您可以让生成式 AI 模型能够在生成响应之前引用专有数据，并且该数据非常大，并且上下文长度非常高。这样，生成模型一方面仍然能够自然地与您交互，另一方面，能够引用专有数据或特定领域的数据并减少幻觉。”
GH200由一个基于ARM的72核Nvidia CPU (名为Grace) 和一个Nvidia H100 GPU (Hopper) 组成。总内存很大，根据版本的不同，RAM为480GB，另外还有96GB或141GB的HBM，总共可快速访问的内存约为600GB。通信通过NVLink进行，带宽为每秒900GB。
Nvidia对芯片驱动软件的快速更新
GPU节奏增加的另一个主要原因是Nvidia将能够更好地更新其驱动这些强大芯片的软件。
软件更新可以带来强大的性能提升，甚至提升20%或更多。
CUDA之父和Nvidia现任加速计算负责人Ian Buck在BoA会议上对此进行了深入研究:
“路线图的另一部分是软件。查看基准测试结果、查看条形图并假设它是硬件的速度很容易。但经常被低估的是Nvidia在软件堆栈中的投资。对于推理，你可以找到比训练中更多的优化，因为你正在走出最后一英里。以Hopper为例，我们刚刚发布了一款名为TensorRT-LLM的新软件。TensorRT是我们用于推理的优化编译器。我们在该软件中进行的优化使Hopper的推理性能提高了一倍。这是通过一系列优化实现的，对于tensor核心，它使用8位浮点，它改进了GPU资源的调度和管理。”
Jensen Huang在Q3电话会议期间继续讨论这个话题:
“我们可以创建TensorRT-LLM，因为CUDA是可编程的。如果CUDA和我们的GPU不那么可编程，我们真的很难按照我们的速度改进软件堆栈。同一GPU上的TensorRT-LLM将性能提高了两倍，然后，H200将其提高了2倍。因此，我们的推理性能在大约一年的时间内提高了4倍。所以很难跟上。大多数情况下，软件受益于架构。因此，出于这个原因，我们希望加快我们的路线图。”
我们之前已经讨论过人工智能的软件前景，以及Nvidia与其他公司相比如何领先十多年。这要归功于他们的CUDA计算平台以及随后集成到流行的基于Python/c ++ 的训练库 (如Tensorflow和Pytorch) 中。
竞争对手正在缓慢但稳步地赶上这一点。例如，AMD的竞争对手ROCm平台现在在Linux上享受Pytorch的本机支持，尚未在Mac或Windows上获得支持。
然而，Nvidia CUDA现在也得到了Python的pandas的支持，这是用于数据预处理的关键软件库，以及Apache Spark，这是数据流的主要库。
Jensen在Q3电话会议上谈到了这一点:
“在训练模型之前，你必须整理数据，也许你必须用合成数据来扩充数据，清理数据并对数据进行规范化。所有这些数据都以TB和PB为单位。在数据工程之前，你所做的数据处理量相当大，它可能占你最终所做工作量的30%到50%。我们加速Spark。我们加速Python。我们刚刚做的最酷的事情之一叫做cuDF pandas，没有一行代码，pandas现在被Nvidia CUDA加速了，开箱即用。”
Nvidia构建了从硬件到软件的完整堆栈
Nvidia的最后一个优势是能够将所有这些硬件和软件集成到一个完整的堆栈中，从而可以轻松地在数据中心内推出AI加速功能。
Nvidia拥有GPU，现在还有CPU，Mellanox (Nvidia的网络业务，包括Infiniband，现在还包括以太网)，然后编写了无数的软件包，使一切都易于使用。
Jensen在Q3电话会议上讨论这个问题:
“Nvidia存在于每个云中，但每个人的平台都不同，但我们已经集成到他们的所有堆栈中。我们与他们所有人合作得非常好。它包括我们创建的所有特定领域的库，这就是为什么每个计算机公司都可以不假思索地将Nvidia集成到他们的路线图中的原因。我们拥有的特定领域库的列表非常广泛。最后，现在我们有一个面向数据中心的端到端解决方案: InfiniBand网络，以太网网络，x86，ARM，...。几乎提供了技术解决方案和软件堆栈的所有组合。但真正把它联系在一起的是，这是我们几十年前做出的一个伟大的决定，一切都是架构兼容的。”
Ian Buck在BoA会议上补充了一些进一步的细节:
“当然，可以将一个AI工作负载放在任何人的硬件平台上。困难的是使其成为一个持续优化和发展的平台，并成为一个可以运行数据中心内运行的所有工作负载的平台。有这么多人在人工智能领域进行创新，他们在这里的创新速度比我们实际生产新架构要快得多。在Nvidia工作的好处之一是，我们可以与所有不同的人工智能公司合作，因此我们可以优化重要的堆栈层。我们可以在硬件层、编译器层、系统软件层和库层进行创新。”
Nvidia HGX平台的开箱即用集成解决方案
客户喜欢开箱即用的集成解决方案。例如，目前绝大多数收入是由Nvidia的HGX平台驱动的 (来源: Nvidia的CFO)。
这就是为什么Microsoft能够在其数据中心实现与Nvidia在自己的数据中心内产生的相同出色的处理能力的原因之一。这种将所有内容整合在一起的整体方法也很容易扩展当前的数据中心，这是LLM不断增长的重要要求。
为了说明这一点，Nvidia的HGX平台是通过NVLink连接的一个基板上的八个H100 GPU的组合。其中32个平台可以联网在一起，总共256个 GPU可以作为一个单元。NVLink的带宽是最新一代PCIe的14倍，能够每秒传输900GB。一个HGX平台如何运行的示意图： 转载：万字长文详解英伟达遥遥领先的底层逻辑：AI快节奏创新的最大赢家！
在现实生活中，下面的主板插入了六个A100 GPU，还有两个剩余的开放插槽。这很容易插入服务器以连接到CPU 和网络接口卡 （NIC）。 转载：万字长文详解英伟达遥遥领先的底层逻辑：AI快节奏创新的最大赢家！
总之，Nvidia不仅领先，而且在各个方面都在创新。即使是像AMD或英特尔这样的大型竞争对手也无法与这种创新步伐相提并论，更不用说该领域的新手了。
稍后我们将更详细地了解AMD，但Nvidia在研发方面甚至超过了这个大型竞争对手，而前者也非常专注于CPU。
这意味着与AMD相比，Nvidia可以将更多的研发资金集中在CPU上，因此纯粹在这一领域的差异将更加明显:
转载：万字长文详解英伟达遥遥领先的底层逻辑：AI快节奏创新的最大赢家！
Nvidia在即将到来的推理市场中的优势
Copilots将驱动庞大的推理需求
到目前为止，Nvidia的大部分GPU收入都是由AI训练推动的。但是，我们现在正在进入下一个阶段，即部署经过训练的大型语言模型进行推理。
Nvidia的CFO详细介绍了这一新的需求来源:
“推理正在为我们的数据中心需求做出重大贡献，因为人工智能现在已经全面投入生产，用于深度学习推荐器、聊天机器人、副驾驶和文本到图像生成。而这仅仅是个开始。Nvidia AI提供最佳的推理性能和多功能性，因此拥有成本最低。我们也在快速降低成本。
我们已经在上面讨论了公司的快速创新曲线。
Ian Buck还详细介绍了，Nvidia计划如何在推理方面处于领先地位：
“训练和推理是高度相关的，为了训练一个模型，你必须首先推断和计算误差，然后将误差应用回模型，使其更智能。因此，训练的第一步是推理，因此客户很自然地将他们的推理模型与他们的训练集群以及他们的HGX一起部署。我们的推理平台包含多种选择，可针对TCO

我的更多文章

下载客户端阅读体验更佳

APP专享