AI 2024的偏向-香港期货开户

按：英伟达本周宣布了最新季报。比起超预期的财政数据，电话集会才是真正的看点：AI的2024怎么走？“算力沙皇”的权杖，指明晰潮水的偏向。以下为电话会纪要内容。第三季度又是创纪录的季度。营收达181亿美元，环比增进34%，同比增进跨越200%。

远高于我们160 亿美元的预期。从数据中央最先，基于Hopper Tensor Core GPU架构的 NVIDIA HGX 平台的连续增进，以及InfiniBand和网络，推动数据中央收⼊创纪录地到达145 亿美元，环比增进1%，同比增进279%。

NVIDIA HGX与InfiniBand本质上是AI超级盘算机和数据中央基础设施的参考架构。一些最令人兴奋的天生式AI 应用程序都是在 NVIDIA 上构建和运行的，包罗 Adobe Firefly、ChatGPT、Microsoft 365 Copilot、Zoom AI Companion等。

我们的数据中央盘算收⼊比去年增进了四倍，网络收⼊险些增进了两倍。对训练和推理大型语⾔模子、深度学习、推荐系统和天生式 AI 应用的基础设施的投资正在推动对NVIDIA加速盘算的普遍强劲需求。推理现在是NVIDIA AI盘算的主要事情负载。

消费互联网公司和企业在第三季度推动了惊人的环比增进，约占我们数据中央收⼊的一半，而且跨越了总体增进。

Adobe、Databricks、Snowflake 和 ServiceNow等企业软件公司正在向其平台添加AI副驾驶和助理。

本季度我们数据中央收⼊的另一半。所有超大规模CSP 以及全球局限内一系列新的GPU专用CSP的需求都很强劲，这些CS正在快速增进，以应对AI领域的新市场时机NVIDIA H100 Tensor Core GPU实例现在险些在每个带有实例的云中都可用需求量很大。今年每个季度我们都大幅增添供应，以知足强劲的需求，并预计明年将继续这样做。

我们还将有更普遍、更快的产物宣布节奏，以知足不停增进和多样化的人工智能时机。本季度末，美国政府宣布了一套针对中国和其他市场（包罗越南和某些中东国家）的新出口管制律例。这些律例要求我们的许多产物获得出口允许证，包罗我们的Hopper和Ampere 100和800系列以及其他几种产物。在已往的几个季度中，我们对中国和其他受影响目的地的销售源自现在需要遵守允许要求的产物，一直孝顺了数据中央收⼊的约20% 至25%。

我们的训练集群包罗跨越10,000 个H100 GPU，比6月份增添了3倍，反映出异常⾼效的扩展。⾼效扩展是天生人工智能的要害要求，由于法学硕士每年都在以一个数目级增进。Microsoft Azure 在险些相同的集群上取得了类似的效果，展⽰了NVIDIA AI在公共云部署中的效率。现在，网络营业的年收⼊运行率已跨越10亿美元。

我们的增进是由对InfiniBand的特殊需求推动的，该需求同比增进了五倍。InfiniBand 对于获得培训 LLM 所需的规模和性能至关主要。微软上周明确指出了这一点，强调 Azure使用跨越29,000 英里的InfiniBand 线路，足以绕地球一圈。

我们正在将NVIDIA网络扩展到以太网领域。我们全新的Spectrum-X端到端以太网产物接纳专为AI打造的手艺，将于明年*季度推出。

与传统以太网产物相比，Spectrum-X可以实现AI通讯网络性能提⾼1.6 倍。我还要先容一下我们的软件和服务产物的最新情形，我们已经最先看到这些软件和服务产物的精彩接纳。我们有望以10亿美元的经常性软件支持和服务产物年化收⼊竣事今年。我们看到了中期增进的两个主要时机，即我们的DGX云服务和我们的NVIDIA AI企业软件。

游戏收⼊达28.6 亿美元，环比增进15%，同比增进跨越80%，主要的返校购物季需求兴旺，NVIDIA RTX 光线追踪和AI手艺现在价钱低至299美元。我们为游戏玩家和创作者带来了有史以来*的阵容。纵然在PC市场显示低迷的靠山下，游戏数目也比新冠疫情前的⽔平翻了一番。

ProViz的收⼊为4.16亿美元，环比增进 10%，同比增进108%。NVIDIA RTX是专业设计、工程和模拟用例的*事情站平台，而人工智能正在成为壮大的需求驱动力。早期应用包罗用于医疗保健中的AI成像的IMP以及智能空间和公共部⻔中的边缘AI。我们推出了基于 NVIDIA RTX、Ada Lovelace、Generation GPU 和 ConnectX、SmartNIC 的全新桌面事情站系列，其 AI处置、光线追踪和图形性能是前几代产物的2倍。

我们宣布在 Microsoft Azure 上提供两项用于汽车数字化的新Omniverse云服务：虚拟工⼚模拟引擎和自动驾驶汽车模拟引擎。转向汽车领域。收⼊为2.61亿美元，环比增进3%，同比增进4%，主要得益于基于NVIDIA DRIVE Orin SoC的自动驾驶平台的连续增进以及全球 OEM 客户的AI座舱解决方案的不停增进。我们扩大了与富士康的汽车互助同伴关系，纳⼊了我们的下一代汽车 SoC NVIDIA Drive Thor。

富士康已成为电动汽车的ODM。我们的互助同伴关系为富士康提供了尺度的AV传感器和盘算平台，供其客户轻松构建*进、平安的软件界说汽车。现在，我们将把其余部门的损益表GAAP毛利率扩大到 74%，非 GAAP毛利率扩大到 75%，这得益于数据中央销售额的增添和净库存贮备的削减，其中包罗1个百分点的收益释放此前预留的Ampere GPU架构产物相关库存。

运营用度增进12%，非 GAAP运营用度增进10%，主要反映了薪酬和福利的增添。

Q&A环节

Q1：您以为就天生型人工智能市场的出货量而⾔，当前处于怎么样的位置？由于当我只看你们数据中央的轨迹时，明年数据中央支出将靠近 30%。那么您正在关注哪些指标？我们在AI这个市场中处于什么位置？

A1：从历史上看，已往几个季度，中国和其他一些受影响的目的地约占我们数据中央收⼊的 20%至25%。我们预计，随着进⼊第四序度，这一数字将大幅下降。

出口管制将对我们的中国营业发生负面影响，纵然从久远来看，我们也无法清晰地领会这种影响的严 重水平。不外，我们正在起劲扩展我们的数据中央产物组合，以可能提供不需要允许证的新的相符律例的解决方案。

这些产物可能会在未来几个月内上市。然而，我们预计他们的孝顺占第四序度收⼊的百分比不会很大或有意义。

天生式人工智能是我们几⼗年来⻅过的*的软件和硬件TAM 扩展。其焦点，主要是基于检索的盘算方式，险些所有你所做的事情都是从某个地方的存储中检索出来的，现在已经获得了增强，添加了天生方式，而且它险些发生了转变一切。

您可以看到⽂本到⽂本、⽂本到图像、⽂本到视频、⽂本到 3D、⽂本到蛋⽩质、⽂本到化学品。这些是已往由人类处置和输⼊的器械，现在这些是天生方式。我们接见数据的方式已经改变。它曾经基于显式查询。

因此，我们对与 SAP 和 Dropbox 以及您将听到的许多其他互助同伴所做的事情绪应异常兴奋。真正有影响力的领域之一是软件行业，该行业价值约一万亿美元，在已往几⼗年里一直在构建⼿动使用的工具。现在泛起了一个全新的软件部门，称为副驾驶和辅助。

这些工具不需要⼿动使用，而是有副驾驶来辅助您使用它。因此，固然，我们将继续这样做，而不是允许软件，但我们还将约请副驾驶和助理来辅助我们使用该软件。我们将把所有这些副驾驶和助⼿毗邻到人工智能团队中，这将是现代版本的软件、现代版本的企业营业软件。因此，软件和软件完成方式的转变正在驱动底层的硬件。

现在我们有了更好的方式，称为加速盘算，您可以节约一个数目级的能源，可以节约一个数目级的时间，或者可以通过使用加速来节约一个数目级的成本。因此，若是您愿意的话，加速盘算正在将通用盘算转变为这种新方式。新型数据中央进一步增强了这一点。这就是您适才谈到的传统数据中央，我们约莫占其中的三分之一。

然则有一种新的数据中央类型，这种新的数据中央类型与已往的数据中央差异，已往的数据中央运行着大量应用程序，由许多使用相同基础设施的差异租户的人使用，而且该数据中央存储了大量⽂件。

这些新的数据中央是很少的应用程序，纵然不是一个应用程序，也基本上由一个租户使用。它处置数据，训练模子，天生人工智能，我们将这些新的数据中央称为人工智能工⼚。我们看到险些每个国家都在制作人工智能工⼚。

因此，若是你看看我们在扩张、向这种新盘算方式的过渡中所处的位置，这是你在大型语⾔模子初创公司、天生人工智能初创公司和消费互联网公司中看到的*海浪潮。

我们正在加鼎力度。与此同时，在这种情形不停增添的同时，您会看到我们最先与企业软件公司互助，他们希望构建谈天机械人和副驾驶，并提供辅助以增强他们平台上的工具。你会看到专⻔针对GPU的 CSP在天下各地涌现，他们真正致力于做一件事，那就是处置人工智能。你会看到主权 人工智能基础设施、人民和国家现在熟悉到他们必须行使他们的手艺。拥有自己的数据，保留自己 的数据，保留自己的⽂化，处置这些数据，并开发自己的人工智能，你在印度看到了这一点。

因此，我以为，随着天生式人工智能浪潮在每个行业、每个公司、每个区域流传，你会看到新的生长。因此，我们正处于这种拐点、这种盘算转变的最先。

Q2：我想询问有关营业网络方面的问题。若何看待以太网的演进？

A2：我们的网络营业已到达10亿美元以上，而且规模还将进一步扩大。我们最近在我们的网络营业中添加了一个新的网络平台。但绝大多数专用的大型AI工⼚都在InfiniBand上举行尺度化。其缘故原由不仅是由于它的数据速率和延迟，而且它在网络中移动流量的方 式异常主要。

有了InfiniBand，有了软件界说的网络，我们就可以做到控制、自顺应路由、性能隔离和噪声隔离，固然更不用说InfiniBand的数据速率和低延迟以及异常低的开销了，这是很自然的 InfiniBand 的一部门。因此，InfiniBand 不仅仅是一个网络，它照样一个盘算结构。我们在结构中加⼊了许多软件界说的功效，包罗盘算。

例如，最近我们谈到了我们正在确立的模子之一，它被称为Shipnemo，我们正在构建许多其他模子。我们将在公司内部确立数⼗、数百个自界说人工智能模子。

我们所做的就是发现晰这个新平台，它扩展了以太网，不会取代以太网，它 100% 兼容以太网，而且针对器械向流量（盘算结构所在的位置）举行了优化。它通过 BlueField 的端到端解决方案以及我们的频谱交流机添加到以太网中，使我们能够执行 InfiniBand 中的一些功效（不是所有， 而是部门功效），而且我们取得了精彩的效果。

我们进⼊市场的方式是与已经提供我们的盘算解决方 案的大型企业互助同伴一起进⼊市场。因此，惠普、戴尔和遐想拥有 NVIDIA AI 客栈、NVIDIA AI 企业软件客栈，现在他们与BlueField集成，并捆绑销售其Spectrum交流机。

他们将能够依附重大的销售队伍和重大的经销商网络，为天下各地的企业客户提供完全集成的（若是你愿意的话）至少端到端优化的人工智能解决方案。

电商价格战，刺痛河北产业带

Q3：我想知道您是否可以多谈谈 Grace Hopper，您若何看待行使某些微处置器的能力，若何 将其视为TAN expander，以及您以为使用 Grace Hopper与更传统的H100应用程序相比有哪些应用 程序？

A3：Grace Hopper 已投⼊生产，现在正在大批量生产。我们预计，明年，随着我们在⾼性能盘算和人工智能基础设施方面取得的所有设计胜利，我们将异常快地从我们的*个数据中央CPU生长到价值数⼗亿美元的产物线。

这对我们来说将是一个异常重大的产物线。它能够确立同时具有异常快的内存和异常大的内存的盘算节点。在向量数据库或语义搜索领域，称为 RAG（检索增强天生），这样您就可以让天生式AI模子能够在天生响应之前引用专有数据或事实数据。

这样，天生模子一方面仍然能够自然地与您交互，另一方面能够引用事实数据、专有数据或特定领域的数据、您的数据，而且能够与上下⽂相关相关并削减幻觉。例如，对于Grace Hopper 来说，这个特定的用例确实异常棒。它还为那些真正想要拥有差异于x86的CPU的客户提供服务。也许是欧洲超级盘算中央或欧洲公司想要确立自己的ARM生态系统并想要确立整个客栈，或者是CSP决议转向ARM，由于他们自己的定制CPU是基于ARM的。

Q4：想问一下你们的收⼊可⻅度。您以为数据中央能够生长到2025年吗？

A4：*信托数据中央能够在 2025年之前实现增进。这有几个缘故原由。我们正在大幅扩大供应。我们已经拥有天下上最普遍、*、最有能力的供应链之一。人们以为GPU是一个芯⽚，但 HGX H100（Hopper HGX）有 35,000个零件。它重 70 磅。其中⼋个筹码是Hopper 的。它是一台超级盘算机，因此测试超级盘算机的*方式是使用另一台超级盘算机。

因此，我们HGX供应链的各个方面都很庞大，而我们这里拥有的精彩团队确实令人难以置信地扩展了该供应链。更不用说，我们所有的HGX都与NVIDIA网络毗邻，而网络、收发器、NIC、电缆、交流机，其庞大性令人难以置信。

正如我之条件到的，我们有新客户。差其余区域正在确立 GPU 专家云，来自天下各地的主权人工智能云，由于人们意识到他们无法肩负将自己国家的知识、国家⽂化出口给其他人然后将人工智能转售给他们的用度。

他们必须，他们应该，他们有手艺，固然，与我们连系，我们可以辅助他们做到这一点，确立他们的国家人工智能以是他们要做的*件事就是确立他们的人工智能云，国家人工智能 云。您还看到我们现在正在发展为企业。

企业市场有两条路径。*条路固然是现成的AI固然另有ChatGPT，令人难以置信的现成的AI另有其他的。另有专有的人工智能，由于ServiceNow和SAP等软件公司以及许多其他公司无法肩负将其公司的智能外包给其他人的用度。

我们有一项名为AI Foundry的新服务，我们行使NVIDIA的功效为他们提供服务。下一个是企业构建自己的自界说人工智能、自己的自界说谈天机械人、自己的自界说规则。而且这种能力正在全天下局限内流传。我们为该市场提供服务的方式是使用整个系统客栈，其中包罗我们的盘算、网络和交流机，运行我们称为NVIDIA AI Enterprise的软件客栈，并通过我们的市场所作同伴HP、Dell、遐想等获取该软件客栈。

因此，我们看到天生式人工智能的浪潮从初创公司和通讯服务提供商最先转向消费者互联网公司，转向企业软件平台，转向企业公司。最终，你们看到我们破费大量精神的领域之一与工业天生人工智能有关，这就是NVIDIA AI 和 NVIDIA Omniverse的连系之处，这是一项异常异常令人兴奋的事情。

Q5：您提到您将在未来 几个月内推出相符律例的产物，但对第四序度收⼊的孝顺应该相对有限。这是一个时间问题吗？它是否会成为4月份及以后数据中央重新加速和增进的泉源？或者价钱点对未来收⼊的孝顺是 否应该相对有限？然后上周宣布的AI Foundry服务通告，盈利模式将若何运作？主要是服务和软件收⼊吗？我们应该若何思量耐久时机？这将是微软独占的，照样您也有设计扩展到其他互助同伴？

A5：关于我们可以向中国客户提供的潜在新产物的问题。设计和开发这些新产物都 是一个主要的历程。正如我们所讨论的，我们将确保我们也与美国政府充实讨论我们对这些产物的 意图。思量到我们本季度的状态，本季度已经由去几周了，我们需要一些时间来仔细研究并与客户讨论他们 对我们拥有的这些新产物的需求和愿望。

展望未来，无论是中期照样耐久，很难说我们可以与美国政府互助生产什么，以及我们中国客户的利益是什么。因此，我们仍然专注于为中国客户找到适当的平衡，但现在还很难说。

AI Foundry 面临着伟大的时机，而且意义重大。首先，每个公司都有自己的焦点智力。它组成了我们的公司。我们的数据，我们的领域专业知识。就许多公司而⾔，我们缔造工具，天下上大多数软件公司都是工具平台，而这些工具今天被人们使用。

在未来，它将被我们雇佣的一大堆人工智能增强的人们使用。这些人工智能平台必须⾛向天下， 你就会看到，我们已经宣布了一些，SAP、ServiceNow、Dropbox、Getty，另有许多其他平台即将推出。因是由于他们拥有自己的专有人工智能，他们想要自己的专有人工智能，他们无法肩负 外包情报和分发数据的用度，也无法将⻜轮交给其他公司来为他们构建人工智能。

我们有几样器械对于代工⼚来说是异常主要的，就像台积电是一家代工⼚一样。你必须拥有 人工智能手艺。如您所知，我们拥有令人难以置信的深度人工智能能力、人工智能手艺能力。其次，你必须拥有*实践，已知的实践，通过发现人工智能模子来处置数据的手艺，以确立有护栏、微调等等的人工智能。

第三件事是你需要工⼚，这就是 DGX Cloud。我们的人工智能模子称为人工智能基础。若是你 愿意的话，我们用于确立 AI 的 CAD 系统称为 NEMO，它们在 NVIDIA 的工⼚（我们称为 DGX Cloud）上运行。

我们在云端、内陆和任何地方都拥有重大的安装基础。而且它是平安的、平安地修补、不停修补、优化和支持。我们称之为 NVIDIA AI Enterprise。NVIDIA AI Enterprise 的价钱为每位GP每年4,500 美元。这就是我们的商业模式。我们的商业模式基本上是一个允许证。然后，我们的客户依附该基本允许证， 可以在此基础上构建他们的盈利模子。在许多方面，批发酿成了零售。

他们可以针对每个实例拥有一个订阅允许证基础，也可以针对每个使用情形举行订阅。他们可以 接纳许多差其余方式来确立自己的商业模式，但我们的方式基本上就像软件允许证，就像操 作系统一样。因此，我们的营业模式是辅助您确立自界说模子，然后在 NVIDIA AI Enterprise 上运行这些自界说模子。

Q6：我想知道若是没有中国的限制，第四序度的指导值会更⾼吗？或者 您的供应是否受到限制，只能将本可以运往中国其他地方的货物转运。我想沿着这些思绪，若是您能让 我们领会您现在在数据中央的交货时间以及像当前的情形，它是否会降低这些交货时间，由于 您有一些零件可以立刻发货吗？

A6：是的，在某些情形下，我们每个季度都在起劲改善我们 的供应。我们在每个季度的增进方面做得异常扎实，这决议了我们的收⼊。但由于我们对第四序度的展望中没有中国，我们仍在起劲改善我们的供应，并设计在明年继续增进，并为此起劲。

Q7：也许你可以花一点时间讨论大模子在推理方面的演进以及你的公司若何定位于此而不是较小的模子推理。其次，直到一两个月前，我还从未真正收到过任何关于人工智能事情负载的数据处置部门的问题。也许您可以谈谈 CUDA 若何加速这些事情负载

A7：我们可以确立 TensorRT-LLM，由于 CUDA 是可编程的。若是 CUDA 和我们的 GPU 不具备云云可编程性，我们就很难以现在的速率改善软件客栈。统一 GPU 上的 TensorRTLLM 无需任何人接触任何器械即可将性能提⾼两倍。

固然，最主要的是，我们的创新措施云云之快，H200 将其提⾼了两倍。因此，我们的推理成本在约莫一年的时间内降低了四倍。以是这真的很难跟上。现在，每小我私人都喜欢我们的推理引擎的缘故原由是由于我们的安装基础。20 年来，我们一直致力于我们的客户群。

我们拥有的安装基础不仅在每个云中都是*的，而且每个企业系统制造商都可以提供。险些每个行业的公司都在使用它。无论何时您看到 NVIDIA GPU，它都市运行我们的客栈。它在架构上是兼容的。

NVIDIA 的平台稳固性确定性是每小我私人首先在我们的基础上构建以及每小我私人首先在我们的基础上举行优化的缘故原由。您所做的所有工程和所有事情以及您在 NVIDIA基础上构建的所有手艺发现都市为使用我们GPU的每小我私人带来利益。

我们拥有云云重大的安 装基础，云中有数以百万计的GPU，来自人们PC的1亿个 GPU，险些天下上的每个事情站，它们在架构上都是兼容的。因此，若是您是一个推理平台而且正在部署推理应用程序，那么您基本上是一个应用程序提供商，而且作为软件应用程序提供商，您正在寻找大型安装基础。

数据处置，在训练模子之前，您必须整理数据。你必须推断数据，也许你必须用合成数据 来扩凑数据，以是你处置数据，整理数据，对⻬数据，规范化数据。所有这些数据都不是以字节和兆字节为单元来权衡的，而是以太字节和拍字节为单元来权衡的。在数据工程之前、 在举行培训之前举行的数据处置量异常大。

它可能代表您最终确立数据驱动的机械学习服务所需事情量的 30%、40%、50%。以是数据处置只 是一个主要的部门。我们加速 Spark，我们加速 Python。我们刚刚做的最酷的事情之一是cuDF pandus。

Tandas 是天下上最乐成的数据科学框架，PANDAS 现在由 NVIDIA CUDA 加速， 开箱即用，无需一行代码。因此，加速率确实异常惊人，人们对此感应异常兴奋。PANDAS 的设计只 有一个目的，只有一个目的，即真正用于数据科学的数据处置。NVIDIA CUDA为您提供了这一切。

Q8：我们若何看待你们的研发、运营支出增进远景，以支持更起劲、更扩展的未来蹊径图，但更 主要的是，团队正在做什么来治理和推动执行所有这些庞大性？

A8：首先，我们加速执行速率有 一个基本缘故原由，就是由于它从基本上降低了成本。TensorRT LLM 和H200 的连系将我们客户的大型模子推理成本降低了四倍。

因此，我们希望加速我们的蹊径图。第二个缘故原由是扩大天生式人工智能的笼罩局限天下上数据中央设置的数目。每种云中都有NVIDIA的⾝影，但没有一种云是相同的。NVIDIA 与每家云服务提供商互助，但他们的网络控制平面平安状态都不相同。

我们现在正在将所有这些产物推向市场。因此，庞大性固然包罗所有的手艺、细分市场和速率。它包罗这样一个事实：我们在架构上与其中每一个都兼容。它包罗我们确立的所有特定于域的库。这就是为什么每家盘算机公司都能不假思索地将 NVIDIA 纳⼊其蹊径图并将其推向市场的缘故原由。

缘故原由是由于有市场需求。医疗保健有市场需求。固然，人工智能、⾦融服务、超级盘算、量⼦盘算都有市场需求。我们拥有特定领域库的市场和细分市场列表异常普遍。最后，我们为数据中央提供了端到端的解决方案。InfiniBand 网络、Ethernet、 x86、ARM，险些提供领会决方案、手艺解决方案和软件客栈的所有排列组合。

这意味着拥有最多数目的生态系统软件开发职员、*的系统制造商生态系统、*和最普遍的分销互助同伴网络，以及最终*的笼罩局限。这固然需要大量的能量。但真正将它们连系 在一起的是我们几⼗年前做出的一个伟大决议，即一切在架构上都是兼容的。当我们开发一种 在一个GPU上运行的领域特定语⾔时，它会在每个GPU上运行当我们针对云优化 TensorRT 时，我们也会针对企业举行优化。

当我们做一些事情带来新功效、新库、新功效或新开发职员时，他们会立刻从我们的所有影响力中 受益。因此，这种与架构兼容的原则已经连续了几⼗年，这也是NVIDIA仍然异常异常⾼效的缘故原由之一。