CN
2023十月AI服务器行业近况更新
一、综述
今年第一季度全球 AI 服务器市场的快速发展以及明年 H100 训练卡和 A100 的趋势。根据对话片段的预测，明年训练卡的出货量将大幅上涨，A100 将快速下降，而且将有更多的竞争对手加入到自研推理卡市场。另外，预计到 2025 年，推理卡的出货量将达到 550 到 580 万张，同时推理服务器的单价预计将逐步上涨。英伟达的主要客户分为云计算公司和非云厂商，其中将近 60%的出货量销售给了云计算公司，40%的出货量销售给了非云厂商。根据收集的数据，预计明年 L40 推理卡会替代 AHAAA10 推理卡，从投入产出比来看，这种替代更为合适。对于英伟达的资本开支，目前难以评估，但客户认为这些投资是值得的。需要密切关注供应链和市场变化。
二、详细介绍
1.2021 年 AI 服务器市场回顾及展望
今年第一季度全球 AI 服务器市场快速发展，受益于 OpenAI 和英伟达的推动。英伟达的 H100 训练卡供应逐渐充足，市场预计将近 210 到 220 万张。然而，北美市场的训练服务器采购量在第四季度略有放缓，可能由于之前供应紧张导致的砍单情况。整体而言，2021 年市场对于训练服务器的需求持续增长。
2.明年训练服务器市场展望
根据对话片段预测，明年 H100 训练卡的出货量将大幅上涨，A100 将快速下降。预计明年第四代平台的渗透率将达到70%到 80%。从 2024 年第四季度开始，随着数据模型训练完毕，推理卡的数量也将大幅提升。在国内，由于禁止 A100和 A100销售，A800和 H800成为替代产品。
3.英伟达训练卡供应情况及市场预测
今年国内英伟达 A800训练卡供应紧张，数量有限。六月份美国政策限制了 A800 的销售。七月份以后，英伟达不再供应新的 A800 卡，而是转向供应 H800 卡。下半年 H800 卡供应量约为三四万张。明年云厂商对 H800 的需求量预计在 40 到 50 万张。然而，英伟达的供应节奏仍然限制了国内训练卡的发展。整体市场趋势有待观察。
4.英伟达在 GPU 市场的垄断地位及竞争对手的自研芯片
英伟达在 GPU市场上占据着绝对垄断地位，其训练卡 A100 和 H100 在市场上占据 90%到 95%的份额。虽然有其他竞争对手推出了自己的自研卡，如TPU 和国产芯片，但这些卡的工艺难度较低，市场占比只有 70%左右。随着时间的推移，越来越多的厂商加入到自研推理卡阵列，希望能够替代英伟达的推力卡。特斯拉和国内厂商如华为、寒武纪等也推出了自己的推理卡。这些竞争对手的加入旨在加速技术提升并降低英伟达的垄断地位和价格成本。
5.明年四季度模型训练需求增速放缓
根据对话片段分析，明年四季度左右，云公司和算力公司预计完成数学模型的训练，并开始商业化推给前端用户。预计采购量会在明年第三季度末结束，并在第四季度开始逐步上升。
6.FPGA 在推理侧的市场前景及未来发展
本文讨论了FPGA在推理侧的应用场景和市场前景。主要针对自动驾驶等对实验要求高的领域， FPGA 方案有一些应用空间。然而，目前对于时延要求较低的个人助理和对话式AI 等应用领域， FPGA 的使用较少。预测随着 AI 服务器的发展逐渐放缓，未来边缘端服务器的兴起将带动 IPJ 芯片的发展。
7.推理卡市场预测和单价趋势
根据对话片段，预计在未来几年，推理卡的出货量将逐步增加，但训练卡的出货量会更高。到2025 年，推理卡的出货量预计将达到 550 到 580 万张。同时，推理服务器的单价预计将逐步上涨，L40 推理卡预计将取代 A10 推理卡，并且价格约为 4500 到 5000 美元张。这些预测基于 AI 服务器的发展和算力提升。
8.H100 在推理阶段的使用
本对话讨论了在推理阶段使用 H100 卡的可能性。讨论指出，H100 卡在推理方面的使用相对较少，主要原因是其功能与训练卡有所不同。此外，对于使用 H100 做推理的客户来说，其性价比较低。根据收集的数据，虽然 H100 在某些情况下的性能较高，但并没有高到与其价格呈同比例提升的程度。因此，预计明年 L40 推理卡会替代 AHAAA10推理卡，从投入产出比来看，这种替代更为合适。
9.英伟达训练卡销售给云计算公司和非云厂商的比例
根据对话片段，英伟达的主要客户分为两类：云计算公司和非云厂商。其中，将近 60%的出货量销售给了云计算公司，包括亚马逊、微软、谷歌、苹果等。另外，还有 40%的出货量销售给了非云厂商，如 OEM 服务器厂商。因此，分析英伟达的资本开支时，需要将 240 万张训练卡的销售量分配给各个云计算公司。总的来说，240 万张卡的销售量是可以消化掉的，没有问题。
10.GPU 投资与应用产业链闭环的关系
GPU 投资规模预计在 2025 年后才能看到回报，目前难以评估。然而，大规模投资背后有相应的分析和预测，客户认为这些投资是值得的。
11.英伟达卡预期调整的影响和未来展望
本次对话中，专家分析了英伟达明年卡预期调整的可能性和原因，以及对供应链和终端用户的影响。同时，还探讨了英伟达卡在不同行业的应用和需求情况。从目前的数据和调研来看，明年的卡出货量相对稳定，但仍需密切关注供应链和市场变化。
三、 Q/A
Q
AI 服务器市场近况是什么？
A
市场快速发展得益于两方面，一是英伟达推出了整个 GBT 的 3.5 和 4.0 的 AI 数据模型的框架，二是因为英伟达也推出了自己的 H100 高算力的训练卡。
Q
为什么 AI 服务器市场供应紧张？英伟达训练卡的供应情况会发生什么变化？
A
因为英伟达对市场估评估不够充分，第一季度的供应非常紧张。随着英伟达供应环节的充足，第二季度和下半季度供应较为充足。从第四季度开始，A700 的量会增加。从第四季度开始，整个市场对于训练服务器的采购量也会提升。预计将会比今年提升大概三倍到三点五倍，明年将会在约 350 万张左右。其中 A100 的供应量会有所下降。
Q
为什么训练服务器市场采购量在下半年会放缓？
A
主要是由于第一季度和第二季度市场对于英伟达训练卡的需求增加，导致供应紧张，客户需求的高端卡如 A100 等受到影响。而在第二季度下半季度开始，由于整个市场对于卡的供应环节比较充足，所以高端卡的需求减少了。
Q
英伟达的训练卡 A100 和 H100 在市场上的占比是多少？
A
预计在明年将分别占到约 50 到 60 万张和将近 210 到 220 万张的市场份额。A100将下降约 30%左右。这是由于 intel 和 AMD 在明年大批量进行了他们第四代平台的更新换代，其中英伟达的 H100 训练卡将被用于第四代平台。
Q
明年北美云厂商会使用哪些训练卡？
A
以第四代平台为主，仍会有少量 A100 的训练卡。对于中小客户，仍会继续使用 A100 训练卡。
Q
明年训练卡出货节奏有何变化？2025 年之后训练卡的采购量有何变化？
A
推理卡（英伟达的 A10、L40）的数量会大幅度提升，训练卡采购量会趋于下降。到 2025 年，推理卡和训练的增速才能恢复到正常水平。将趋于下降，因为数据模型训练完毕后，推理卡的数量会有大幅度提升。
Q
英伟达对国内的 A800 训练卡做了哪些限制？
A
限制，限制每月供应数量，而且已经交付完毕。现在 A800 的供应量很小，而且英伟达不会再出新的 A800 卡给国内。
Q
英伟达对国内的 H800 训练卡的供应量有何变化？
A
每月供应量比较小，大部分会分摊给所有国内客户，包括互联网客户。预计明年整个 H800 的需求量基本是在 40 到 50 万张，但我们认为英伟达在国内的这些训练卡的交付本身还是有一定的限制。
Q
英伟达 H800 的批量供应时间是什么时候？全球针对英伟达卡的发展趋势如何？
A
明年第二季度初开始批量供应。目前的供应都还是极小批量的。还是相对缓慢的，主要由于英伟达的供应节奏所致。国内发展也较为缓慢，原因是英伟达的供应节奏导致国内诉求模型的训练速度较慢。
Q
为什么训练卡市场占比高达 90%到 95%？
A
训练卡的制造工艺非常复杂，要求算力非常高，制作难度非常大。其他竞争对手要想触碰英
伟达的商业利益是非常困难的。因此，训练卡市场是英伟达的绝对垄断地位。
Q
国内和全球针对英伟达训练卡和推理卡的现状如何？为什么推理卡市场占比大约为 70%左右？未来推理卡市场的发展趋势如何？
A
训练卡市场占比高达 90%到 95%，是绝对垄断地位。推理卡市场占比大约为 70%左右，其中自研推理卡的占比有所提高。但目前英伟达仍然保持绝对垄断地位，即使有其他竞争对手也很难达到其水平。是因为其他厂商或客户自研推理卡的占比有所提高，自研芯片的厂商也加入了推理卡阵列。随着时间的推移，越来越多的厂商加入推理卡阵列。会越来越多的厂商加入推理卡阵列，如华为的升腾海光系列和寒武纪等。这些厂商推出的自研推理卡能够部分替
代英伟达的推理卡，从而降低英伟达的垄断地位，同时也能提升自身的技术水平。
Q
您刚刚提到明年四季度左右，模型训练的需求增速会放缓，这个时间点的判断主要是基于哪些因素？
A
客户对自己数学模型训练的预测。
Q
推理卡的采购时间点是在什么时候？
A
客户预计 1 到 1 年半内完成数学模型的训练，从今年第三季度开始陆续采购。
Q
FPGA 的方案在推理侧是否能有市场？发言人 1
FPJ 对实验要求高，可能在对时延要求不高的场景中有应用空间。目前在推理卡方面使用场景不多，但下一步随着边缘服务器的兴起，边缘端的服务器需要大量海量前端输入，IPJ 的芯片会逐渐起来。
Q
推理服务器的出货量会有怎样的变化？推理卡和训练卡的差价有多大？
A
明年的话，24 年的话，整个推理推理，我们预测推理卡的出货量预基本是在 320 到 330 或者 340 万张这么一个数量级。基本上会比训练卡会略略低一点，因为训练卡明年基本是在 400 到 420 万张。推理卡和训练卡之间的差价基本在一张 A10 推理卡的售价和一张 A100 训练卡的售价之间的差距将近三倍。
Q
2025 年推理卡的出货量预计是多少？推理卡的价格会有怎样的变化？为什么推理卡的数量不会大量增加？推理卡和训练卡的功能有什么不同？
A
550 到 580 万张。明年基本是在 4500 到 5000 美金这么一张卡。用 H100 去做推理可能会比较少一点。训练卡更在意的是整个算力，包括工艺制造，而推理卡更多是在意整个的数据的收集和并发的一些并发用户量和并发数据一些分发。
Q
明年 400 到 420 万张训练卡，都是H100 的话，总价会超过 1000 亿美金吗？
A
训练卡是由云计算公司和非云计算公司两类客户构成，占出货量的 60%。训练卡和推理卡的价格差异较大，明年推理卡的投入可能会有折扣。
Q
一对 1000 亿美金的 GPU 开销需要对应多少亿美金的应用才能形成产业链闭环？
A
AI 的浪潮是前所未有的，难以回答这个问题。目前各家算力公司都在疯狂囤卡买卡，但还没有看到由数学模型带来的商业回报。
Q 为什么现在大的云公司和算力公司要做大规模投资？云公司和算力公司对未来的回报预期是否可靠？
A
大规模投资的回报是需要相应的分析数据支持的，但目前相关数据难以公开。目前这些投资
对于最终用户的回报预期难以公开，但大公司都是根据相应的分析数据进行决策的。
Q
厂商对未来的回报预期是否会出现调整？未来的预期会调整吗？厂商是否会面临调整预期的风险？
A
预期可能会调整，但具体时间点和原因还需要进一步观察。目前看来，未来的预期一直在调整中。厂商面临着调整预期的风险，但目前看来调整的可能性不大。
Q
厂商和服务器厂商如何确认未来的需求？
A
厂商通过调研终端用户和应答来确认未来的需求，服务器厂商则需要确认需求并和终端用户进行核实。
Q
未来的需求量是否可靠？
A
未来的需求量是比较靠谱的，因为终端用户和应答都通过调研得出了明确的需求。
Q
北美用户的盘点计划是什么时候？
A
每年 11 月份会给出第二年全年的排产计划，在第二年的 5 6 月份会对当年的下半年的排产计划做出调整。调整幅度约为 5%。
Q
国内客户的判断计划精准吗？
A
虽然国内客户的判断计划可能不够精准，但因为量比较少，对英伟达的影响不大。
Q
英伟达的预期是什么时候出现？发言人 4
英伟达预计在今年 9 月或 11 月份会有对明年的预期，这个预期是比较准确的。
Q
剩下的 40%卡会卖给哪些客户？
A
会卖给一些非云厂商客户，包括一些 OEM 服务器之类的客户，但具体是哪些客户并不确定，因为这些客户的终端用户非常广泛。
Q
采购量最大的客户类型是什么？
A
主要是金融科研、运营商、高校、算力公司和交通行业的客户，其中金融科研、运营商和高校的采购量最大。
分享到 ：