2026年GPU云服务器选卡指南：4090、A100、H100怎么选

今天想聊一个每隔几天就会被人问一次的问题：GPU云服务器上的4090、A100、H100到底怎么选。最近这半年，身边做AI工具、跑ComfyUI、微调大模型的朋友越来越多，大家已经从“显存够不够大”进化到“FP16算力多少、显存带宽多少、HBM和GDDR6X到底差在哪”的阶段。这篇文章我直接把平时选卡用的参数表、估算方法和踩坑经验整理出来，给2026年还在折腾GPU云服务器的人一份能直接抄作业的参考。

我会按这个顺序讲：先理清现在的卡型格局，再做一份核心参数对比表，然后按场景说选卡思路，接着给出推理资源测算的实操方法，最后是一堆租卡和部署过程中躲不开的坑。内容偏实操，适合正在租卡跑训练、做推理、跑SD出图或者搞科学计算的人。

1. 2026年的GPU云服务器卡型格局：4090、A100、H100各守一段

1.1 为什么A100和H100发布这么多年还在打主力

先别急着看表格，得先搞清楚一个现象：2026年了，为什么A100、H100依然是云GPU平台上的主力，而新一代卡好像一直没能完全取代它们？

核心原因有三个：生态稳定、供应充足、性价比依然能打。A100从2020年发布到现在，CUDA生态、PyTorch适配、各种训练框架的兼容性早就被磨得非常成熟，平台方也不需要频繁更新驱动和调度系统。H100在高端训练卡里是绝对主力，尤其大模型预训练这类场景，H100的FP16 Tensor Core算力和NVLink互联能力短期没有对手。而4090作为消费卡，凭借极高的FP32算力和Tensor Core能力，硬生生在云GPU市场杀出了一条路，很多推理和微调场景根本不需要上昂贵的数据中心卡。

另外还要注意，2026年的云GPU供给正在分层：高端市场有H200乃至新架构的卡陆续铺开，但这个蛋糕主要被愿意花大钱的训练团队吃掉；中间层是H100、A100、L40S、A800、H800这些专业卡；性价比层长期被4090、3090把持。这三层各有各的不可替代性，替换成本远没有想象中低。

1.2 云GPU的租用形态：整卡、切分卡、共享显存影响很大

同一张卡在不同平台上给你用，性能表现可能完全不同，所以对比卡型之前先弄懂云平台的租用形态。

第一种是整卡独享，最常见，你把一整张卡租下来，显存、算力、带宽都是你自己的，租用价格最高，但性能最稳定。

第二种是MIG或者vGPU切分，一张A100/H100按显存切成几份，比如切成4份20GB或者7份10GB。这种模式便宜，但每份拿到的不光是显存变小，计算单元也被隔离了，性能没法按显存比例去简单换算。更关键的是，MIG切分下很多CUDA能力被限制，例如某些场景的利用率会明显打折。

第三种是共享显存/共享算力，平台按分钟计费，卡上可能同时跑着好几个人的任务。你看到的nvidia-smi可能显存还剩不少，但算力被别的租户占掉一大截。这种模式便宜、灵活，适合调试和小规模推理，但不适合对延迟有硬性要求的正式任务。

所以后面所有参数对比，都是基于“整卡独享”这个前提。如果你租的是切分卡或共享卡，性能参数要做减法，而且减法幅度不是线性的。

2. 主力卡参数全对比：显存、带宽、算力一张表看懂

2.1 参数怎么读：FP32、Tensor Core、带宽到底代表什么

很多人在参数表面前容易懵，我先花两分钟把几个关键指标讲明白。

FP32算力，也就是单精度浮点运算能力，单位TFLOPS，代表这张卡计算常规浮点运算有多快。这个指标对科学计算、一般仿真、部分图形渲染很有参考意义，但对大模型的训练和推理不是唯一决定因素。

Tensor Core算力，单位也是TFLOPS，代表矩阵乘法的专用加速能力。深度学习里最重要的算子就是矩阵乘法，所以这个数对训练和推理来说比FP32重要得多。一般在云平台看卡型，先看FP16/BF16的Tensor Core算力，这一档是混合精度训练的主力。

显存带宽，单位GB/s，常被忽略但极其关键。数据要从显存搬到计算核心才能算，搬运速度就是带宽。带宽低的话，就算算力再强，模型参数一多，计算单元也会空等数据。做推理的时候，这个指标很多时候比算力还重要。

还有一个容易混淆的点：有些厂商标“稀疏算力”，比稠密算力高将近一倍，但那是利用了2:4结构化稀疏之后的理论值，实际业务很少能用满。我下面的表统一只写稠密算力，这是我们落地时更真实的数据。如果你看到“989 TFLOPS”和“1979 TFLOPS”两个数字，前者是稠密，后者是稀疏，别被大数字忽悠。

2.2 2026年主力卡型参数对照表

下面这张表覆盖了2026年云GPU平台最常见的几张卡，参数按整卡方案填写。65536列里有若干卡型因为产品定位或市场版本不同，NVLink互连速度会有差异，我也一并标出来。

这张表我建议配合一个简单的选卡逻辑来看：先问自己显存够不够装下模型，再问业务是训练还是推理，最后才去比算力大小。顺序反了很容易被高参数卡带偏。

2.3 逐卡点评：谁贵得有道理，谁是性价比黑马

先聊4090。它最吸引人的地方在于，24GB GDDR6X显存对大多数7B、13B模型的推理和LoRA微调刚刚够用，FP16 Tensor Core算力330TFLOPS甚至超过A100的312TFLOPS，FP32算力更是远超A100。单卡跑任务的时候，4090在很多场景下表现并不比A100差，价格却低一大截。但它的短板很明确：显存带宽只有1TB/s左右，多路并发推理时吞吐很容易被带宽卡住；另外4090没有NVLink，多卡通信只能走PCIe，跨卡训练效率有限。

A100 80GB是数据中心里的常青树。单看FP16算力，312TFLOPS不如4090，但它有2TB/s带宽、600GB/s NVLink，以及极其稳定的企业级驱动支持。多卡训练、需要把大模型完整放进显存的场景，A100是性价比和安全感的平衡点。A800作为它的特供版本，算力几乎一致，只是NVLink从600GB/s降到400GB/s，多卡训练时通信会有差距，但单卡业务完全没感知。

H100 SXM则是高端训练的硬通货。FP16算力990TFLOPS，带宽3.35TB/s，单卡顶得上好几张A100，预训练大模型、长上下文推理这类吃计算密度的任务能明显拉开差距。H800算力相同，互连砍掉一半以上，仅做单卡推理或者对卡间通信要求不高的任务可以选，但真要跑大规模多卡训练，还是优先原版。H200则更像“大显存版本的H100”，141GB显存加4.8TB/s带宽，对需要超大KV Cache或全量加载上百亿参数模型的场景特别实用。

L40S是这几年的黑马，48GB GDDR6显存，FP16 Tensor 362TFLOPS，FP8也能打，而且还带了很强的图形渲染能力。它定位是AI推理、视频生成、图像处理和虚拟化桌面通用，综合性极强。V100则属于预算有限时的入门选择，32GB显存勉强能跑些老模型，但算力和带宽都不太跟得上2026年的需求，适合学生项目或简单任务。

3. 按业务场景选卡：训练、推理、出图、仿真各取所需

3.1 大模型微调与训练：先看显存预算，再看卡间互联

如果你租GPU云服务器是为了微调大模型，第一步不是看算力，而是看你到底要多少显存。全参数微调7B模型，FP16混合精度下，光优化器状态、梯度和激活值就能把显存吃得很紧，一般建议至少40GB以上，A100 80GB或者H100 80GB最稳。如果只是做LoRA/QLoRA这类参数高效微调，24GB的4090就很香，4bit量化之后7B模型显存占用能压到6-8GB，4090跑起来游刃有余。

我建议微调场景的选卡优先级是：7B及以下参数、LoRA/QLoRA、单卡能跑的情况，直接上4090，性价比最高；13B以上LoRA微调，考虑A100 80GB或L40S，显存余量更足；真要全参微调或者预训练，H100系列甚至H200才是合理选择，这里尤其要看多卡NVLink是否顺畅。

多卡训练还有一个容易忽略的问题：通信带宽。4090之间没有NVLink，只能走PCIe，数据同步开销很大，两张4090跑分布式可能比单张还慢，而A100/H100的NVLink能显著降低通信瓶颈。所以别只看单卡参数，多卡训练就优先选H100/A100这类原生数据中心卡。

3.2 推理部署与llama.cpp：带宽比算力更常成为瓶颈

推理和训练的逻辑很不一样。训练时要把数据一遍遍喂给模型，吃的是算力；推理时模型权重已经固定，每生成一个token都要把全部权重从显存搬一遍，所以更吃带宽。

llama.cpp场景尤其典型。它支持把模型一部分放在GPU、一部分留在CPU，通过--n-gpu-layers参数控制。我建议先估算模型权重大小，比如7B FP16权重约14GB，24GB的4090装得下，可以--n-gpu-layers 99尽量全放GPU；如果模型超过显存，再把部分层留在CPU，但生成速度会明显下降，因为CPU和GPU之间来回搬权重极其耗时。

从带宽角度分析推理选型：A100的2TB/s带宽比4090高出一倍，但单路并发时差距没有翻倍那么夸张；一旦你要同时服务8个、16个用户，A100的带宽优势就被彻底放大。所以我自己的经验是：单用户或低并发用4090；高并发API服务、需要稳定延迟，优先A100/H100；要跑超长上下文的模型，H200这种大显存卡才不会被KV Cache逼到反复offload。

3.3 ComfyUI、SD出图和视频生成：Tensor Core与显存余量都要看

ComfyUI这类图像生成工具，底层吃的是Stable Diffusion或视频模型推理，主要靠UNet和Transformer里的矩阵乘法，Tensor Core算力直接影响出图速度。实测下来，4090在SD XL出图上明显快过A100，原因就是FP16 Tensor算力比A100高，而且单张图显存占用一般不超过15GB，24GB显存够用。

视频生成模型就不同了，像一些开源视频模型动辄需要20GB以上显存，甚至要跑多卡并行。L40S的48GB显存在这里很吃香，一张卡能装下更大diffusion模型；如果预算有限，4090配合Kohya或ComfyUI的显存管理插件，也能凑合跑，但要习惯偶尔的爆显存和offload带来的速度损失。

我个人在ComfyUI场景的建议是：纯SD 1.5/SDXL出图，4090其实是目前云GPU的最佳性价比；需要跑大视频模型或长时间批量任务，优先L40S或A100这类大显存卡；千万不要为了省几块钱去租共享卡，出图速度能掉到你自己都怀疑人生。

3.4 科学计算与数值仿真：FP64这道关卡，消费卡直接出局

MATLAB、ABAQUS、VASP、Gazebo这类科学计算和工程仿真软件，很多地方需要FP64双精度计算。这时候4090就有个致命短板：其FP64算力被砍到极低，大概只有1.3TFLOPS左右，跑高精度仿真会慢得离谱。

A100的FP64算力约9.7TFLOPS，H100能做到34TFLOPS左右，这才是科学计算真正需要的级别。V100的FP64约为7.8TFLOPS，虽然老，但在这类场景下甚至比4090更能打。所以做数值仿真的朋友，我只说一句：直接去看FP64参数，不要因为4090的FP32和Tensor很强就“顺手”租了，否则一个算例跑上几周不是开玩笑。

MATLAB调用GPU时，可以用gpuDevice查看是否有可用设备，用gpuArray把数据放到显存；ABAQUS则要看是否安装了GPU加速模块。这些工具的坑在于很多函数库默认不开GPU支持，光有卡还不够，软件层也要配置好。

4. 推理显存与算力测算实操：租卡前先算一遍

4.1 显存占用怎么估算：权重、KV Cache、临时buffer三块相加

很多人在云平台选了实惠的卡，结果模型一加载就Out of Memory，原因是只算了模型权重，没算KV Cache和临时buffer。显存占用可以拆成三部分：

第一部分是模型权重。FP32每参数占4字节，FP16/BF16每参数占2字节，INT8/FP8每参数占1字节，INT4量化大约是0.5字节。假设一个7B参数的模型，FP16权重就是7×2=14GB，INT8权重直接减半到7GB。

第二部分是KV Cache。对于自回归模型，每个请求在推理过程中都要缓存中间计算结果。粗算公式是：KV Cache大小约等于2×层数×KV头数×头维度×序列长度×batch size×每元素字节数。这套公式看起来繁琐，实战中我一般按经验值估算，7B模型在4096上下文下、batch为1，KV Cache大约0.5GB；14B模型大约1GB；上下文长度翻倍，KV Cache也翻倍。

第三部分是激活值和临时buffer。推理时一些中间激活、通信缓冲，通常按模型权重的10%-30%做余量。假设FP16 7B模型需要14GB权重加0.5GB KV Cache，我再预留大概2-4GB余量，那么显存不低于20GB才安心，24GB的4090刚好踩线。

4.2 并发和吞吐怎么算：带宽决定decode速度

推理阶段，尤其是自回归生成，每生成一个token都需要把模型权重整个从显存读一遍，所以理论上的decode极限速度可以粗略用“显存带宽÷模型权重大小”来算。

拿7B FP16模型举例，权重14GB。A100 80GB带宽2000GB/s，理论极限约每秒140个token；4090带宽1008GB/s，理论极限约每秒72个token。实际运行中受内存延迟、算子效率、部署框架开销影响，大概只能达到理论值的40%-60%，所以A100单路decode大约能到60-85 token/s，4090大约30-45 token/s。

但推理服务不可能只跑一路请求。每增加一个并发用户，KV Cache会多占一份显存，decode速度也会被多个请求瓜分。于是你会看到：低并发时4090够用，高并发时A100/H100凭借带宽优势把单位时间总吞吐远远拉开。如果要服务100个并发用户，4090可能已经崩了，A100还能靠更高带宽扛住。带宽在这里是实打实的硬指标，不是参数表上好看的装饰。

4.3 一个7B模型的完整测算示例

我拿一个真实场景演示一下，假设要部署一个7B FP16模型，服务50个并发用户。

权重14GB。上下文长度2048，KV Cache约0.25GB每路，50路就是12.5GB，加上权重、激活平均余量，总显存轻松超过30GB。所以24GB的4090根本不够装下50路并发，早就触发显存溢出。要么租A100 80GB，权重加KV Cache总共26.5GB左右，勉强可以；要么把模型量化到INT8，权重变成7GB，50路KV Cache约12.5GB，总占用20GB以内，4090也能扛。

速度上做个对比：4090在INT8方案下decode带宽依然受1TB/s限制，理论约每秒128 token总吞吐，分给50路就是约2.5 token/s每路，偏慢。A100在INT8下权重7GB，带宽2TB/s，理论约每秒285 token总吞吐，分给50路每路约5.7 token/s，体感好不少。如果换成H100，3.35TB/s带7GB权重，理论接近每秒478 token，分给50路每路接近9.5 token/s，已经能作为商用API的底线了。

从这个例子就能体会到：选卡不能只问“模型跑不跑得动”，还要问“并发跑不跑得动”。预算紧张的方案可以靠量化降低权重大小，但并发一高，带宽就成了无法绕开的主线。

5. 租卡避坑指南：驱动、CUDA、共享卡与常见报错

5.1 驱动、CUDA、PyTorch版本匹配是第一步

租好卡之后最容易翻车的就是环境问题，很多人一进来就装PyTorch，结果torch.cuda.is_available()返回False，然后开始怀疑人生。严格来说这不是卡的问题，是版本匹配没做对。

正常流程是：先跑nvidia-smi，看右上角CUDA Version，这个数值代表驱动支持的最高CUDA版本，不是系统已经装好的CUDA版本。接下来安装PyTorch时，选择不高于这个驱动版本的CUDA配套包即可。举例，如果驱动显示CUDA 12.4，你装pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124或者cu121通常都能用；如果驱动还停留在CUDA 11.8，那就只能装cu118版本。

显卡相关的Linux发行版坑也多。Ubuntu这类系统上装驱动最省事的方式是用官方runfile或者distro自带包管理器，但务必确认内核版本和驱动匹配。Manjaro等滚动发行版上，内核一更新，NVIDIA模块经常编译失败，这时候nvidia-smi会直接报错，解决思路一般是回退内核或用DKMS重新编译驱动模块。

5.2 独享卡与共享卡的真实性能差异

我在第一节已经说过云GPU平台有不同租用形态，这里再展开讲几个实操细节。

共享卡模式下，nvidia-smi里显示的显存利用率和计算利用率都不高，但任务就是慢，十有八九是隔壁租户在占用L2缓存和显存带宽。我的办法是租到卡先跑一个固定基准任务，比如用torch跑一个较大的矩阵乘法，记录时间；对比平台上公示的理论值，如果明显偏慢，说明卡被切过或者被人抢资源。

MIG切分后的卡，nvidia-smi能看出设备名带MIG标识，每份的显存和计算单元都有限制。切分卡适合调试和跑小模型，但如果你跑的是批量推理任务，切分卡的隔离特性反而容易造成批处理效率下降，因为计算单元被固定分割，一个进程用不满也不会把另一份的算力借过来。

另外，部分平台会限制GPU功耗，把一张450W的4090限制到300W跑。你看到的nvidia-smi功耗始终顶不到标称值，性能自然大打折扣。租卡前最好问清是满载还是限功耗运行，或者自己实测跑分，别被“4090”三个字冲昏头脑。

5.3 高频报错排查：gpu crash dump triggered、CUDA out of memory、ComfyUI无GPU

gpu crash dump triggered这个报错，通常意味着显存访问异常、驱动崩溃或者GPU硬件层面出了问题。在云服务器上遇到，我的第一反应是怀疑物理卡状态，尤其切分卡、共享卡最容易发生。处理思路是：先看dmesg或nvidia-smi -q里有没有NVRM错误，再换一个物理节点试试；如果频繁在不同节点复现，就要和平台客服强调“疑似硬件故障”，要求换卡。

CUDA out of memory则是显存不够，按第四节方法先算清楚需要多少显存。如果模型确实放得下还是报OOM，可能是其他进程占用了显存，用nvidia-smi看进程列表，必要时kill -9掉遗留进程。

ComfyUI无法用GPU加速，九成是PyTorch装了CPU版，或者环境变量CUDA_VISIBLE_DEVICES设置不对。我建议用python -c "import torch; print(torch.cuda.is_available())"先确认；输出的设备名如果是cpu，卸载重装对应CUDA版本的torch即可。还有一次我踩过路径含中文导致WebUI启动失败的坑，最后把工作目录改成纯英文路径就好了，这种小问题查日志很难发现。

5.4 必备监控与压力测试工具

GPU云服务器运维日常，说穿了就是围绕“看状态、测性能、处理故障”这几件事。基础监控我用nvidia-smi和nvtop，前者看显存和温度，后者更直观地看每个进程占用的算力。压力测试用gpu-burn或者furmark级别的小工具，跑五分钟看温度和功耗是否稳定。

Ubuntu下想看整机CPU和GPU实时状态，可以用htop配合nvidia-smi dmon，dmon能持续输出SM利用率、显存读写带宽、温度功耗，比反复敲nvidia-smi高效得多。我每次交付一批新租的卡前，都会跑一轮压测记录基准分，后面卡变慢了一对比就知道是平台问题还是自己代码问题，这是GPU运维里最实用的习惯。

6. 高频问题速查表

6.1 常见问题与对应处理思路

6.2 我的最后一条选型建议

根据我这几年代码和运维两头跑下来的经验，2026年的GPU云服务器选型其实可以简化成三句话：第一，能装下模型、跑得动业务并发，再去看性价比；第二，单卡任务、LoRA微调、SD出图这类场景，4090是性价比之王，不用犹豫；第三，高并发推理、正式多卡训练、FP64仿真，老实上A100/H100甚至H200，省下来的时间比省下的钱值钱得多。

最后分享一个我踩过几次坑之后留下的习惯：无论租什么卡，先花半小时跑一遍压测和带宽实测，把数字记在本子上。不要因为平台的卡型标签一样就想当然——同是4090，不同平台的功耗限制、散热环境、驱动版本都可能让最终性能差出20%。磨刀不误砍柴工，卡型参数表只是起点，自己的实测数据才是最终答案。