GPU选购指南：训练ML模型，我必须买RTX3080吗？( 八 ) _GPU选购

如果你能买得起更好的卡，就不要购买 GTX 16 系列。这些卡没有张量核，因此，深度学习性能相对较差。相比 GTX 16 系列，我宁可选择二手的 RTX 2070 / RTX 2060 / RTX 2060 Super 。如果你差钱，那 GTX 16 系列也算是个不错的选择。
什么情况下最好不要购买新的 GPU？如果你已经拥有 RTX 2080 Tis 或更好的 GPU，升级到 RTX 3090 可能就没有意义。你的 GPU 已经很好了，使用新推出的高能耗 RTX 30 卡，你需要为 PSU 和冷却问题担忧，而性能的提升却微不足道——不值得。
我想要从 4x RTX 2080 Ti 升级到 4x RTX 3090 的唯一原因是，我在研究非常大的 Transformer 或其他高度依赖计算的网络训练。但是，如果内存是问题，在升级到 RTX 3090 之前，你可以首先考虑一些内存技巧，以便在 4x RTX 2080 Tis 上适配大模型。
如果你有一个或多个 RTX 2070 GPU，升级前要三思。这些都是很好的 GPU 。如果你发现自己经常受限于 8GB 的内存，那么可以在 eBay 上转手出售这些 GPU 并获得 RTX 3090 。这一推论也适用于许多其他 GPU：如果内存紧张，那么升级就是对的。
问 & 答 & 误解要点：

PCIe 4.0 和 PCIe 通道在 2x GPU 设置中并不重要。对于 4x GPU 设置，它们也不是特别重要。
RTX 3090 和 RTX 3080 的冷却会是个问题。使用水冷卡或 PCIe 扩展器。
NVLink 没用，只对 GPU 集群有用。
你可以在一台计算机中使用不同的 GPU 类型（如 GTX 1080 + RTX 2080 + RTX 3090），但你无法有效地将它们并行。
在两台以上的机器上并行训练，你需要 Infiniband +50Gbit/s 的网络。
AMD CPU 比 Intel CPU 便宜，而 Intel CPU 几乎没有任何优势。
尽管做出了非常大的努力，但由于缺少社区和张量核，至少在 1-2 年内 AMD GPU+ ROCm 可能都无法与 NVIDIA 竞争。
如果你使用 GPU 的时间不到一年，那么云 GPU 是有帮助的。除此之外，台式机是更便宜的解决方案。

我需要 PCIe 4.0 吗？一般来说，不需要。如果你有一个 GPU 集群，PCIe 4.0 很有用。如果你有一台 8x GPU 机器，也还可以，但除此之外，它就没有多大好处了。它可以帮助实现更好的并行化和更快的数据传输。数据传输在任何应用程序中都不是瓶颈。在计算机视觉中，在数据传输管道中，数据存储可能是瓶颈，而 PCIe 从 CPU 到 GPU 的传输则不是瓶颈。所以，对于大多数人来说，没有真正的理由去安装 PCIe 4.0 。在 4 GPU 设置中，这样做的好处是，并行度可能会提高 1-7% 。
我需要 8x/16x PCIe 通道吗？和 PCIe 4.0 一样，一般来说，不需要。并行化和快速数据传输需要 PCIe 通道，但这几乎不会成为瓶颈。在 4x 通道上运行 GPU 就很好，特别是当你只有 2 个 GPU 的时候。对于 4 GPU 设置，我更希望每个 GPU 有 8 个通道，但如果你是在 4 个 GPU 上并行运行的话，那么 4 个通道可能只会降低 5-10% 的性能。
如果每个 RTX 3090 需要 3 个 PCIe 插槽，我该如何安装 4x RTX 3090？你需要一个双插槽变体，或者你可以尝试使用 PCIe 扩展器布置它们。除了空间之外，你还需要考虑冷却问题和一个合适的 PSU 。最易于管理的解决方案似乎是，4x RTX 3090 EVGA Hydro Copper 加一个定制的水冷循环。这可以使卡处于低温状态。EVGA 生产 Hydro Copper 版本的 GPU 已有多年，我认为你可以信任其水冷式 GPU 的质量。不过，可能还有其他更便宜的变体。
PCIe 扩展器也可以解决空间和冷却问题，但是你需要确保你的机箱中有足够的空间来布置 GPU 。一定要确保你的 PCIe 扩展器足够长！
我该如何冷却 4x RTX 3090 或 4x RTX 3080？请看上节。
我可以使用多个不同类型的 GPU 吗？是的，你可以！但是不同类型的 GPU 无法有效地并行。我认为，一个 3x RTX 3070 加一个 RTX 3090 就够原型推广了。另一方面，在 4x RTX 3070 GPU 上并行会非常快，如果你能将模型放到这些 GPU 上的话。除此之外，我能想到的你希望这样做的唯一原因是，你希望继续使用旧 GPU 。这没问题，但是在那些 GPU 上并行会比较低效，因为最快的 GPU 会等待最慢的 GPU 到达一个同步点（通常是梯度更新）。
NVLink 是什么，有用吗？一般来说，NVLink 是没有用的。NVLink 是 GPU 之间的高速互连。如果你有一个有 +128 GPU 的 GPU 集群，它就有用了。否则，与标准 PCIe 传输相比，它几乎不会产生任何好处。
我钱不够，即使是你推荐的最便宜的 GPU 。我能做什么？当然是买二手 GPU 。二手 RTX 2070（400 美元）和 RTX 2060（300 美元）都很棒。如果你负担不起，次佳选项是试着买一个二手的 GTX 1070（220 美元）或 GTX 1070 Ti（230 美元）。如果那还太贵，则可以使用 GTX 980 Ti （6GB 150 美元）或使用 GTX 1650 Super（190 美元）。如果这都太贵的话，最好是使用免费的 GPU 云服务。通常，这些服务会有时间限制，之后你就需要付费了。你可以轮流使用不同的服务和账户，直到你有钱购买自己的 GPU 。