但是nvlink也是有用的,但是作用有限,因为pcie版本的显卡nvlink只支持双卡。sxm版本的nvlink就有用多了。
nvlink的作用是提供了一种更快的显卡间高速通信方式,是非常有用的。多卡间需要需要使用nvlink或者pcie来交换梯度,梯度是非常大的。双卡下大约10-20%左右的时间是用来同步数据上的。
nvlink可以大大的加快这个进程,提高显卡利用率。然而nvlink使用条件很苛刻,需要代码的支持,大部分情况下是用不到的。
然而,上面的情况只针对于训练模型。

如果你只是用多卡来跑大语言模型,或者stable diffusion画图,nvlink对你作用是0,用pcie就好了。

另外显卡最低保证提供pcie3.0 *8的通信带宽,低于这个数值会严重影响显卡性能的发挥。
