咱只能说，老黄刀法精准，且越来越娴熟😏。

可能是和40hx一样半精度相关单元阉割？

可以帮试试pr和剪映能正常调用吗？

@杜家山人 占用刚好19g

tensor core阉割完了，魔改20g意义不大

借了一张2080ti 22g用来测试，单卡能跑的模型都跑了，然后给我50hx 20g显存带宽超频到跟2080ti 22g相同的水平后，又做了测试，主要是测试q8量化的模型：
按q8模型计算，2080ti 22g比50hx 20g的推理速度快18％，将50hx显存带宽超频到跟2080ti 22g相同后，推理速度差距缩小到11％，同时因为2080ti核心规模本来就比50hx大26％，这个速度差距我认为是正常的。
结论就是跑q8模型可以发挥50hx 20g该有的理论性能水平，我查到两张2080ti 22g跑32b q8模型的推论速度大概是13tok/s，这样算的话，要是有两张50hx 20g跑32b q8，速度也能有11tok/s

2080ti和50hx两张组一起,跑一下32B

技术帖

单卡t10 7b q4 55.53tok/s，楼主用的是不是unsloth的模型？倒是7b q8能37.39tok/s和50hx差不多，14b q4 31.96tok/s，14b q8 20.83tok/s，不知道50hx多少功耗t10只有150w，如果模型相同的情况下可能就是矿卡阉割东西了

原来还有些兴趣，以为相比我的p106有些不少提升，毕竟也升到了x16通道，但是看你一评测，只能说适合玩AI、挖矿的人了，我这种没钱的游戏党还是没必要来碰这个了