笔记本吧 关注：5,004,073贴子：89,023,471
- 10回复贴，共1页
不感兴趣
开通SVIP免广告
比较难，我给您提供几个数据：
前提假定您使用Ollama跑LLVM，为了更少的占用资源，我假定您使用Linux系统，不使用其他辅助工具 ------ 纯命令行方式，最小的占用资源：
1）Google的gemna3:27b：其大模型占用是17G，实际运行测试（Ubuntu Linux 24.04Lts）大致需要70G，当然，您可以使用较小规模的模型，如12b：则模型大小为8.1G；更小的4b个人认为意义不大
2）以国内的deepseek-r1为例：满血版就不要想了，671b仅模型数据就要404G，我们假定70b大模型，模型数据也要43G，几乎消费显卡也不大可能；针对消费电脑，目前可行的只有8b，其数据模型也要4.9G
。。。。。
-------------------------------------------------------------------------------------------------------------
结论：
即，综合以上来看，即使跑较小的模型：显卡的显存至少要在8G以上 ------ 还只是诸如8b或4b这种小规模的模型；同时，如果显存较小，您可能需要消耗更到的内存，即电脑内存可能会达到64G甚至更大（27b实测70G内存）：即40系8G或以上显存，主机内存是少32G甚至64G或更高
目前比较好的解决办法是使用统一内存的电脑，如MacPro或者AMD新出的AMD AI Max 395，且要128G版本 ------ 只是这个售价大约到2万元以上了；基本跑32b或27b规模的大模型问题不大
--------------------------------------------------------------------------------------------------------------
图例是我的电脑：移动工作站，128G内存 + A400专业显卡，系统Ubuntu 24.04LTS；运行Gemma3:27b时内存消耗截图：图中演示是我询问我本地部署的Gemma3:27b本地部署deepseek-r1需要的电脑配置
前提假定您使用Ollama跑LLVM，为了更少的占用资源，我假定您使用Linux系统，不使用其他辅助工具 ------ 纯命令行方式，最小的占用资源：
1）Google的gemna3:27b：其大模型占用是17G，实际运行测试（Ubuntu Linux 24.04Lts）大致需要70G，当然，您可以使用较小规模的模型，如12b：则模型大小为8.1G；更小的4b个人认为意义不大
2）以国内的deepseek-r1为例：满血版就不要想了，671b仅模型数据就要404G，我们假定70b大模型，模型数据也要43G，几乎消费显卡也不大可能；针对消费电脑，目前可行的只有8b，其数据模型也要4.9G
。。。。。
-------------------------------------------------------------------------------------------------------------
结论：
即，综合以上来看，即使跑较小的模型：显卡的显存至少要在8G以上 ------ 还只是诸如8b或4b这种小规模的模型；同时，如果显存较小，您可能需要消耗更到的内存，即电脑内存可能会达到64G甚至更大（27b实测70G内存）：即40系8G或以上显存，主机内存是少32G甚至64G或更高
目前比较好的解决办法是使用统一内存的电脑，如MacPro或者AMD新出的AMD AI Max 395，且要128G版本 ------ 只是这个售价大约到2万元以上了；基本跑32b或27b规模的大模型问题不大
--------------------------------------------------------------------------------------------------------------
图例是我的电脑：移动工作站，128G内存 + A400专业显卡，系统Ubuntu 24.04LTS；运行Gemma3:27b时内存消耗截图：图中演示是我询问我本地部署的Gemma3:27b本地部署deepseek-r1需要的电脑配置
