2024年9月20日

趁十一假期住准备做一个AI个人Demo项目,使用的模型需要进行训练,考虑租用GPU不如直接囤两块,未来如果不用还可以拿出去卖了,所以做了个GPU选型,但是A100,H100涉及风险比较大(比如售后,锁卡,等等),这里仅将个人选型进行讨论。

选型目标1.多模态模型的生产(训练)2.性价比高,纯GPU价格在20万左右(自有Pcie 4.0 服务器)3.目前不需要考虑推理所需算力(推理部分选择公网云资源)4.GPU并联,CPU&GPU互通效率高

目前确定是在A100和H100中选型,目前两款GPU均为仅售GPU,且有锁卡风险。但是为了筹备11月中旬的个人项目上线由于阉割太重从而不考虑,A800带宽不足且性价比较低。

所以主要考虑的型号为:H100 80g和A100 80g。目前只看Pcie接口。通过NvLink最多能桥接两块。

因为目前基本没有官方途径买到a100和h100,所以以上价格参考非官网途径,价格随市场需求浮动且

所以按照GPU能选择的服务器型号在有限的资金下(3w左右)就比较有限。所有平装GPU的服务器都用不了。资金限制下选择了塔式服务器。

发表评论

邮箱地址不会被公开。 必填项已用*标注