华人大神出手 A卡“炼丹”能力追上来：RTX4090八成性能
2023-08-15 15:48:21
来源：快科技
【资料图】
除了玩游戏，NVIDIA的显卡还在AI加速上遥遥领先，不仅科技巨头都在抢A100/H100等显卡，GeForce游戏卡也是普通人搞AI炼丹的选择，AMD显卡在这方面落后不少。
好消息是AMD现在也能追上来了，深度学习领域的华人大神、OctoML CTO陈天奇带领团队在AMD显卡上做出了大模型推理的方案，这意味着业界又有NVIDI之外的选择，不用为N卡抢破头、加价而困扰了。
根据他的优化算法，在Llama2的7B和13B大模型中，用RX 7900 XTX显卡也能跑出让人满意的性能，性能已经达到了RTX 4090显卡82%或者RTX 3090 Ti显卡的94%水平。
不仅是性能追上来了，AMD显卡的性价比也要高得多，RX 7900 XTX跟其他两款显卡都是24GB显存，但只要999美元，RTX 4090、RTX 3090 Ti分别是1599、1999元，价格高出60-100%。
当然，RX 7900 XTX现在的价格早就松动了，实际售价比999美元便宜不少，而N卡价格一直坚挺。
究其根底，A卡在AI炼丹能力上的提升，尤其是RX 7900 XTX这样的游戏卡能有质变，还是AMD最近在ROCm软件生态上的改进，以前后者对游戏卡及Win平台的支持很差，4月份开始不仅支持Windows系统，也加入了对RX 7900及工作站显卡的支持。
同时AMD还发布了ROCm HIP SDK，允许开发者将针对CUDA平台开发的代码轻松迁移到AMD平台，这有是陈天奇等大神可以在AMD显卡上推动AI能力提升的基础。
标签：
