首页 - 科技 > AMD显卡可以本地玩DeepSeek了！附简单部署教程！

AMD显卡可以本地玩DeepSeek了！附简单部署教程！

发布于：2025-02-09 作者：凹凸曼 阅读：57

DeepSeek火得一塌糊涂，国内外的相关企业都在积极适配支持，而对于AI大模型来说，使用GPU运行无疑是最高效的，比如AMD，无论是Instinct加速卡还是Radeon游戏卡，都已经适配到位。

你只需要任意一块AMD RX 7000系列显卡，就可以在本地体验DeepSeek。

AMD显卡可以本地玩DeepSeek了！附简单部署教程

AMD Radeon游戏卡本地部署DeepSeek非常简单，只需打开AMD官网(中英文均可)，搜索“15.1.1”，进入第一个结果，下载AMD Adrenalin 25.1.1测试版驱动，安装并重启。

直接下载地址：

https://www.amd.com/zh-cn/resources/support-articles/release-notes/RN-RAD-WIN-25-1-1.html

AMD显卡可以本地玩DeepSeek了！附简单部署教程

然后打开LM Studio官网网站的锐龙专栏(https://lmstudio.ai/ryzenai)，并下载LM Studio for Ryzen AI安装包，安装并运行。

AMD显卡可以本地玩DeepSeek了！附简单部署教程

启动之后，点击右下角设置(可选中文语言)，找到并开启“Use LM Studio's Hugging Face”这个选项。

AMD显卡可以本地玩DeepSeek了！附简单部署教程

回到主界面，在左侧菜单栏点击搜索图标，输入“DeepSeek R1”，就可以看到已经训练好的各种DeepSeek模型。

AMD显卡可以本地玩DeepSeek了！附简单部署教程

至于如何选择，可以参考如下的AMD官方推荐列表，比如旗舰级的RX 7900 XTX可以支持到32B参数，主流的RX 7600则仅支持8B模型。

顺带一提，最新的中国特供版显卡RX 7650 GRE也同样支持本地部署DeepSeek，只待正式发布。

AMD显卡可以本地玩DeepSeek了！附简单部署教程

然后下载合适的模型，在主界面上方选择已下载的模型，然后调高“GPU Offload”的数值，不同选项的具体含义可自行搜索或者直接询问DeepSeek。

AMD显卡可以本地玩DeepSeek了！附简单部署教程

AMD显卡可以本地玩DeepSeek了！附简单部署教程

模型加载完毕后，就可以尽情地在本地体验DeepSeek了。

AMD显卡可以本地玩DeepSeek了！附简单部署教程

与此同时，AMD Instinct GPU加速卡也已经部署集成DeepSeek V3模型，并优化了SGLang性能，支持完整的671B参数，开发者可以借助AMD ROCm平台快速、高效地开发AI应用。

1、启动Docker容器

docker run -it --ipc=host --cap-add=SYS_PTRACE --network=host \

 --device=/dev/kfd --device=/dev/dri --security-opt seccomp=unconfined \

 --group-add video --privileged -w /workspace lmsysorg/sglang:v0.4.2.post3-rocm630

2、开始使用

(1)、使用CLI登陆进入Hugging Face。

huggingface-cli login 

(2)、启动SGLang Server，在本地部署DeepSeekV3 FP8模型。

python3 -m sglang.launch_server --model-path deepseek-ai/DeepSeek-V3 --port 30000 --tp 8 --trust-remote-code

(3)、服务器启动后，打开新的终端，发送请求。

curl http://localhost:30000/generate \

 -H "Content-Type: application/json" \

 -d '{

  "text": "Once upon a time,",

  "sampling_params": {

  "max_new_tokens": 16,

  "temperature": 0

 }

}'

3、基准测试

export HSA_NO_SCRATCH_RECLAIM=1

python3 -m sglang.bench_one_batch --batch-size 32 --input 128 --output 32 --model deepseek-ai/DeepSeek-V3 --tp 8 --trust-remote-code

python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-V3 --tp 8 --trust-remote-code

python3 benchmark/gsm8k/bench_sglang.py --num-questions 2000 --parallel 2000 --num-shots 8

Accuracy: 0.952

Invalid: 0.000

另外，如果需要BF16精度，可以自行转换：

cd inference

python fp8_cast_bf16.py --input-fp8-hf-path /path/to/fp8_weights --output-bf16-hf-path /path/to/bf16_weights

AMD显卡可以本地玩DeepSeek了！附简单部署教程

二维码

扫一扫关注我们

版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件至 3941001135@qq.com举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

上一篇：儿子砸车窗取AED救下心梗父亲 车主：不需要对方赔偿！

下一篇：观看人次超1.6亿！《哪吒2》获得中国影史观影人次榜冠军！

相关文章

客服QQ：3941001135

客服邮箱：3941001135@qq.com

二维码

本站部分文字及图片均来自于网络，如有侵权请及时联系删除处理

Copyright © 2023 本站技术支持0571YP技术支持 苏ICP备2024129037号-1