weisunit的博客
想想全是问题,行动全是答案
工具
项目
it-tools
linux-command
往期整理
历史归档
文章分类
文章标签
工具
项目
it-tools
linux-command
往期整理
历史归档
文章分类
文章标签
目录
0%
1. 为什么选 4 × RTX PRO 6000 Blackwell
2. 整机配置推荐
3. Ubuntu 24.04 LTS 系统部署
3.1 装系统
3.2 关掉不安分的默认组件
3.3 创建运行用户与目录
4. NVIDIA 驱动与 CUDA 安装
4.1 禁用 nouveau
4.2 确认 GPU 被识别
4.3 安装内核头文件
4.4 添加 NVIDIA 官方仓库并装驱动
4.5 安装 CUDA Toolkit
4.6 验证
4.7(可选但推荐)Docker + NVIDIA Container Toolkit
5. vLLM 部署
5.1 为什么是 vLLM
5.2 裸机安装
5.3 四卡启动服务(张量并行 TP=4)
5.4 关于并行策略的实操建议
5.5 验证 OpenAI 兼容接口
5.6 Docker 方式(团队推荐)
5.7 跑个基准
6. 适合中小企业的模型选型建议
7. 踩坑清单
参考来源
0%