课程概览
NVIDIA AI 培训班，学习大规模推理系统部署与优化
- 掌握LLM推理核心规律
- 构建可观测、高性能的生产级推理系统
- 使用NVIDIA Dynamo部署模型
- 获得NVIDIA课程证书
- 实时中文授课答疑
单节价 = 总价 ÷ 课时；每小时价 = 总价 ÷ 总时长。帮你把"贵不贵"算清楚。
避坑提示 报名前先看这些
- ⚠ 价格 未公开，报名前务必确认
- ? 课时 未说明，无法折算单节价
- ✓ 退款 退款规则已公开
- ⚠ 老师 老师信息待核验
- ✓ 大纲 课程内容已公开
- ⚠ 工具费用 是否额外收取工具/账号费用未说明
- ? 学员评价 暂无足够已验证学员评价，口碑待积累
提示由平台按公开信息标准化生成，不代表机构有问题；报名前请向机构确认价格、退款与是否含工具/账号费用。
课程内容
- 设计、部署和优化大规模推理系统
- 应对大语言模型测试时计算
- 使用NVIDIA Dynamo实现聚合式推理
- 部署Prometheus、Grafana等可观测性堆栈
- 衡量推理性能的关键指标
- 实证基准比较不同推理系统架构
- 在分布式环境中部署模型
课程详情
欢迎报名 NVIDIA 深度学习培训中心（DLI）8 月 6 日举办的 AI 培训班《大规模部署与优化 AI 推理》，学习如何设计、部署和优化大规模推理系统，以应对大语言模型 (LLM) 迈向更深层次的测试时计算。本课程由 NVIDIA 认证讲师全天实时中文授课和答疑，配合云端实验环境动手实操，涵盖 vLLM、NVIDIA Dynamo 聚合式推理架构，以及 Prometheus、Grafana 等完整可观测性堆栈的部署与使用，完成课内测试可获得 NVIDIA 课程证书。
掌握 LLM 推理核心规律，
构建可观测、高性能的生产级推理系统
开课时间
2026 年 8 月 6 日
课程名称
《大规模部署与优化 AI 推理》
课程概要
学习如何设计、部署和优化大规模推理系统，以应对大语言模型迈向更深层次的测试时计算
学习目标
从第一性原理出发思考 LLM 推理，包括预填充 (prefill) 与解码 (decode) 的对比、KV-Cache 扩展以及内存与计算之间的权衡
在 Kubernetes 上部署基于 vLLM 的推理系统，从单体式服务开始
使用 NVIDIA Dynamo 实现聚合式与非聚合式推理，并支持 KV-aware 的路由与调度
暴露推理服务并跟踪 Token 级别使用情况，用于监测与成本管理
部署 Prometheus、Grafana、Loki 和 Tempo，以观察请求、标记和系统组件层面的推理行为
使用关键指标 (如 TTFT、跨 Token 延迟、吞吐量和尾延迟) 衡量推理性能
通过实证基准比较单体式、网关式与非聚合式推理系统之间的架构权衡
在本课程中，学习者将使用 NVIDIA Dynamo 在分布式环境中部署模型。
预备知识
命令行操作熟练
具备配置文件 (例如 YAML、JSON) 使用经验
熟悉容器及基于容器的工作流 (例如 Docker)，并对 Kubernetes 有基本了解
对 LLM 推理概念有基本理解
熟悉分布式计算概念，如数据并行或模型并行
课程使用的工具 / 技术 / 框架
NVIDIA Dynamo
课程模式
NVIDIA 认证讲师实时授课答疑，每位学员可使用完全配置的云端实验环境进行练习
课程证书
成功完成课程和课内测试后，获得 NVIDIA 课程证书
课程语言
中文
课件有效期
课后 6 个月内可以继续访问课件 (实验资源用量有限额)
课程费用
3500 RMB / 人，购买 5 个席位，立享 8 折优惠。全日制高校师生可享 7 折。
也可复制并访问：
bagevent.com/event/8359360
NVIDIA AI 培训班定期培训课程表
8 月 6 日：《大规模部署与优化 AI 推理》
8 月 20 日：《使用大语言模型构建代理式 AI》
9 月 3 日：《使用多模态构建 AI 智能体》
9 月 17 日：《加速计算基础 —— CUDA C++ 前沿技术》
NVIDIA 认证 8 - 9 月考位开放报名
为什么要考 NVIDIA 认证？
在 AI 快速落地的时代，技术能力需要看得见的证明。NVIDIA 认证帮助您在生成式 AI、数据科学、AI 基础架构等核心领域建立公信力 —— 无论是对客户、合作伙伴，还是您自己的团队。
考试面向开发者与 IT 专业人员，分为 Associate (初级) 和 Professional (中级) 两个级别，共 11 门科目，覆盖主流 AI 技术方向。考取 NVIDIA 认证，不只是个人职业竞争力的加分项，也是团队技术实力对外的可靠背书。
欢迎您和团队、伙伴及身边的技术人员一同报考，共同解锁更多发展机遇。
考试时间和地点
（每场考试任选一门科目）
北京考试日：8 月 19 日：13:30 - 15:30、15:45 - 17:45
上海考试日：9 月 16 日：13:30 - 15:30、15:45 - 17:45
考试地点：NVIDIA 北京或上海办公室
NVIDIA 证书和徽章
通过认证考试，您将获得全球同步的电子徽章和数字证书，并被收录于 NVIDIA 认证名录中。
考试语言
可选中文或英文
选择考试和备考
也可复制并访问：
nvidia.cn/training/certification
NVIDIA 培训精选合集
