AI大模型应用性能分析培训大纲

• AI发展史
• 早期阶段（1950s–1970s）
• 知识工程时代（1970s–1980s）
• 机器学习兴起（1980s–1990s）
• 深度学习突破（2000s–2010s）
• 大模型时代（2010s至今）

基础概念：

• 人工智能 / 机器学习 / 深度学习 / AI大模型
• FNN / RNN / CNN / GNN / GAN / Diffusion
• Transformer
• 大型语言模型（LLM）
• 提示词工程
• 量化

Transformer架构解析：

• 词嵌入 / 词元嵌入
• 位置编码
• 重复的Transformer块
• 多头注意力机制（QKV / 多头 / 掩码 / 输出）
• 多层感知器（MLP）
• 输出逻辑值（概率 / 温度 / Top‑K / Top‑P）
• 残差连接
• 层归一化
• Dropout

提供完整的示例代码

• 项目介绍
• 环境准备
• 项目结构
• 核心代码实现
• 配置文件
• 数据处理模块
• 模型架构
• 训练脚本
• 推理脚本
• 完整训练流程
• 环境准备
• 数据准备
• 配置设置
• 模型训练
• 模型评估
• 模型保存
• 模型推理
• 模型分析
• 进阶优化

• 编写脚本查看权重文件内部结构
• 权重文件架构解析
• DeepSeek系列 / Qwen系列
• — 配置信息
• — 架构类型
• — 模型详细参数
• — 架构特征分析

• 常见的RAG技术架构
• 常见的Agent技术架构
• 技术架构（选择一个解析）
• Dify技术架构

提供完整的示例代码

• 编写一个RAG应用示例
• 编写一个Agent应用示例
• 编写一个SpringAI应用示例

• Ollama搭建与使用
• Dify环境搭建与使用

提供完整的示例DSL

• 明确性能测试智能体 / 工作流目标
• 编写中间件服务（配合性能测试智能体使用）
• 设定性能场景执行目标
• 设计性能测试智能体 / 工作流整体流程
• 连通LLM大模型实现性能分析
• 执行压测智能体 / 工作流
• 输出性能分析报告
• 循环执行
• 自动化编写最终性能测试报告

• 权重微调推理关键参数与指标
• RAG应用关键参数与指标
• Agent应用关键参数与指标

• 压力场景分析
• TPOT
• TTFT
• 系统架构分析
• 代码逻辑
• 请求路径
• 组件列表
• 响应时间拆分
• 分段
• 分层
• 全局监控分析
• 性能分析决策树
• 定向监控分析
• 性能瓶颈证据链
• 判断性能瓶颈
• 定位瓶颈点
• 提出解决方案
• 执行方案并比对结果

• 技术组件列表
• 监控模型
• AI大模型应用监控分析工具（Python版本）
• cProfile
• line_profiler
• memory_profiler
• py-spy
• pytoscope

• SSE介绍
• SSE性能测试难点

• JMeter编写SSE脚本
• 传统测试工具的弊端

• AI大模型推理评估工具
• GuideLLM
• EvalScope
• LM‑Evaluation‑Harness

提供完整的示例代码

• 设计并编写AI大模型压力测试工具
• 项目概述
• 技术栈选择
• 架构设计
• 逐步实现
• 第一步：项目初始化
• 第二步：基础框架搭建
• 第三步：实现流式响应处理
• 第四步：实现性能指标计算
• 第五步：实现线程安全的参数化提供器
• 第六步：实现多线程并发测试
• 第七步：实现实时统计汇总
• 第八步：实现命令行接口
• 关键技术详解
• 测试与优化
• 扩展功能
• 最佳实践

• 第一部分：模型微调优化策略
• 参数高效微调（PEFT）
• 梯度优化策略
• 数据优化策略
• 训练配置优化
• 硬件与分布式优化
• 框架特定优化
• 第二部分：模型推理优化策略
• 模型量化技术
• 注意力机制优化
• 批处理与并发优化
• 推理框架选择与优化
• 编译与加速技术
• 系统级优化
• 缓存策略
• 优化策略效果评估
• 微调优化效果
• 推理优化效果
• 优化方案组合推荐
• 方案一：资源充足场景
• 方案二：资源受限场景
• 方案三：高吞吐量场景
• 方案四：低延迟场景
• 实施指南
• 微调实施步骤
• 推理部署步骤
• 高级优化技术
• 模型架构优化
• 1.1 注意力机制变体
• 1.2 位置编码优化
• 数据流水线优化
• 2.1 异步数据加载
• 2.2 数据增强
• 模型压缩技术
• 3.1 知识蒸馏
• 3.2 模型剪枝
• 性能评估与基准测试
• 评估指标
• 基准测试方法