第一天：基石篇-机器人运动与视觉感知

主题：构建智能体的“手”与“眼”

时间

主题

研修内容

第一天
上午

机械臂
基础控制

1.开营与平台概览：介绍机器人在具身智能中的角色。
2.开发环境搭建及配置。
3.讲解机械臂的基础结构以及动作操控。
实践1：舵机控制节点。
编程实现：机械臂的4号舵机在200-500角度来回旋转，并且在终端打印出电机话题信息。
实践2：LED控制节点。
编程实现：控制板板载的LED灯闪烁蓝灯十次后停止，并且在终端打印出LED参数信息。
实践3：蜂鸣器控制节点。
编程实现：驱动板板载的蜂鸣器“滴”十次后停止，并且在终端打印出蜂鸣器参数信息。

机械臂
高级控制

深入理解机械臂的运动学原理，涵盖正运动学与逆运动学。
实践1：正运动学分析及编程实现。
编程实现：机械臂根据设置好的舵机脉冲宽度计算并移动到目标位置，终端可以看到相关信息。
实践2：逆运动学分析及编程实现。
编程实现：机械臂首先根据目标位置的位姿，自动求解各关节电机应转动的角度，显示在终端上，最后移动到目标位置。

第一天
下午

OpenCV视觉
-定位夹取

结合ROS2平台，运用OpenCV进行高效的视觉处理。
实践1：相机标定与调用：摄像头调用、内参标定原理与实操。
实践2：图像处理核心：颜色空间转换、颜色阈值调节，为识别目标打下基础。
实践3：从2D到3D：像素坐标计算、物体位姿计算、透视变换与坐标系转换。
实践4：轨迹规划、定位夹取、颜色分拣。

第二天：进阶篇-智能决策与轨迹规划
主题：赋予智能体“思考”与“规划”能力

第二天
上午

OpenCV视觉
-目标追踪

引入PID控制原理，让机械臂能跟随运动的物体。
实践1：色块追踪。
编程实现：把红色方块放在机械臂的摄像头前方，回传画面中会标识出识别到的目标颜色，同时机械臂会一直跟随目标方块移动。
实践2：标签追踪。
编程实现：把标签放在机械臂的摄像头前方，回传画面中会标识出识别到的标签ID，同时机械臂会一直跟随标签移动。
实践3：KCF追踪。
编程实现：把要追踪的物品放在摄像头前方，在回传画面的窗口按下键盘上的“S”，接着使用鼠标左键框选物品，最后按下回车即可，这时机械臂会一直跟随选中物品移动。

深度相机

应用

搭配深度相机，结合ROS 2进行三维视觉处理
实践1：深度图伪彩色处理。
编程实现：机械臂会将RGB彩色图像画面和深度图像画面回传在屏幕上，可以看到根据距离的远近，深度图像回传画面的颜色深浅会有不同。
实践2：距离测量。
编程实现：机械臂会将RGB彩色图像画面和深度图像画面回传在屏幕上，可以看到深度图像上标记出距离最近的点和距离，通过鼠标左键单击可以标记点击点并获取距离，通过左键双击或者滚轮单击，可以取消标记点恢复最小距离测量。
实践3：深度图的转换。
编程实现：机械臂会将裁剪好的点云数据转换为深度图像传入可视化窗口，可以在回传画面看到深度图像，通过按住鼠标左键或者滚轮拖动来查看不同角度的点云，滑动鼠标滚轮来放大点云，方便更好的查看。

第二天
下午

深度相机

应用

实践4：高度检测夹取。
编程实现：将30x30mm和40x40mm的木块放入机械臂识别区域，机械臂会根据木块高度进行判断，将较大的木块夹走。
实践5：三维空间抓取。
编程实现：机械臂会抬起深度相机朝前看，识别到空中的色块，对色块进行追踪，获取色块位姿对色块进行抓取并放置到指定位置。
实践6：三维形状分拣。
编程实现：机械臂将识别视野区域内的长方体、圆柱体、球体，对其进行夹取和分类，放置到对应位置。

第三天：融合篇-多模态AI与具身智能系统集成
主题：创制真正的“多模态具身智能体”

第三天
上午

智能“大脑”

实践1：大语言模型。
大语言模型概述、部署与调用，编程实现语义理解、情绪感知能力等功能。
实践2：语音大模型。
编程实现语音唤醒、语音识别、语音合成、语音交互等功能。
实践3：大视觉模型。
视觉大模型调用，编程实现目标识别、场景理解、文字识别等功能。

多模态
大模型应用

实现在语音控制、色块分拣中的应用。
实践1：语音控制。
编程实现：可以自由组织语言，例如：“1号舵机旋转90°”，控制机械臂的1号舵机旋转90°方向。
实践2：色块分拣。
编程实现：可以自由组织语言，例如：“将绿色的方块拿走”，控制机械臂自动识别并抓取前方视线范围内的绿色方块并放置到机械臂的左边。

第三天
下午

具身智能
应用

综合利用三天所学，设计具身智能应用原型。
实践1：实时检测。
编程实现：可以自由组织语言，例如：“你看到了什么”，机械臂自动识别视线范围内的场景并进行思考，将目前的场景内容都描述出来。
实践2：视觉追踪。
编程实现：可以自由组织语言，例如：“追踪紫色的球”，控制机械臂自动追踪视野范围内紫色的球，并在画面中将紫色的球框选出来，当其置于画面中心位置停止追踪。
实践3：三维物体分拣。
编程实现：可以自由组织语言，例如：“将圆柱体拿走”，控制机械臂自动抓取前方视线范围内的圆柱体方块并放置到机械臂的左侧。