https://liangweidonggood.github.io/tags/slam/Recent content in SLAM on Liangweidong's blogHugo -- gohugo.iozh-cnSun, 15 Nov 2015 00:00:00 +0800https://liangweidonggood.github.io/p/ji-qi-ren-he-xin-ji-zhu-2015/Sun, 15 Nov 2015 00:00:00 +0800https://liangweidonggood.github.io/p/ji-qi-ren-he-xin-ji-zhu-2015/<img src="https://liangweidonggood.github.io/p/ji-qi-ren-he-xin-ji-zhu-2015/image/cover.jpg" alt="Featured image of post 机器人核心技术与学习路径：感知/认知/行为/数学基础" /><h2 id="机器人核心领域">机器人核心领域 </h2><p>机器人技术横跨 4 大学科，<strong>4 个领域的&quot;地基&quot;必须打牢</strong>才能造出能跑、能感知、能思考的机器人：</p> <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code><span class="lnt"> 1 </span><span class="lnt"> 2 </span><span class="lnt"> 3 </span><span class="lnt"> 4 </span><span class="lnt"> 5 </span><span class="lnt"> 6 </span><span class="lnt"> 7 </span><span class="lnt"> 8 </span><span class="lnt"> 9 </span><span class="lnt">10 </span><span class="lnt">11 </span></code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-fallback" data-lang="fallback"><span class="line"><span class="cl">1. 感知（Perception） </span></span><span class="line"><span class="cl"> └─ 视觉、触觉、力、惯导 </span></span><span class="line"><span class="cl"> </span></span><span class="line"><span class="cl">2. 认知（Cognition） </span></span><span class="line"><span class="cl"> └─ AI、知识表达、规划、任务调度、机器学习 </span></span><span class="line"><span class="cl"> </span></span><span class="line"><span class="cl">3. 行为（Behavior / Action） </span></span><span class="line"><span class="cl"> └─ 运动学、动力学、控制、manipulation、locomotion </span></span><span class="line"><span class="cl"> </span></span><span class="line"><span class="cl">4. 数学基础（Mathematics） </span></span><span class="line"><span class="cl"> └─ 最优估计、微分几何、计算几何、运筹学 </span></span></code></pre></td></tr></table> </div> </div><h2 id="1-感知perception">1. 感知（Perception） </h2><p>机器人通过传感器感知世界：</p> <table> <thead> <tr> <th>传感器</th> <th>用途</th> </tr> </thead> <tbody> <tr> <td><strong>相机</strong>（单目 / 双目 / RGB-D）</td> <td>视觉识别、SLAM、物体检测</td> </tr> <tr> <td><strong>激光雷达（LiDAR）</strong></td> <td>2D/3D 距离扫描、建图</td> </tr> <tr> <td><strong>IMU（惯性测量单元）</strong></td> <td>加速度、角速度</td> </tr> <tr> <td><strong>编码器</strong></td> <td>轮式里程计</td> </tr> <tr> <td><strong>GPS</strong></td> <td>户外定位</td> </tr> <tr> <td><strong>力 / 触觉传感器</strong></td> <td>抓取反馈</td> </tr> <tr> <td><strong>超声 / 红外</strong></td> <td>近距离避障</td> </tr> <tr> <td><strong>深度相机</strong>（RealSense / Kinect）</td> <td>3D 重建</td> </tr> </tbody> </table> <p><strong>关键算法</strong>：</p> <ul> <li><strong>视觉里程计</strong>（VO / VIO）：从图像估计相机运动</li> <li><strong>SLAM</strong>（Simultaneous Localization and Mapping）：同时定位与建图</li> <li><strong>目标检测</strong>：YOLO / Faster R-CNN</li> <li><strong>语义分割</strong>：U-Net / DeepLab</li> <li><strong>点云处理</strong>：ICP、NDT、PCL 库</li> </ul> <h2 id="2-认知cognition">2. 认知（Cognition） </h2><p>机器人&quot;思考&quot;——理解环境、做决策：</p> <table> <thead> <tr> <th>任务</th> <th>技术</th> </tr> </thead> <tbody> <tr> <td><strong>任务规划</strong></td> <td>PDDL、HTN、分层任务网络</td> </tr> <tr> <td><strong>路径规划</strong></td> <td>A*、D*、RRT、PRM</td> </tr> <tr> <td><strong>决策</strong></td> <td>MDP、POMDP、深度强化学习</td> </tr> <tr> <td><strong>自然语言</strong></td> <td>LLM、对话系统、意图理解</td> </tr> <tr> <td><strong>机器学习</strong></td> <td>CNN、RNN、Transformer</td> </tr> </tbody> </table> <p><strong>关键技术</strong>：</p> <ul> <li><strong>SLAM</strong>（同步定位与建图）</li> <li><strong>路径规划</strong>（A* / RRT / 动态窗口法）</li> <li><strong>强化学习</strong>（DQN / PPO）</li> <li><strong>大模型 + 机器人</strong>（RT-2、PaLM-E 等）</li> </ul> <h2 id="3-行为behavior--action">3. 行为（Behavior / Action） </h2><p>机器人&quot;动&quot;——执行动作、保持平衡：</p> <table> <thead> <tr> <th>子领域</th> <th>内容</th> </tr> </thead> <tbody> <tr> <td><strong>运动学</strong>（Kinematics）</td> <td>关节角度 → 末端位置（正运动学）、反向（逆运动学）</td> </tr> <tr> <td><strong>动力学</strong>（Dynamics）</td> <td>力 / 力矩 → 运动（牛顿-欧拉方程）</td> </tr> <tr> <td><strong>控制</strong>（Control）</td> <td>PID、MPC、自适应控制、强化学习</td> </tr> <tr> <td><strong>Manipulation</strong></td> <td>抓取、操作、灵巧手</td> </tr> <tr> <td><strong>Locomotion</strong></td> <td>步行（四足 / 双足）、轮式、履带、飞行</td> </tr> </tbody> </table> <p><strong>核心算法</strong>：</p> <ul> <li><strong>正运动学</strong>：DH 参数</li> <li><strong>逆运动学</strong>：解析法 / 数值法（雅可比 + 迭代）</li> <li><strong>PID 控制</strong>：比例-积分-微分，<strong>最常用</strong></li> <li><strong>MPC</strong>（Model Predictive Control）：滚动优化</li> <li><strong>SLAM + 控制</strong>：自主导航栈</li> </ul> <h2 id="4-数学基础">4. 数学基础 </h2><p>机器人背后是数学：</p> <table> <thead> <tr> <th>数学</th> <th>用途</th> </tr> </thead> <tbody> <tr> <td><strong>线性代数</strong></td> <td>位姿表示、变换矩阵</td> </tr> <tr> <td><strong>概率论</strong></td> <td>贝叶斯滤波、SLAM、定位</td> </tr> <tr> <td><strong>微分几何</strong></td> <td>流形、李群（SO(3)、SE(3)）</td> </tr> <tr> <td><strong>最优化</strong></td> <td>路径规划、MPC、SLAM 后端</td> </tr> <tr> <td><strong>计算几何</strong></td> <td>碰撞检测、点云配准</td> </tr> <tr> <td><strong>运筹学</strong></td> <td>任务调度、多机器人协同</td> </tr> </tbody> </table> <h3 id="关键数学概念">关键数学概念 </h3><ul> <li><strong>SO(3)</strong>：3D 旋转群</li> <li><strong>SE(3)</strong>：3D 刚体变换群</li> <li><strong>李群 / 李代数</strong>：旋转求导</li> <li><strong>卡尔曼滤波</strong>：最优估计</li> <li><strong>图优化</strong>：SLAM 后端（g2o / GTSAM）</li> <li><strong>凸优化</strong>：MPC、轨迹优化</li> </ul> <h2 id="robocon-全国大学生机器人大赛">Robocon 全国大学生机器人大赛 </h2><p>中国 2002 年起的机器人赛事，<strong>全国电子工程、机械工程、计算机三大专业学生</strong>同台竞技。</p> <ul> <li>每年一个主题（如&quot;投壶&quot;、&ldquo;马术&rdquo;、&ldquo;吴哥之花&rdquo;）</li> <li>团队 5~10 人分<strong>机械设计 / 电控 / 嵌入式 / 视觉 / 战略</strong></li> <li>半年备赛期，180 秒内完成规定动作</li> <li>培养 <strong>动手能力 + 团队协作 + 抗压能力</strong></li> </ul> <h2 id="学习路径">学习路径 </h2><h3 id="第一阶段基础理论大一大二">第一阶段：基础理论（大一~大二） </h3><ul> <li><strong>数学</strong>：高等数学、线性代数、概率论、离散数学</li> <li><strong>编程</strong>：C / C++ / Python</li> <li><strong>电路</strong>：数电 / 模电基础</li> <li><strong>机械</strong>：理论力学、材料力学</li> </ul> <h3 id="第二阶段核心技能大二大三">第二阶段：核心技能（大二~大三） </h3><ul> <li><strong>自动控制原理</strong>（经典控制 / 现代控制）</li> <li><strong>机器学习</strong>（西瓜书 / 统计学习方法）</li> <li><strong>嵌入式</strong>（STM32、FreeRTOS、Linux）</li> <li><strong>机器人操作系统 ROS</strong></li> <li><strong>SLAM</strong>（视觉 / 激光）</li> <li><strong>机械设计 / SolidWorks / CAXA</strong></li> </ul> <h3 id="第三阶段方向专精大三大四">第三阶段：方向专精（大三~大四） </h3><ul> <li><strong>感知方向</strong>：计算机视觉、深度学习</li> <li><strong>决策方向</strong>：强化学习、规划算法</li> <li><strong>控制方向</strong>：MPC、最优控制</li> <li><strong>机械方向</strong>：机械设计、运动学</li> </ul> <h2 id="推荐教材">推荐教材 </h2><h3 id="数学基础">数学基础 </h3><ul> <li>《Linear Algebra Done Right》—— 线性代数的几何视角</li> <li>《Linear Algebra Done Wrong》—— 更工程化</li> <li>《概率论与数理统计》浙大版</li> <li>《数值分析》—— 优化、迭代法</li> </ul> <h3 id="机器人学">机器人学 </h3><ul> <li>《机器人学导论》（Introduction to Robotics）—— 经典教材</li> <li>《Probabilistic Robotics》—— SLAM 必读</li> <li>《Modern Control Engineering》—— 控制理论</li> <li>《Multiple View Geometry》—— 视觉几何</li> </ul> <h3 id="ai--机器学习">AI / 机器学习 </h3><ul> <li>《统计学习方法》李航</li> <li>《机器学习》周志华（西瓜书）</li> <li>《深度学习》Goodfellow（Bengio）</li> </ul> <h2 id="推荐工具">推荐工具 </h2><h3 id="仿真">仿真 </h3><ul> <li><strong>MATLAB / Simulink</strong>：控制算法仿真</li> <li><strong>Gazebo</strong>（ROS 集成）：机器人仿真</li> <li><strong>V-REP / CoppeliaSim</strong>：通用机器人仿真</li> <li><strong>Webots</strong>：跨平台仿真</li> <li><strong>MuJoCo</strong>：强化学习仿真</li> </ul> <h3 id="软件">软件 </h3><ul> <li><strong>ROS / ROS2</strong>：机器人操作系统</li> <li><strong>Gazebo / RViz</strong>：仿真 + 可视化</li> <li><strong>MATLAB + Robotics Toolbox</strong></li> <li><strong>MoveIt</strong>：运动规划</li> <li><strong>PCL</strong>：点云库</li> <li><strong>OpenCV</strong>：视觉</li> </ul> <h3 id="硬件">硬件 </h3><ul> <li><strong>嵌入式</strong>：STM32、Arduino、ESP32</li> <li><strong>单板机</strong>：Raspberry Pi、Jetson Nano / Orin</li> <li><strong>传感器</strong>：相机、LiDAR、IMU、深度相机</li> <li><strong>电机</strong>：舵机、步进电机、无刷直流电机</li> <li><strong>机械</strong>：3D 打印（PLA / PETG）、CNC、激光切割</li> </ul> <h2 id="推荐编程语言">推荐编程语言 </h2><table> <thead> <tr> <th>用途</th> <th>语言</th> </tr> </thead> <tbody> <tr> <td><strong>算法原型</strong></td> <td>Python（numpy / scipy / pytorch）</td> </tr> <tr> <td><strong>机器人软件</strong></td> <td>C++（性能）、Python（快速开发）</td> </tr> <tr> <td><strong>嵌入式</strong></td> <td>C</td> </tr> <tr> <td><strong>机械仿真</strong></td> <td>MATLAB / Python</td> </tr> <tr> <td><strong>Web 监控</strong></td> <td>TypeScript / JavaScript</td> </tr> </tbody> </table> <h2 id="实践项目">实践项目 </h2><h3 id="初阶">初阶 </h3><ul> <li>Arduino 巡线小车</li> <li>树莓派 + 摄像头 + 人脸识别</li> <li>STM32 平衡车（PID 入门）</li> </ul> <h3 id="中阶">中阶 </h3><ul> <li>四足机器人（MIT Mini Cheetah 仿制）</li> <li>ROS + 激光雷达建图</li> <li>自动驾驶小车（基于 Autoware）</li> </ul> <h3 id="高阶">高阶 </h3><ul> <li>机械臂抓取（UR5 / Franka）</li> <li>无人机集群</li> <li>仿人机器人</li> </ul> <h2 id="2015-vs-2024-视角近-10-年机器人技术变化">2015 vs 2024 视角：近 10 年机器人技术变化 </h2><p>本文写于 2015 年（ROS Indigo/Kinetic 时代）。9 年后（2024）回望，机器人领域已经发生了几次<strong>范式级</strong>变化。下面是<strong>新增 / 改变</strong>的重点。</p> <h3 id="1-ros-的命运ros-1-退场ros-2-一统">1. ROS 的命运：ROS 1 退场，ROS 2 一统 </h3><table> <thead> <tr> <th>ROS 版本</th> <th>时间</th> <th>状态（2024+）</th> </tr> </thead> <tbody> <tr> <td>ROS Indigo</td> <td>2014-2019</td> <td>早已 EOL</td> </tr> <tr> <td>ROS Kinetic</td> <td>2016-2021</td> <td>早已 EOL</td> </tr> <tr> <td>ROS Melodic</td> <td>2018-2023</td> <td>已 EOL（2023-05）</td> </tr> <tr> <td>ROS Noetic</td> <td>2020-2025</td> <td><strong>2025-05 EOL</strong>（最后的 ROS 1 LTS）</td> </tr> <tr> <td>ROS 2 Foxy</td> <td>2020-2023</td> <td>已 EOL</td> </tr> <tr> <td>ROS 2 Humble</td> <td>2022-2027</td> <td>当前推荐 LTS</td> </tr> <tr> <td>ROS 2 Iron</td> <td>2023-2024</td> <td>短支持期</td> </tr> <tr> <td><strong>ROS 2 Jazzy</strong></td> <td>2024-2029</td> <td><strong>2024 新 LTS</strong></td> </tr> </tbody> </table> <blockquote> <p><strong>关键判断</strong>：<strong>2024+ 新项目必须用 ROS 2</strong>。ROS 1（Noetic）最后一个 LTS 在 2025-05 EOL，之后不会再有官方支持。</p> </blockquote> <p>ROS 2 相对 ROS 1 的核心改进：</p> <ul> <li><strong>DDS 中间件</strong>（实时、QoS、可发现）</li> <li><strong>跨平台</strong>（Linux / Windows / macOS / RTOS）</li> <li><strong>没有 roscore</strong>（自发现）</li> <li><strong>支持多机器人</strong>原生</li> </ul> <h3 id="2-导航--运动规划的新框架">2. 导航 / 运动规划的新框架 </h3><table> <thead> <tr> <th>旧（2015）</th> <th>新（2024）</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>move_base</code></td> <td><strong>Nav2</strong>（ROS 2）</td> <td>完全重写，行为树 + 插件化</td> </tr> <tr> <td><code>amcl</code></td> <td><strong>Nav2 AMCL</strong></td> <td>多传感器融合</td> </tr> <tr> <td><code>gmapping</code></td> <td><strong>slam_toolbox</strong></td> <td>终身建图（lifelong mapping）</td> </tr> <tr> <td><code>cartographer</code></td> <td><strong>cartographer_ros2</strong></td> <td>Google 持续维护</td> </tr> <tr> <td>OpenCV SIFT/SURF</td> <td><strong>ORB-SLAM3 / VINS-Fusion</strong></td> <td>视觉 SLAM 新主流</td> </tr> <tr> <td>Hector SLAM</td> <td><strong>RTAB-Map</strong></td> <td>实时回环检测</td> </tr> <tr> <td>MoveIt 1</td> <td><strong>MoveIt 2</strong></td> <td>ROS 2 原生支持</td> </tr> </tbody> </table> <h3 id="3-机械臂--manipulation-新生态">3. 机械臂 / Manipulation 新生态 </h3><ul> <li><strong>MoveIt 2</strong>（ROS 2 原生）+ <strong>MoveIt Task Constructor（MTC）</strong> = 复杂任务规划</li> <li><strong>Drake</strong>（MIT 开源）：动力学 + 控制 + 优化全家桶</li> <li><strong>Pinocchio</strong>：刚体动力学库（C++/Python）</li> <li><strong>CasADi</strong>：非线性优化</li> <li><strong>Tesseract</strong>（ROS Industrial）：轨迹规划</li> </ul> <h3 id="4-仿真器更新">4. 仿真器更新 </h3><table> <thead> <tr> <th>旧</th> <th>新（2024）</th> <th>特点</th> </tr> </thead> <tbody> <tr> <td>Gazebo Classic</td> <td><strong>Gazebo（Ignition → Gazebo）</strong></td> <td>2024 起 Gazebo 11 EOL，新版是 Gazebo Sim（原 Ignition）</td> </tr> <tr> <td>V-REP</td> <td><strong>CoppeliaSim</strong></td> <td>改名 + 商业化更彻底</td> </tr> <tr> <td>MuJoCo（被 Google 收购后）</td> <td><strong>免费给个人使用</strong></td> <td>强化学习的事实标准</td> </tr> <tr> <td>Webots</td> <td>Webots R2024</td> <td>持续维护</td> </tr> </tbody> </table> <h3 id="5-ai--机器人具身智能大爆发">5. AI + 机器人：具身智能大爆发 </h3><ul> <li><strong>RT-2 / RT-X</strong>（Google DeepMind）：视觉-语言-动作大模型</li> <li><strong>PaLM-E</strong>：多模态具身大模型</li> <li><strong>Octo</strong>：UC Berkeley 开源通用机器人基础模型</li> <li><strong>OpenVLA</strong>：开源 VLA（视觉-语言-动作）模型</li> <li><strong>π0</strong>（Physical Intelligence）：通用机器人策略</li> <li><strong>LeRobot</strong>（Hugging Face）：开源机器人数据集 + 模型</li> </ul> <blockquote> <p>2024+ 的新趋势：<strong>机器人的 GPT 时刻</strong>——给基础模型 + 海量遥操数据 = 能泛化到新任务的策略。</p> </blockquote> <h3 id="6-硬件新势力">6. 硬件新势力 </h3><ul> <li><strong>Jetson Orin Nano / Orin NX</strong>（NVIDIA）：边缘 AI 新主力</li> <li><strong>Raspberry Pi 5</strong>（2023）：终于有 4 核 A76 + 8GB</li> <li><strong>RealSense D435i / D455</strong>：深度相机主流</li> <li><strong>Ouster / Hesai LiDAR</strong>：固态、半固态 LiDAR 普及</li> <li><strong>Unitree H1 / Go2</strong>（宇树）：四足/双足机器人白菜价（10 万 RMB 内）</li> <li><strong>波士顿动力 Spot / Atlas</strong>：Spot 已商业化</li> </ul> <h3 id="7-学习路径的更新2024-版">7. 学习路径的更新（2024 版） </h3><ol> <li><strong>大一/大二</strong>：数学 + Python + C++（<strong>重点加强 PyTorch</strong>）</li> <li><strong>大二/大三</strong>：ROS 2 入门（用 Humble/Jazzy） + Nav2 + SLAM（slam_toolbox）</li> <li><strong>大三/大四</strong>：选方向—— <ul> <li>感知：ORB-SLAM3 / VINS-Fusion / 3D Gaussian Splatting</li> <li>决策：强化学习（Isaac Gym）+ 具身基础模型（Octo/OpenVLA）</li> <li>控制：Drake + MPC + 优化</li> <li>机械臂：MoveIt 2 + Drake + 灵巧手</li> </ul> </li> <li><strong>毕设 / 工作</strong>：人形机器人（Tesla Optimus / Figure 01 / Unitree H1）</li> </ol> <h3 id="8-一句话总结">8. 一句话总结 </h3> <blockquote> <p><strong>2015 年是 ROS 1 + Gazebo Classic + MoveIt + OpenCV 的时代</strong>；<strong>2024+ 是 ROS 2 + Gazebo Sim + Nav2 + MoveIt 2 + 具身基础模型 + 国产硬件白菜价</strong>的时代。</p> <p>公式没变（李群、最优估计、PID），但工具栈和应用边界<strong>完全换了一轮</strong>。</p> </blockquote> <hr> <h2 id="下一步">下一步 </h2><ul> <li>机器人 AI 资源 / 工具链，看 2017-03-15《机器人 AI 资源与工具链》</li> <li>想做嵌入式开发（STM32 + RTOS），看对应教程</li> <li>想做机械设计（SolidWorks），看 SolidWorks 官方教程</li> <li><strong>2024+ 新方向</strong>：看 <a class="link" href="https://docs.ros.org/en/humble/Tutorials.html" target="_blank" rel="noopener" >ROS 2 Humble 官方教程</a> + <a class="link" href="https://navigation.ros.org/" target="_blank" rel="noopener" >Nav2 文档</a></li> </ul> <h2 id="参考资料">参考资料 </h2><ul> <li>ROS 官方：https://www.ros.org/</li> <li>ROS 2 Jazzy 官方：https://docs.ros.org/en/jazzy/</li> <li>OpenCV 官方：https://opencv.org/</li> <li>PCL：https://pointclouds.org/</li> <li>MoveIt 2：https://moveit.ros.org/</li> <li>Nav2：https://navigation.ros.org/</li> <li>Gazebo Sim：https://gazebosim.org/</li> <li>MIT Mini Cheetah：<a class="link" href="https://mit-cheetah.mit.edu/" target="_blank" rel="noopener" >https://mit-cheetah.mit.edu/</a></li> <li>中国机器人大赛：<a class="link" href="http://www.rcccaa.org/" target="_blank" rel="noopener" >http://www.rcccaa.org/</a></li> </ul>