Featured image of post 机器人核心技术与学习路径:感知/认知/行为/数学基础

机器人核心技术与学习路径:感知/认知/行为/数学基础

机器人技术四大核心领域:感知(视觉/触觉/惯导)、认知(AI/规划/机器学习)、行为(运动学/控制/动力学)、数学基础(最优估计/微分几何),从 Robocon 到工业机器人完整学习路径。

机器人核心领域

机器人技术横跨 4 大学科,4 个领域的"地基"必须打牢才能造出能跑、能感知、能思考的机器人:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
1. 感知(Perception)
   └─ 视觉、触觉、力、惯导

2. 认知(Cognition)
   └─ AI、知识表达、规划、任务调度、机器学习

3. 行为(Behavior / Action)
   └─ 运动学、动力学、控制、manipulation、locomotion

4. 数学基础(Mathematics)
   └─ 最优估计、微分几何、计算几何、运筹学

1. 感知(Perception)

机器人通过传感器感知世界:

传感器用途
相机(单目 / 双目 / RGB-D)视觉识别、SLAM、物体检测
激光雷达(LiDAR)2D/3D 距离扫描、建图
IMU(惯性测量单元)加速度、角速度
编码器轮式里程计
GPS户外定位
力 / 触觉传感器抓取反馈
超声 / 红外近距离避障
深度相机(RealSense / Kinect)3D 重建

关键算法

  • 视觉里程计(VO / VIO):从图像估计相机运动
  • SLAM(Simultaneous Localization and Mapping):同时定位与建图
  • 目标检测:YOLO / Faster R-CNN
  • 语义分割:U-Net / DeepLab
  • 点云处理:ICP、NDT、PCL 库

2. 认知(Cognition)

机器人"思考"——理解环境、做决策:

任务技术
任务规划PDDL、HTN、分层任务网络
路径规划A*、D*、RRT、PRM
决策MDP、POMDP、深度强化学习
自然语言LLM、对话系统、意图理解
机器学习CNN、RNN、Transformer

关键技术

  • SLAM(同步定位与建图)
  • 路径规划(A* / RRT / 动态窗口法)
  • 强化学习(DQN / PPO)
  • 大模型 + 机器人(RT-2、PaLM-E 等)

3. 行为(Behavior / Action)

机器人"动"——执行动作、保持平衡:

子领域内容
运动学(Kinematics)关节角度 → 末端位置(正运动学)、反向(逆运动学)
动力学(Dynamics)力 / 力矩 → 运动(牛顿-欧拉方程)
控制(Control)PID、MPC、自适应控制、强化学习
Manipulation抓取、操作、灵巧手
Locomotion步行(四足 / 双足)、轮式、履带、飞行

核心算法

  • 正运动学:DH 参数
  • 逆运动学:解析法 / 数值法(雅可比 + 迭代)
  • PID 控制:比例-积分-微分,最常用
  • MPC(Model Predictive Control):滚动优化
  • SLAM + 控制:自主导航栈

4. 数学基础

机器人背后是数学:

数学用途
线性代数位姿表示、变换矩阵
概率论贝叶斯滤波、SLAM、定位
微分几何流形、李群(SO(3)、SE(3))
最优化路径规划、MPC、SLAM 后端
计算几何碰撞检测、点云配准
运筹学任务调度、多机器人协同

关键数学概念

  • SO(3):3D 旋转群
  • SE(3):3D 刚体变换群
  • 李群 / 李代数:旋转求导
  • 卡尔曼滤波:最优估计
  • 图优化:SLAM 后端(g2o / GTSAM)
  • 凸优化:MPC、轨迹优化

Robocon 全国大学生机器人大赛

中国 2002 年起的机器人赛事,全国电子工程、机械工程、计算机三大专业学生同台竞技。

  • 每年一个主题(如"投壶"、“马术”、“吴哥之花”)
  • 团队 5~10 人分机械设计 / 电控 / 嵌入式 / 视觉 / 战略
  • 半年备赛期,180 秒内完成规定动作
  • 培养 动手能力 + 团队协作 + 抗压能力

学习路径

第一阶段:基础理论(大一~大二)

  • 数学:高等数学、线性代数、概率论、离散数学
  • 编程:C / C++ / Python
  • 电路:数电 / 模电基础
  • 机械:理论力学、材料力学

第二阶段:核心技能(大二~大三)

  • 自动控制原理(经典控制 / 现代控制)
  • 机器学习(西瓜书 / 统计学习方法)
  • 嵌入式(STM32、FreeRTOS、Linux)
  • 机器人操作系统 ROS
  • SLAM(视觉 / 激光)
  • 机械设计 / SolidWorks / CAXA

第三阶段:方向专精(大三~大四)

  • 感知方向:计算机视觉、深度学习
  • 决策方向:强化学习、规划算法
  • 控制方向:MPC、最优控制
  • 机械方向:机械设计、运动学

推荐教材

数学基础

  • 《Linear Algebra Done Right》—— 线性代数的几何视角
  • 《Linear Algebra Done Wrong》—— 更工程化
  • 《概率论与数理统计》浙大版
  • 《数值分析》—— 优化、迭代法

机器人学

  • 《机器人学导论》(Introduction to Robotics)—— 经典教材
  • 《Probabilistic Robotics》—— SLAM 必读
  • 《Modern Control Engineering》—— 控制理论
  • 《Multiple View Geometry》—— 视觉几何

AI / 机器学习

  • 《统计学习方法》李航
  • 《机器学习》周志华(西瓜书)
  • 《深度学习》Goodfellow(Bengio)

推荐工具

仿真

  • MATLAB / Simulink:控制算法仿真
  • Gazebo(ROS 集成):机器人仿真
  • V-REP / CoppeliaSim:通用机器人仿真
  • Webots:跨平台仿真
  • MuJoCo:强化学习仿真

软件

  • ROS / ROS2:机器人操作系统
  • Gazebo / RViz:仿真 + 可视化
  • MATLAB + Robotics Toolbox
  • MoveIt:运动规划
  • PCL:点云库
  • OpenCV:视觉

硬件

  • 嵌入式:STM32、Arduino、ESP32
  • 单板机:Raspberry Pi、Jetson Nano / Orin
  • 传感器:相机、LiDAR、IMU、深度相机
  • 电机:舵机、步进电机、无刷直流电机
  • 机械:3D 打印(PLA / PETG)、CNC、激光切割

推荐编程语言

用途语言
算法原型Python(numpy / scipy / pytorch)
机器人软件C++(性能)、Python(快速开发)
嵌入式C
机械仿真MATLAB / Python
Web 监控TypeScript / JavaScript

实践项目

初阶

  • Arduino 巡线小车
  • 树莓派 + 摄像头 + 人脸识别
  • STM32 平衡车(PID 入门)

中阶

  • 四足机器人(MIT Mini Cheetah 仿制)
  • ROS + 激光雷达建图
  • 自动驾驶小车(基于 Autoware)

高阶

  • 机械臂抓取(UR5 / Franka)
  • 无人机集群
  • 仿人机器人

2015 vs 2024 视角:近 10 年机器人技术变化

本文写于 2015 年(ROS Indigo/Kinetic 时代)。9 年后(2024)回望,机器人领域已经发生了几次范式级变化。下面是新增 / 改变的重点。

1. ROS 的命运:ROS 1 退场,ROS 2 一统

ROS 版本时间状态(2024+)
ROS Indigo2014-2019早已 EOL
ROS Kinetic2016-2021早已 EOL
ROS Melodic2018-2023已 EOL(2023-05)
ROS Noetic2020-20252025-05 EOL(最后的 ROS 1 LTS)
ROS 2 Foxy2020-2023已 EOL
ROS 2 Humble2022-2027当前推荐 LTS
ROS 2 Iron2023-2024短支持期
ROS 2 Jazzy2024-20292024 新 LTS

关键判断2024+ 新项目必须用 ROS 2。ROS 1(Noetic)最后一个 LTS 在 2025-05 EOL,之后不会再有官方支持。

ROS 2 相对 ROS 1 的核心改进:

  • DDS 中间件(实时、QoS、可发现)
  • 跨平台(Linux / Windows / macOS / RTOS)
  • 没有 roscore(自发现)
  • 支持多机器人原生

2. 导航 / 运动规划的新框架

旧(2015)新(2024)说明
move_baseNav2(ROS 2)完全重写,行为树 + 插件化
amclNav2 AMCL多传感器融合
gmappingslam_toolbox终身建图(lifelong mapping)
cartographercartographer_ros2Google 持续维护
OpenCV SIFT/SURFORB-SLAM3 / VINS-Fusion视觉 SLAM 新主流
Hector SLAMRTAB-Map实时回环检测
MoveIt 1MoveIt 2ROS 2 原生支持

3. 机械臂 / Manipulation 新生态

  • MoveIt 2(ROS 2 原生)+ MoveIt Task Constructor(MTC) = 复杂任务规划
  • Drake(MIT 开源):动力学 + 控制 + 优化全家桶
  • Pinocchio:刚体动力学库(C++/Python)
  • CasADi:非线性优化
  • Tesseract(ROS Industrial):轨迹规划

4. 仿真器更新

新(2024)特点
Gazebo ClassicGazebo(Ignition → Gazebo)2024 起 Gazebo 11 EOL,新版是 Gazebo Sim(原 Ignition)
V-REPCoppeliaSim改名 + 商业化更彻底
MuJoCo(被 Google 收购后)免费给个人使用强化学习的事实标准
WebotsWebots R2024持续维护

5. AI + 机器人:具身智能大爆发

  • RT-2 / RT-X(Google DeepMind):视觉-语言-动作大模型
  • PaLM-E:多模态具身大模型
  • Octo:UC Berkeley 开源通用机器人基础模型
  • OpenVLA:开源 VLA(视觉-语言-动作)模型
  • π0(Physical Intelligence):通用机器人策略
  • LeRobot(Hugging Face):开源机器人数据集 + 模型

2024+ 的新趋势:机器人的 GPT 时刻——给基础模型 + 海量遥操数据 = 能泛化到新任务的策略。

6. 硬件新势力

  • Jetson Orin Nano / Orin NX(NVIDIA):边缘 AI 新主力
  • Raspberry Pi 5(2023):终于有 4 核 A76 + 8GB
  • RealSense D435i / D455:深度相机主流
  • Ouster / Hesai LiDAR:固态、半固态 LiDAR 普及
  • Unitree H1 / Go2(宇树):四足/双足机器人白菜价(10 万 RMB 内)
  • 波士顿动力 Spot / Atlas:Spot 已商业化

7. 学习路径的更新(2024 版)

  1. 大一/大二:数学 + Python + C++(重点加强 PyTorch
  2. 大二/大三:ROS 2 入门(用 Humble/Jazzy) + Nav2 + SLAM(slam_toolbox)
  3. 大三/大四:选方向——
    • 感知:ORB-SLAM3 / VINS-Fusion / 3D Gaussian Splatting
    • 决策:强化学习(Isaac Gym)+ 具身基础模型(Octo/OpenVLA)
    • 控制:Drake + MPC + 优化
    • 机械臂:MoveIt 2 + Drake + 灵巧手
  4. 毕设 / 工作:人形机器人(Tesla Optimus / Figure 01 / Unitree H1)

8. 一句话总结

2015 年是 ROS 1 + Gazebo Classic + MoveIt + OpenCV 的时代2024+ 是 ROS 2 + Gazebo Sim + Nav2 + MoveIt 2 + 具身基础模型 + 国产硬件白菜价的时代。

公式没变(李群、最优估计、PID),但工具栈和应用边界完全换了一轮


下一步

  • 机器人 AI 资源 / 工具链,看 2017-03-15《机器人 AI 资源与工具链》
  • 想做嵌入式开发(STM32 + RTOS),看对应教程
  • 想做机械设计(SolidWorks),看 SolidWorks 官方教程
  • 2024+ 新方向:看 ROS 2 Humble 官方教程 + Nav2 文档

参考资料

  • ROS 官方:https://www.ros.org/
  • ROS 2 Jazzy 官方:https://docs.ros.org/en/jazzy/
  • OpenCV 官方:https://opencv.org/
  • PCL:https://pointclouds.org/
  • MoveIt 2:https://moveit.ros.org/
  • Nav2:https://navigation.ros.org/
  • Gazebo Sim:https://gazebosim.org/
  • MIT Mini Cheetah:https://mit-cheetah.mit.edu/
  • 中国机器人大赛:http://www.rcccaa.org/
使用 Hugo 构建
主题 StackJimmy 设计