duck_gym
从刚体求解到 MicroDuck 的 PPO 运动控制
项目简介
我希望把物理模拟与强化学习训练连成一条完整流程：从零实现 C++/CUDA 刚体引擎，接入 rsl-rl 的 PPO，并用 Pollen Robotics 的 MicroDuck 机器人检验动力学与控制效果。
引擎采用刚体 AVBD，支持 CPU 与 CUDA、单精度与双精度求解。GPU 上批量运行独立环境采集训练数据；本地 CPU 可以运行单环境推理，再通过 MuJoCo 回放实际连杆姿态与完整机器人网格。
项目专题
训练动画
MicroDuck 前进、后退、左移和右移的连续视频，以及 CPU/CUDA 四方向评估与训练配置。
PPO 推导
从策略梯度出发，整理重要性采样、优势估计与 PPO 裁剪目标。
AVBD 求解方案
刚体六维块、惯性预测、关节约束、接触摩擦，以及共享 CPU/CUDA 求解流程。
资产与开源组件
机器人及外观资产来自 Pollen Robotics MicroDuck，模型与训练配置参考 microduck_rl。模型与软件各自遵循上游许可；来源、固定版本与网格清单见仓库的 资产记录。