MiniIsaac

项目定位

MiniIsaac 是一个学习型强化学习与物理模拟项目。目标是从零实现一个轻量物理模拟环境， 编写 PPO 训练流程，并使用 PyTorch 定义 actor 与 critic 网络，用于训练 carpet、机械臂等任务。

项目理念与 Isaac 系列工具类似：把物理环境、可微分或可采样的状态演化、策略网络训练和实验记录放在同一套工作流里。 当前阶段重点放在 PPO 算法推导与基础实现准备。

学习笔记

1. 从 0 推导 PPO 算法
2. 后续条目待补充
3. 后续条目待补充

开发计划

• 物理环境：先实现可控状态、动作、奖励和终止条件，再逐步加入 carpet 与机械臂任务。
• PPO 训练：完成 trajectory 采样、优势函数估计、ratio clipping、actor-critic 更新和日志记录。
• 网络结构：使用 PyTorch 定义 actor 与 critic，并保留可替换网络结构的接口。