职位描述
VLA 端到端模型研发: 设计并训练端到端视觉-语言-动作模型(如 RT-2、OpenVLA、π0、Diffusion Policy、3D Diffusion Actor 等),实现从视觉输入与语言指令到机器人低维动作空间的直接映射。
研究动作表示与生成机制: 动作 Token 化(Action Tokenization)、隐动作量化(Latent Action Quantization, LAPA)、扩散式动作生成(Diffusion Policy)、流匹配(Flow Matching)等前沿方案。
探索 RL 与模仿学习(IL)的混合训练范式:利用人类演示数据初始化策略,再通过 RL 进行微调和鲁棒性增强。
强化学习运控与策略优化: 包括 PPO、SAC、RLHF(Human Feedback for Robotics)、DAPG 等算法在关节级/任务级控制中的应用。
模型部署与实时性优化: 负责 VLA/RL 模型在机器人芯片(Orin、Thor)上的轻量化部署,满足实时控制需求(端到端延迟 < 50ms,控制频率 ≥ 50Hz),解决长上下文视觉序列与语言指令的并行处理瓶颈。
设计模型与底层运控(WBC/MPC)的协同接口: 实现高层 VLA 策略输出与低层全身控制器的平滑衔接,确保物理安全性与稳定性。