优才-具身算法工程师(VLA+RL)-通用业务部

智元创新(上海)科技股份有限公司| 上海
校招硕士
发布于 2026-06-16

职位描述

VLA 端到端模型研发: 设计并训练端到端视觉-语言-动作模型(如 RT-2、OpenVLA、π0、Diffusion Policy、3D Diffusion Actor 等),实现从视觉输入与语言指令到机器人低维动作空间的直接映射。 研究动作表示与生成机制: 动作 Token 化(Action Tokenization)、隐动作量化(Latent Action Quantization, LAPA)、扩散式动作生成(Diffusion Policy)、流匹配(Flow Matching)等前沿方案。 探索 RL 与模仿学习(IL)的混合训练范式:利用人类演示数据初始化策略,再通过 RL 进行微调和鲁棒性增强。 强化学习运控与策略优化: 包括 PPO、SAC、RLHF(Human Feedback for Robotics)、DAPG 等算法在关节级/任务级控制中的应用。 模型部署与实时性优化: 负责 VLA/RL 模型在机器人芯片(Orin、Thor)上的轻量化部署,满足实时控制需求(端到端延迟 < 50ms,控制频率 ≥ 50Hz),解决长上下文视觉序列与语言指令的并行处理瓶颈。 设计模型与底层运控(WBC/MPC)的协同接口: 实现高层 VLA 策略输出与低层全身控制器的平滑衔接,确保物理安全性与稳定性。

任职要求

计算机科学、人工智能、机器人学、自动化、控制理论等相关专业,硕士及以上学历。 VLA 深度经验:精通至少一种端到端 VLA 架构(RT-2、OpenVLA、Octo、π0、GR00T 等),理解其动作空间设计、训练目标与推理机制。 强化学习:熟练掌握 PPO、SAC、RLHF、GAE、TD(λ) 等算法原理与实现,具备在连续动作空间(机器人控制)中的 RL 训练经验。 机器人学基础:熟悉运动学(FK/IK)、动力学、坐标系变换(SMPL Y-up/Z-up 等)、关节空间与任务空间映射、全身控制(WBC)概念。 工程能力:精通 PyTorch,熟悉 CUDA 优化、模型服务化(vLLM、Triton)优先。 仿真与部署:熟练使用 Isaac Sim、MuJoCo、Genesis 等仿真环境;具备真实机器人平台(人形/四足/机械臂)的部署与调试经验。 加分项 人形机器人专项:具备双足机器人平衡控制、步态规划、全身操作(Whole-Body Manipulation)的算法或工程经验。 运控基座协同:熟悉 WBC(Whole Body Control)、MPC(Model Predictive Control)或强化学习运控基座模型(如 SONIC、Humanoid-Gym),能实现 VLA 高层规划与低层运控的分层/端到端协同。 前沿技术跟踪:关注 Native Multimodal、World Model(如 Sora/Dreamer 用于机器人)、3D 场景理解(点云/NeRF/Gaussian Splatting 与 VLA 结合)等方向。 数据基建:有大规模机器人数据采集体系统筹经验(如动捕、VR 遥操作、自主数据飞轮),熟悉 BVH/SMPL 数据格式与重定向(Retargeting)。 全栈能力:能独立完成从算法设计、训练调优到嵌入式部署的完整链路,或具备前端可视化(React/Vue)开发能力用于采训推平台搭建。

相关职位推荐