职位描述
Genie业务部专注打造可作业的通用具身智能机器人,以技术研究与场景落地并重,通过数据与算法驱动、软硬一体协同,引领智能作业新革命。目前我们已推出了一系列算法、硬件和软件,包括具身基座大模型、精灵G1/G2/G2 Air产品矩阵及Genie Studio一站式具身智能开发平台等,应用于工业、商业等作业智能场景。
1. 视觉感知
- 面向第一人称操作视角与第三人称交互视角,设计并优化物体检测、实例分割、语义分割算法。
- 针对人手(Hand)及手-物交互(HOI)区域进行像素级高精度分割与关键点检测,支持多指灵巧手(Dexterous Hand)的关节级/指尖级定位需求
2. 高精度深度估计与 3D/6D 位姿输出
- 研发单目/多目融合深度估计(Depth Estimation)算法,构建从 2D 感知到稠密 3D 点云的精确映射管线。
- 负责物体 6D 位姿(3D Translation + 3D Rotation)估计与人手 3D Mesh/关节位姿重建,确保在操作距离(0.3m–1.5m)内达到1cm 级绝对精度(或等效 <5° 旋转误差)。
- 建立基于几何约束(PnP、BA、多视图三角化)与深度学习(FoundationPose、VGGT、DUSt3R)的混合位姿解算框架,持续优化边缘 case(遮挡、反光、透明物体、弱纹理)下的精度稳定性。
3. VLA 与世界模型训练数据闭环
- 搭建从原始多模态视频流(RGB-D / 鱼眼 / 事件相机)到结构化 3D 感知标签(2D Box/Mask + Depth Map + 3D Keypoints + 6D Pose)的自动化标注与质检管线。
- 与机器人学习团队深度协作,将高精度 3D/6D 感知输出直接嵌入 VLA(Vision-Language-Action)模型与世界模型(World Model)的训练流程,定义并维护感知-策略接口标准(如 Open-X Embodiment 格式)。
- 参与构建大规模机器人示教数据集(Teleoperation / Human Demonstration),确保感知标注精度满足模仿学习(IL)与强化学习(RL)对状态估计的严格要求。
4. 模型轻量化与端侧部署
- 负责感知模型在机器人端侧计算单元(NVIDIA Jetson / 自研 NPU / Intel NUC)的量化、蒸馏与 TensorRT/ONNX 推理优化,满足实时性(≥30 FPS)与低延迟要求,同时保证 1cm 精度不降级。