Ego-Centric 视觉感知算法工程师- Genie业务部

智元创新(上海)科技股份有限公司| 上海
校招研发算法类硕士
发布于 2026-07-13

职位描述

Genie业务部专注打造可作业的通用具身智能机器人,以技术研究与场景落地并重,通过数据与算法驱动、软硬一体协同,引领智能作业新革命。目前我们已推出了一系列算法、硬件和软件,包括具身基座大模型、精灵G1/G2/G2 Air产品矩阵及Genie Studio一站式具身智能开发平台等,应用于工业、商业等作业智能场景。 1. 视觉感知 - 面向第一人称操作视角与第三人称交互视角,设计并优化物体检测、实例分割、语义分割算法。 - 针对人手(Hand)及手-物交互(HOI)区域进行像素级高精度分割与关键点检测,支持多指灵巧手(Dexterous Hand)的关节级/指尖级定位需求 2. 高精度深度估计与 3D/6D 位姿输出 - 研发单目/多目融合深度估计(Depth Estimation)算法,构建从 2D 感知到稠密 3D 点云的精确映射管线。 - 负责物体 6D 位姿(3D Translation + 3D Rotation)估计与人手 3D Mesh/关节位姿重建,确保在操作距离(0.3m–1.5m)内达到1cm 级绝对精度(或等效 <5° 旋转误差)。 - 建立基于几何约束(PnP、BA、多视图三角化)与深度学习(FoundationPose、VGGT、DUSt3R)的混合位姿解算框架,持续优化边缘 case(遮挡、反光、透明物体、弱纹理)下的精度稳定性。 3. VLA 与世界模型训练数据闭环 - 搭建从原始多模态视频流(RGB-D / 鱼眼 / 事件相机)到结构化 3D 感知标签(2D Box/Mask + Depth Map + 3D Keypoints + 6D Pose)的自动化标注与质检管线。 - 与机器人学习团队深度协作,将高精度 3D/6D 感知输出直接嵌入 VLA(Vision-Language-Action)模型与世界模型(World Model)的训练流程,定义并维护感知-策略接口标准(如 Open-X Embodiment 格式)。 - 参与构建大规模机器人示教数据集(Teleoperation / Human Demonstration),确保感知标注精度满足模仿学习(IL)与强化学习(RL)对状态估计的严格要求。 4. 模型轻量化与端侧部署 - 负责感知模型在机器人端侧计算单元(NVIDIA Jetson / 自研 NPU / Intel NUC)的量化、蒸馏与 TensorRT/ONNX 推理优化,满足实时性(≥30 FPS)与低延迟要求,同时保证 1cm 精度不降级。

任职要求

1. 学历背景: 计算机视觉、机器人学、自动化、人工智能等相关专业,硕士及以上学历; 2. 编程能力: 精通 Python/C++,熟练掌握 PyTorch;具备 CUDA、TensorRT、ONNX Runtime 部署经验者优先。 3. 算法基础: - 深入理解 2D/3D 视觉基础网络(ResNet、ViT、DETR、Mask2Former、SAM/SAM2); - 精通深度估计(MiDaS、Depth Anything、Metric3D)与 3D 视觉核心问题(MVS、SfM、NeRF/3DGS、点云配准 ICP); - 熟悉 6D 位姿估计(FoundationPose、MegaPose、GDRNPP、UniPose)与 3D Hand Pose(MediaPipe Hands、HaMeR、ACR、MANO 拟合)的实际项目经验; - 具备多传感器(RGB-D、鱼眼、IMU)标定、时间同步与手眼标定(Hand-Eye Calibration)经验。 4. 精度导向的工程能力: 有在真实机器人系统上实现并验证 <<1cm 级 3D 定位精度的项目经历,熟悉误差分析、不确定性量化(Uncertainty Quantification)与精度回归测试流程。 5. 具身智能理解: 了解机器人操作(Manipulation)中的感知需求,熟悉 Ego4D、EPIC-KITCHENS、HOI4D、ARCTIC、Open X-Embodiment 等数据集,有将感知算法部署于真实机械臂/人形机器人并采集训练数据的经验。 6. 软件工程: 具备良好的工程习惯(Git、CI/CD、代码审查、单元测试),能够独立负责模块从算法设计到上线部署的全生命周期。

相关职位推荐