职位描述
您将深度参与下一代多模态大模型 (语言-视觉-动作) 的数据真值构建与评测工作,跟踪前沿多模态大模型进展,理解模型能力边界(理解、推理、空间/时间定位等),为具身基座模型训练提供高质量数据。
具体涉及以下任一或多项内容:
1. 多模态数据(文本、视觉、动作等)清洗、标注和格式化。构建高效的数据处理流程,支持模型训练与推理。
2. 构建分布合理的视频理解数据 (人类行为、事件识别) 和高质量 Video Caption/Temporal Grounding;构造CoT真值,进行长程行为/任务拆解,提供逻辑清晰的中间推理步骤。
3. 系统性地评估数据的集中、离散程度和形状特征,使用高维数据降维技术 (PCA, t-SNE等) 可视化和量化潜在的流形结构和数据的内在维度。