职位描述
MiniMax 致力于构建下一代通用人工智能模型,覆盖文本、图像、视频、语音等多模态方向。数据是模型能力演进的核心基础,我们正在建设新一代 AI Data Infra 平台,支撑预训练、后训练、评测及模型迭代全过程。
你将与数据工程师和算法团队一起,参与海量多模态数据处理与平台研发,让数据更高效地服务模型训练。
你将参与:
1. 大模型数据 Pipeline 开发:参与文本、图像、视频、语音等数据的解析、清洗、过滤、去重与质量评估,支持预训练及 SFT、Preference Data 等后训练数据生产。
2. 分布式数据处理与优化:基于 Ray、Spark 等框架开发数据处理任务,参与 CPU/GPU 混合计算场景下的性能优化,提升数据处理效率和稳定性。
3. 数据存储与管理:参与数据湖、数据索引、元数据及版本管理相关开发,优化训练数据的读取、检索和分发链路。
4. 数据平台与工具建设:参与数据处理 SDK、API、任务编排、监控及质量检查工具开发,提升算法团队的数据研发效率。