职位描述
1、参与自动驾驶海量数据的采集、管理、处理与高效调度,设计与开发自动驾驶全链路数据平台,包括但不限于数据湖、数据仓库、分布式存储、流批一体计算与智能数据标注、数据治理等;
2、研发大规模分布式计算与训练平台,基于Spark、Flink、Ray、PyTorch等技术实现自动驾驶大模型的数据清洗、预处理、并行训练与推理,支持多GPU/多集群高性能任务编排与资源调度;
3、优化存储与检索架构,探索和实现包括OSS、CPFS、Iceberg、Delta Lake、Hudi、StarRocks、ClickHouse、ElasticSearch、Milvus等新一代高性能存储与检索方案,提升数据读写、索引、管理效率,赋能AI训练和推理;
4、参与团队架构设计与技术攻关,跟进学术前沿与业界动态,解决自动驾驶场景下数据一致性、扩展性、高可用、智能调度等核心难题;
5、推进工程实践落地与持续优化,深度参与端到端系统开发、自动化测试、上线发布与持续运维,推动数据与AI平台的稳定迭代和性能进化。