职位描述
1、建设十亿~百亿级向量的生产管线:批量提取 embedding 的高吞吐推理链路,覆盖增量数据的每日流入、版本管理与质量校验;
2、建设与优化向量检索引擎:ANN 索引(IVF/HNSW/DiskANN 等)的选型、调优与自研扩展,向量量化(PQ/SQ/二值化)与降维(PCA/MRL)在召回与成本间的权衡,标量-向量混合检索的执行路径优化;
3、深入列式存储与数据湖格式(Lance/Parquet 等)底层,参与我们 Lance 分支的开发:存储布局、索引结构、增量写入下的索引实时性、大规模标量过滤(bitmap/B-tree/倒排)等;
4支撑上层数据挖掘与 curation 场景:为密度分析、长尾挖掘、多向量精排(late interaction)等提供高性能的底层能力,与算法同学共建从粗召回到精排的完整检索链路。