职位描述
1. 参与大模型与语音算法的量化、剪枝、蒸馏等模型精简与加速技术,完成在高通等移动端的转换、部署,保障端侧低延迟与高精度;
2. 参与设计并实现端侧推理引擎,负责关键推理优化策略(如 Prompt Cache、投机解码、Flash Attention 等)的工程落地,结合图优化与算子适配,最大化 NPU/CPU/DSP硬件利用率;
3. 开发并迭代模型转换、精度与性能自动化测试工具链,提升算法到端侧部署的交付效率;
4. 负责推理链路延迟、精度与功耗问题的定位,并给出优化方案,推动端侧推理性能指标达成。