【实习】后端开发实习生(AI Infra / LLM Gateway)-技术平台中心

上海人工智能实验室| 上海
实习硕士
发布于 2025-07-23

职位描述

1. 参与 LLM API Gateway 的后端开发,支持 OpenAI Chat Completions、Anthropic Messages 等协议兼容。 2. 参与 API Key 鉴权、项目模型白名单、限流、余额预检、并发控制等网关能力建设。 3. 编写接口文档、单元测试、协议兼容测试和基础压测脚本,保障核心链路稳定性。 4. 协助排查线上调用失败、流式响应异常、usage 不一致、供应商错误码差异等工程问题。

任职要求

1. 计算机相关专业本科或研究生在读,每周可实习 4 天及以上,连续实习 3 个月以上优先。 2. 熟悉至少一门后端语言,如 Go、Python、Java、Node.js,具备良好的编码习惯。 3. 理解 HTTP、RESTful API、SSE 流式响应、鉴权、限流、超时、重试等后端基础概念。 4. 熟悉 MySQL / PostgreSQL、Redis、消息队列中的一种或多种。 5. 具备基本的并发编程、异步任务、日志排查和接口测试能力。 6. 对大模型 API、OpenAI SDK、Anthropic API、Prompt、Token usage 等概念有了解或强兴趣。 加分项: 1. 有 API Gateway、计费系统、SaaS 后台、多租户系统、开发者平台相关项目经验。 2. 熟悉 Go 语言,或有高并发服务、微服务、Kubernetes 相关实践。 3. 使用过 OpenAI、Claude、DeepSeek、通义千问、火山方舟等模型 API。 4. 了解 vLLM、SGLang、Ray Serve、Langfuse、Envoy Gateway、Kubernetes Gateway API 等 AI Infra 工具。 5. 有流式接口、SSE、WebSocket、长连接、异步事件处理相关经验。

相关职位推荐