岗位描述
岗位职责:
1️⃣ AI/LLM 工作流编排
设计与实现多步推理、Agent 协作、工具调用(Tool-Calling/Function-Calling)、异步任务队列与补偿机制。
构建与优化 RAG:数据摄取、切片与向量化、召回/重排序、上下文压缩、缓存与降本。
2️⃣ 评估与质量保障
搭建自动化评估与对齐体系(基准集、Ragas/G-Eval/自研指标),接入 A/B 测试与在线监控。
基于 Diffy(或等价方案)做影子流量回放与响应差异对比,识别模型/提示词/服务升级的回归风险;支持灰度/金丝雀发布与快速回滚。
3️⃣ 工程化与可观测
建设模型/提示词版本管理、特征与数据版本管理、实验追踪(MLflow/W&B)与审计日志。
建立端到端可观测:延迟、错误率、提示词/上下文长度、命中率、成本监控(tokens/$)。
4️⃣ 平台与集成
将工作流以 API/SDK/微服务形式对外;与业务后台(Go/PHP/Node)、队列(Kafka/RabbitMQ)、存储(Postgres/Redis/对象存储)及向量库(Milvus/Qdrant/pgvector)集成。
落地安全与合规(脱敏、PII 保护、审计、速率与配额、模型治理)。
岗位要求:
1️⃣ 3 年+ 后端或数据/平台工程经验,1–2 年+ LLM/生成式 AI 项目实战。
2️⃣ 熟悉 LLM 应用工程:提示词工程、函数/工具调用、对话状态管理、记忆、结构化输出、对齐与评估。
3️⃣ 至少熟悉一种 编排框架:LangChain/LangGraph、LlamaIndex、Temporal/Prefect/Airflow、或自研有 DAG/状态机/补偿机制。
4️⃣ 具备 RAG 实战:数据清洗→向量化→召回→重排→评估 的端到端经验;熟悉 Milvus/Qdrant/pgvector 之一。
5️⃣ 有 Diffy 使用经验,或等价的线上回放与差异比对经验(如:影子流量、录制/回放、回归输出比对、灰度发布与自动验收)。
6️⃣ 工程化扎实:Docker、CI/CD、Git 流程、日志与指标体系(OpenTelemetry/Prometheus/Grafana 任一)。
7️⃣ 至少掌握一种主力语言(Go / Python / TypeScript 其一或多项);能写可靠的服务与测试。
8️⃣ 良好的远程协作与文档能力,能以指标驱动交付与复盘。
加分项(任一为佳)
1️⃣ 有 Diffy 深度实践(或对接微服务网关做影子流量/分流/对比)。
2️⃣ 有 LLMOps/评估平台(Arize Phoenix、Evidently、PromptLayer、OpenAI Evals、Ragas)落地经验。
3️⃣ 对 Agent 框架(LangGraph、autogen/crewAI、GraphRAG、工具生态)有实际落地案例。
4️⃣ 熟悉 安全与合规(脱敏、权限域、PDPA/GDPR),对“人审/机审/拦截(Llama Guard/Moderation)”有实践。
5️⃣ 熟悉 IM/客服/营销自动化业务域,或对 多语言场景(中/英/越等) 有经验。
6️⃣ 有成本优化经验:缓存、检索压缩、模型混部/路由、多提供商切换(OpenAI/Anthropic/Google/本地模型)。
