千问事业部-大模型推理框架系统研发专家-杭州/北京/广州

关于这个机会

1. 参与大模型推理框架和分布式Serving系统的核心研发，面向语言模型、多模态模型和Agentic应用场景，建设高性能、高稳定性、高扩展性的生产级推理引擎； 2. 研发并优化Prefill/Decode分离、KV Cache管理、长上下文推理、多租户调度、连续批处理、SLO感知调度等核心系统能力，提升TTFT、TPOT、吞吐和资源利用率； 3. 参与分布式推理并行与通信优化，包括Tensor Parallel、Pipeline Parallel、Expert Parallel、Context Parallel、MoE All-to-All、跨机通信重叠、负载均衡和故障恢复等； 4. 协同算子、模型压缩、模型算法和业务团队，推动量化、投机解码、MoE优化、多模态推理、长上下文优化等能力在推理框架中生产落地，解决线上性能、稳定性和成本优化问题。

任职要求

1. 精通C++/Python，熟悉CUDA编程和GPU推理系统开发，具备扎实的系统软件、分布式系统、并行计算和高性能服务端开发基础； 2. 深入理解大模型推理框架核心机制，包括Prefill/Decode、KV Cache管理、Continuous Batching、PagedAttention、Speculative Decoding、Quantization等； 3. 熟悉分布式推理并行与通信优化，包括Tensor Parallel、Pipeline Parallel、Expert Parallel、Context Parallel、MoE All-to-All、通信计算重叠、负载均衡等； 4. 熟悉GPU间和跨节点通信机制，了解NCCL、RCCL、MPI、UCX、RDMA、InfiniBand、NVLink、NVSwitch、PCIe等相关技术，具备端到端性能分析和问题定位能力； 5. 熟悉vLLM、SGLang、TensorRT-LLM等推理或服务框架，有核心模块开发、深度改造或生产级落地经验者优先。

内推申请说明

本站为独立内推协助平台。申请会交由管理员核实岗位与内推渠道，不等于已在公司官网投递；薪资、岗位状态和实际招聘流程以官方信息为准。