大模型推理引擎研发工程师（深圳/北京/上海/杭州）

关于这个机会

1.研发及优化大模型推理引擎、PD分离推理调度系统； 2.支持主流GPU和异构AI芯片，优化大模型推理性能，打造极致性能成本优势。

任职要求

1.熟练掌握C/C++、Python编程语言，具备良好的coding和调试能力； 2.熟悉GPU/AI芯片编程，如CUDA，OpenCL，Ascend C等，熟悉cutlass等加速库是加分项； 3.熟悉主流大模型推理框架，如vllm，sglang，tensorrt-llm，FasterFransformer等； 4.熟悉各类深度学习网络和算子底层实现细节，训练和推理模型调试、调优有实操经验优先； 5.熟悉并行策略，如模型并行、流水线并行等，了解NVLINK、GPU通信者优先； 6.具备GPU、AI芯片体系结构知识，熟悉芯片特性，具备系统性能分析和调优经验优先； 7.加分项：； 8.机器学习或者体系结构相关顶会论文； 9.参与vllm、sglang等开源项目贡献者； 10.熟悉推理服务框架，具备服务部署经验者优先，有超大模型分布式部署经验优先。

内推申请说明

本站为独立内推协助平台。申请会交由管理员核实岗位与内推渠道，不等于已在公司官网投递；薪资、岗位状态和实际招聘流程以官方信息为准。