阿里巴巴控股集团
社会招聘集团安全部-高级AI infra 工程师-大模型推理方向
面议
关于这个机会
岗位名称:高级AI infra 工程师 岗位描述: 负责AI基础设施底层设施的基础研究和技术优化,打造高性能、高可用、高稳定的AI大模型推理全栈架构,支持高并发、超长上下文、agent等场景。 岗位职责: 1. 大模型前沿的推理加速相关的技术的调研和研究,并结合实际业务场景,在实际生产中落地。 2. 大模型底层服务引擎的研发和优化,持续保障服务稳定运行,并且能处理高并发场景。 3. 持续迭代和改进已有的大模型服务的性能和调优,具备创新精神,能抗住压力解决行业内tough的问题。 4. 分别站在算法和工程的视角,对现有的大模型推理服务进行改进,用极致的性价比完成大模型的推理和优化。
任职要求
岗位要求: ● 精通vllm、sglang、tensorrt-llm的框架。 ● 研究生以上学历 ● 有良好的算法功底 ● 具备的大模型服务经验 ● 有大模型优化相关的经验(包括但不限于: 模型量化、模型裁剪、投机解码、扩散模型、MTP、mudusa、模型蒸馏、算子融合、GPU kernel优化等) ● 能有自己在模型性能调优相关的方法论,能熟练借助各种性能分析和评测工具解决性能瓶颈问题的分析。 ● 具备强大的工程落地能力。
内推申请说明
本站为独立内推协助平台。申请会交由管理员核实岗位与内推渠道,不等于已在公司官网投递;薪资、岗位状态和实际招聘流程以官方信息为准。