腾讯
社会招聘

腾讯云-MaaS平台推理流量调度高级工程师(北/杭/深)

面议
深圳 · 三年以上工作经验
技术CSIG腾讯云中国

关于这个机会

1.负责推理流量的全地域、跨集群调度与分发,结合模型特性、实时负载、算力容量及地域约束设计调度策略,提高 GPU 有效利用率和负载均衡能力; 2.建设租户级流控与配额管理体系,完善并发及 Token 级限流、优先级排队、熔断降级和过载保护机制,保障服务稳定性、资源公平性和租户隔离; 3.建设潮汐调度、HPA等弹性编排能力,结合流量预测、排队情况与推理负载,完善动态扩缩容、模型预热、请求排空及跨资源池容量调配,平衡资源成本与服务质量; 4.开展推理链路性能调优,建设缓存感知路由,协同优化前缀缓存复用、请求排队与批处理,提升缓存命中率和吞吐,降低首 Token时延、Token间时延及尾延迟。

任职要求

1.本科及以上学历,计算机、软件工程或相关专业优先; 2.具备扎实的后端研发与分布式系统基础,熟悉高并发、负载均衡、服务治理及高可用架构,有大规模分布式系统、流量调度或 LLM 推理优化经验者优先; 3.深入理解主流 LLM 推理引擎架构及请求执行流程,熟悉 Prefill/Decode、连续批处理、KV Cache、前缀缓存等机制,有推理引擎调优、调度或二次开发经验者优先; 4.具备扎实的编程能力与网络基础,理解 TCP/IP、HTTP、连接复用及流式传输机制,熟悉 Golang 并有高并发服务开发经验者优先; 5.具有较强的主动性、责任心和跨团队协作能力。

官方来源与核验

腾讯官方招聘 · 职位编号 2112508932995067904

最近核验:2026-11-07T11:00:15.665523+00:00

查看官方职位详情 ↗

内推申请说明

本站为独立内推协助平台。申请会交由管理员核实岗位与内推渠道,不等于已在公司官网投递;薪资、岗位状态和实际招聘流程以官方信息为准。

腾讯的其他公开职位

查看公司全部职位 ↗

申请前核对

本站为独立内推协助平台。先查看官方职位,再了解申请流程与个人资料的使用方式。