腾讯云-MaaS大模型推理成本优化与智能路由关键技术研究

关于这个机会

课题背景 MaaS业务的核心命题是以最低推理成本交付可承诺的模型质量。当前MaaS平台普遍以单一模型承接全部请求，成本结构刚性；而实践表明，用户请求难度分布极不均匀，大量请求可被小模型/低成本实例高质量承接。通过构建智能Router（请求-模型动态匹配）与可信Harness（质量评测与回归验证基座），并以强化学习将路由建模为"质量-成本"权衡的序贯决策问题，可实现"按请求难度分级承接、按实例成本动态调度"，大幅降低单位token服务成本。同时，路由所需的请求画像、容量感知与质量信号可反哺IaaS层的GPU容量规划、多租户调度与混部策略。本课题围绕大模型智能路由、路由质量评测基座、强化学习路由决策与成本感知调度开展联合研究，旨在支撑腾讯云MaaS商业化降本与IaaS资源效率提升，增强公司MaaS产品的竞争力。 课题挑战 1.路由准确率与成本的联合优化：Router需在线毫秒级判断"该请求最便宜的可胜任模型/实例"，误判直接导致质量投诉或成本浪费；请求难度预估、多目标（质量/时延/成本）权衡、路由模型自身推理开销控制均是难点。 2.强化学习路由决策的训练与稳定性：路由奖励存在延迟与噪声（质量分需事后评测、成本受集群负载扰动），且动作空间随模型动态变化；需解决奖励设计、离线RL策略评估、在线探索的安全性（兜底级联）与策略漂移抑制等问题。 3.新模型/新请求的冷启动与泛化：新接入模型缺少质量画像，新领域请求缺少路由标签，需研究基于探索-利用平衡的少样本质量预估与主动学习机制，在可控质量风险下快速完成画像构建。 4.路由质量的可信评测与回归（Harness）：模型版本频繁迭代，需自动化Harness对路由决策与模型组合做持续质量回归，消除离线评测集与线上真实分布的gap，防止"路由优化悄悄劣化线上质量"。 5.成本感知的在线调度：路由决策需实时感知后端实例排队深度、KV Cache命中率、GPU利用率与规格成本，与全局调度器联动，在万卡级集群中实现质量SLA约束下的成本最优。 6.数据与隐私约束：MaaS请求内容不可直接用于训练，路由模型的训练数据构造需依赖脱敏特征、合成数据与执行反馈信号，技术门槛高。

任职要求

1、包含但不限于计算机、信息工程、人工智能、自动化、软件工程、数据科学等相关专业的博士和优秀硕士； 2、有至少其中一项技能/知识：大模型推理与Serving系统（vLLM/SGLang等）、强化学习（Bandit/离线RL/GRPO等）、分类/排序模型训练、分布式系统与调度、大模型评测基准构建； 3、有LLM Serving、模型路由/级联、在线学习与A/B实验、推荐系统成本建模等相关经验者优先； 4、有好奇心，自驱力强，有较好的学习能力，编程能力强； 5、良好的沟通协作能力，能和团队一起探索新技术，推进技术进步。

内推申请说明

本站为独立内推协助平台。申请会交由管理员核实岗位与内推渠道，不等于已在公司官网投递；薪资、岗位状态和实际招聘流程以官方信息为准。