AIHub-评测与蒸馏的大模型调用保真与规模化调度研究

关于这个机会

课题背景： AI Hub 是混元内统一的大模型调用中枢，为模型评测与后训练数据生产等业务提供闭源模型调用能力。上百个llm闭源模型需统一以标准协议对外服务，参数映射准确、内容序列不被篡改、输出与官方持平；当前调用失真的隐患主要来自两处：一是openai协议转换框架litellm的参数丢弃、错误映射与版本漂移；二是业务使用的 Agent 脚手架在调用链路上的隐式处理，不深入业务跑通全流程就无法观测。 课题挑战： 一是协议转换等价：上百种模型经转换框架统一为标准协议，参数可能静默丢弃或错配，流式、工具调用、多模态等路径均可能改变内容序列；框架迭代快，跨版本行为会漂移。需研究差分与属性测试，建立升级准入。二是 Agent 链路端到端保真：脚手架自行拼装消息、定义工具、管理上下文，隐式契约单请求测试不可见——协议正确不等于多轮链路正确，长上下文等问题只有真实链路才暴露。需深入业务的脚手架跑通全流程并研究会话级差分验证。三是渠道差异与一致性：同一模型接入多条渠道，模型版本与参数支持存在差异甚至换版，需用同一批题目比对各渠道与官方；一批评测若中途跨了渠道则分数不可比，需保证同批任务绑定同一渠道，并记录每次调用实际走的渠道以便排查。 具体工作： 参与大模型调用保真体系建设，可选择一个或多个方向深入：协议转换的自动对比与升级准入、Agent 链路的端到端验证、多渠道效果比对与批次绑定，保障调用效果与官方持平。

任职要求

学历和专业要求 来自计算机科学、软件工程、人工智能、分布式系统等相关专业的博士/硕士同学，有大语言模型推理服务、模型评测或后训练数据生产相关研究/项目经历者优先。 技术技能要求 掌握大模型推理与调用基础原理，熟悉模型参数语义与标准调用协议；熟悉高并发与分布式任务调度、频控限流与账号调度；精通 Python/Go，熟悉主流 Agent 脚手架或评测训练框架，有开源框架二次开发经验优先。 软性素质要求 对模型参数与调用行为高度敏感，能从异常输出反推协议或封装缺陷；愿意深入业务一线自建脚手架跑通全流程，独立负责一块事务并主动推进落地，沟通协作顺畅。

内推申请说明

本站为独立内推协助平台。申请会交由管理员核实岗位与内推渠道，不等于已在公司官网投递；薪资、岗位状态和实际招聘流程以官方信息为准。