阿里巴巴控股集团
社会招聘阿里控股-大模型评测工程师-code/agentic方向
面议
关于这个机会
1. 从模型迭代目标出发,设计覆盖全面、层次清晰的评测体系;明确各维度评测的考核重点和难度梯度。 2. 自主构建高质量评测数据集,包括题目设计、标准答案制定、评测逻辑实现;确保题目区分度、公平性和防污染性。 3. 基于Benchmark结果,为模型团队提供清晰的能力雷达图、短板分析和优化优先级建议。 4. 探索更科学的评测指标、更高效的评测方法。
任职要求
1. 对于swe/terminal及业界更加前沿的代码&agentic场景任务能够熟练构建,设计和实现领域标注方向AI训练流程,并不断优化迭代,高效完成标注和内容生产项目 2. 熟悉代码&agentic数据评测流程和标准和工具。有代码&agentic数据处理,质量评估,数据分析,领域标注等相关工程经验者优先; 3. 有良好的工程经验背景。有大模型开发经验和算法背景者优先,有js/ts/rust/c++/go经验者优先。 4. 具备沙盒/容器化环境搭建经验,能设计可复现的代码执行环境(Docker、gVisor 等)者优先
内推申请说明
本站为独立内推协助平台。申请会交由管理员核实岗位与内推渠道,不等于已在公司官网投递;薪资、岗位状态和实际招聘流程以官方信息为准。