混元-新一代大模型分布式训练基础框架研究

关于这个机会

课题背景 大模型训练包括文本、多模态等多种场景，并且有探索实验、万卡大规模生产等多方面需求，如何通过统一高效的框架满足多场景需求。 课题挑战 1、统一编程接口、模型构建范式、llm 与多模态的训练框架统一 2、自动高性能并行策略 && 弹性训练 3、算子优化 & 通算融合 && 编译优化 4、不同异构硬件适配 && 不同网络拓扑优化 5、低精度 && 模型结构 efficiency co-design 6、超长文本训练 7、agentic 训练 infra workflow 8、io 优化，构建工业级生产的 dataloader/checkpoint 等高效基础组件 具体工作 构建统一的模型结构定义接口，适配不同后端分布式执行引擎，支持多种模态、多种场景的算法需求；并通过通算掩盖、算子融合、软硬件协同等方式，进一步提升模型训练的性能，为混元大模型的研发提供高性能基础框架支撑。

任职要求

1、包含但不限于计算机、信息工程、模式识别、人工智能、自动化、软件工程、电子工程等相关专业的博士和优秀硕士； 2、有至少其中一项技能/知识：熟悉一种训练框架、GPU编程、高性能网络/分布式并行、编译器优化、大规模数据处理； 3、AI Infra、强化学习、AI Agent等领域进行过深入调研和探索或者在CPU/GPU体系架构，高性能计算/CUDA，分布式训练系统相关领域经验者优先； 4、有好奇心，自驱力强，有较好的学习能力和沟通能力，编程能力强； 5、良好的沟通协作能力，能和团队一起探索新技术，推进技术进步。

内推申请说明

本站为独立内推协助平台。申请会交由管理员核实岗位与内推渠道，不等于已在公司官网投递；薪资、岗位状态和实际招聘流程以官方信息为准。