混元-原生多模态(Any-to-Any模型)预训练及数据构建范式研究

关于这个机会

课题背景： 现有主流多模态大模型常将基于自回归的“理解”与基于扩散的“生成”割裂为异构表征空间，导致跨模态对齐产生严重语义损耗。这种割裂状态使其难以实现原生的“图-文-音-视”交错对话与复杂逻辑推理，阻碍了Any-to-Any模型的演进。 课题挑战： 1）统一数据范式探索：打破理解与生成的壁垒，构建超大规模“多模态交错序列”数据集，并在不同模态混合下探索最佳数据配比与Scaling规律极具挑战。 2）端到端推理与评测基准：在一个模型内实现原生端到端的多模态深度推理与生成技术跨度大，且目前业内缺乏完善的Any-to-Any综合评测基准，需从零建立科学合理的评价体系。 具体工作： 构建超大规模多模态交错序列（Any-to-Any）训练数据集并探索最佳配比；建立综合评测基准；助力模型在一个框架内实现端到端的多模态深度推理与生成。

任职要求

学历和专业：计算机视觉、VLM或机器学习相关方向博士；在ICLR、NeurlPS，ICML、KDD、AAAI，IJCAI等机器学习领域会议或者期刊有第一作者发表过至少一篇文章。 技术技能：熟悉模型开发&训练常见框架，具备快速阅读和复现论文的能力，有VLM或图片生成模型训练经验

内推申请说明

本站为独立内推协助平台。申请会交由管理员核实岗位与内推渠道，不等于已在公司官网投递；薪资、岗位状态和实际招聘流程以官方信息为准。