原生多模态(Any-to-Any模型)预训练及数据构建范式研究

关于这个机会

课题背景： 现有主流多模态大模型常将基于自回归的“理解”与基于扩散的“生成”割裂为异构表征空间，导致跨模态对齐产生严重语义损耗。这种割裂状态使其难以实现原生的“图-文-音-视”交错对话与复杂逻辑推理，阻碍了Any-to-Any模型的演进。 课题挑战： 1）统一数据范式探索：打破理解与生成的壁垒，构建超大规模“多模态交错序列”数据集，并在不同模态混合下探索最佳数据配比与Scaling规律极具挑战。 2）端到端推理与评测基准：在一个模型内实现原生端到端的多模态深度推理与生成技术跨度大，且目前业内缺乏完善的Any-to-Any综合评测基准，需从零建立科学合理的评价体系。 具体工作： 构建超大规模多模态交错序列（Any-to-Any）训练数据集并探索最佳配比；建立综合评测基准；助力模型在一个框架内实现端到端的多模态深度推理与生成。

任职要求

1.计算机/软件工程等相关专业硕士以上学历，拥有博士学位者优先； 2.熟悉计算机视觉、多模态领域的相关研究工作和算法，需要以第一作者身份发表多篇顶会论文，顶级研究机构或一线互联网工作经验加分； 3.熟练使用Python、PyTorch和CUDA等语言及工具，具备快速阅读和复现论文的能力； 4.具备优秀的分析和解决问题能力，良好的团队合作精神及沟通意识。

内推申请说明

本站为独立内推协助平台。申请会交由管理员核实岗位与内推渠道，不等于已在公司官网投递；薪资、岗位状态和实际招聘流程以官方信息为准。