元宝—语音同传大模型方向研究

关于这个机会

课题背景： 随着全球化沟通的发展需要，语言障碍一直是国际会议、商务谈判和学术交流等场景的挑战。语音同传技术正是为了打破这一语言障碍获得了快速的发展。从传统的级联技术方案到现阶段的端到端语音方案。另外近年来伴随大模型技术的快速发展，语音结合大模型的端到端技术方案也在不断的探索往前发展，本项目为了实现基于LLM的端到端语音同传技术，攻克同传模型中流式和同声等技术难点，最终实现低延时、高质量翻译和保留说话人音色等功能。 课题挑战： 1、实现低延时的同时保证翻译的质量，如何设计模型或者通过RL算法来动态决策听和译的时机权衡。 2、复杂场景下的翻译问题，如背景音、回声、混响、多人说话，口音和方言等复杂场景翻译问题。 3、专有名词和时新词的翻译准确性，如何利用context和RAG技术引入外部知识。 4、跨语种的翻译过程中翻译语序和源语言语音情感保留。 具体工作： 将参与端到端语音同传大模型的模型架构设计，预训练数据的清洗和基模的训练，context和RAG技术能力的建设，奖励函数和强化学习算法的研究，提升端到端语音同传大模型的效果。

任职要求

1、具有端到端语音建模、语音翻译、语音理解、语音合成转换、说话人识别等方向的研究经验； 2、具备一定的LLM理论基础和调优实践经验； 3、熟悉端到端语音大模型的训练和调优技术； 4、在Interspeech、ICASSP等会议中投稿者优先。

内推申请说明

本站为独立内推协助平台。申请会交由管理员核实岗位与内推渠道，不等于已在公司官网投递；薪资、岗位状态和实际招聘流程以官方信息为准。