腾讯混元基座模型-内容安全算法研究
关于这个机会
课题背景:大模型已从"回答问题"走向"开放生成"——写代码、写文案、做决策建议,生成内容的边界不再可控。一旦输出违法违规、有害或高风险内容,风险会直接传导到真实用户和业务场景。传统关键词与规则审核面对开放式生成基本失效,安全对齐由此不再是锦上添花的附加项,而是模型能否上线的前置条件。本课题面向大模型生成内容的安全治理,研究如何让模型在保持能力的同时做到可控、可测、可防御。 课题挑战:一是安全性与有用性的拉锯——约束过强模型变成"什么都拒答",可用性崩塌,约束过松则风险外溢,没有现成最优解;二是攻击手段持续演化,越狱、提示词注入、角色扮演、编码绕过、多轮诱导的样本分布随模型迭代快速漂移,固定规则和静态样本训练出的防线泛化有限;三是风险长尾且边界模糊,有害性高度依赖语境,多轮对话中风险逐轮累积,单轮安全不等于整轮安全;四是评测难以闭环,缺少可信的自动化评测集与指标,离线分数与线上真实风险常不一致,线上反馈如何回流到训练与策略迭代是最难的一环。 具体工作:参与大模型安全后训练(SFT/RLHF/奖励建模)与安全对齐;搭建风险识别、拒答与安全改写策略,并针对越狱、提示注入等攻击做攻防验证;建设自动化安全评测集与离线—线上闭环,跟踪前沿技术并推动落地。
任职要求
1. 计算机、人工智能、数学等相关专业优秀硕博,面向应届毕业生。 2. 熟悉 Transformer 与大模型基本原理,对大模型后训练、安全对齐、内容安全、NLP 等方向有一定理解或研究实践。 3. 熟悉 SFT、RLHF、奖励建模等大模型后训练技术,有相关科研项目、实习或开源项目经验者优先。 4. 了解大模型安全相关技术,包括内容安全分类、Jailbreak防御、Prompt Injection、安全拒答、对抗训练等任一方向,有相关实践经验者优先。 5. 具备扎实的算法与编程基础,熟练使用 Python,熟悉 PyTorch 等深度学习框架,具备良好的实验设计与问题分析能力。 6. 熟悉分布式训练、Megatron-LM、DeepSpeed、vLLM 等训练或推理框架,有大模型训练、微调或安全评测经验者优先。
内推申请说明
本站为独立内推协助平台。申请会交由管理员核实岗位与内推渠道,不等于已在公司官网投递;薪资、岗位状态和实际招聘流程以官方信息为准。