腾讯云大数据- AI-Native Data Infra平台关键技术研究
关于这个机会
课题背景: 随着大模型和多模态AI应用的快速发展,数据基础设施正从传统数据分析平台向 AI-Native Data Infrastructure 演进。新一代数据平台不仅需要支持大规模SQL分析,还需要原生支持LLM推理、向量计算、多模态数据处理以及AI Agent驱动的数据决策。 当前主流数据系统仍然主要围绕CPU架构与结构化数据设计,在AI算子执行、GPU异构计算、LLM调用优化以及Serverless资源调度等方面存在明显瓶颈。同时,企业正在将大模型能力深度引入数据分析流程,通过数据分析智能体实现自动化分析与决策,但在复杂业务环境下仍面临规划能力不足、推理可靠性和成本控制等挑战。 本课题旨在探索 AI与数据系统深度融合的新一代架构,围绕AI算子执行优化、GPU加速计算引擎、Serverless调度优化、SQL+LLM融合优化以及数据分析智能体等关键方向开展研究,推动构建面向AI时代的 AI-Native Data Infra平台。 课题挑战: 构建Data Infra平台涉及一系列新的系统挑战: 1、AI算子(如Embedding生成、LLM推理等)在执行模型与资源特性上与传统SQL算子存在显著差异,现有SQL优化器缺乏针对AI算子的代价模型与执行优化机制。 2、AI与数据处理负载正在从CPU计算向 CPU+GPU异构计算架构 转变,如何设计高效的协同执行模型、GPU友好型数据结构以及端到端数据通路优化,是构建高性能AI数据系统的重要问题。 3、在Serverless Lakehouse架构下,任务调度需要在毫秒级时间内完成,同时实现高精度资源预测和高资源利用率,这对调度算法和系统架构提出了更高要求。 4、在SQL中直接调用LLM进行语义理解或多模态分析时,推理成本和执行延迟较高,缺乏Prompt变化感知、结果复用和增量推理等优化机制。 5、面向企业生产环境的数据分析智能体仍然面临规划偏差、推理一致性、生成幻觉以及结果可验证性等挑战。 具体工作: 参与AI-Native Data Infra核心技术研发,包括AI算子执行优化、GPU加速计算引擎、Serverless调度优化、SQL+LLM融合执行优化以及企业级数据分析智能体能力建设,推动下一代AI数据基础设施平台落地。
任职要求
1、计算机科学、软件工程、人工智能、数据科学等相关专业博士或优秀硕士研究生,具备扎实的数据系统、分布式系统或机器学习基础。在数据库、数据系统、AI Infra等方向有研究经历,或在 FAST、VLDB、SIGMOD、OSDI、SOSP、MLSys 等顶级会议发表论文者优先; 2、具备数据库系统、分布式计算或机器学习系统相关基础,熟悉SQL优化、查询执行引擎、调度系统、向量计算或AI推理系统等方向;熟练掌握 C++ / Java / Python 等至少一门语言,有大规模数据系统或AI Infra研发经验者优先; 3、具备良好的系统思维与技术探索精神,能够从复杂系统问题中抽象关键技术挑战并推动落地;具有良好的沟通协作能力和工程推进能力,能够在跨团队环境中推动技术创新和系统落地。
内推申请说明
本站为独立内推协助平台。申请会交由管理员核实岗位与内推渠道,不等于已在公司官网投递;薪资、岗位状态和实际招聘流程以官方信息为准。