腾讯地图-多模态大模型时空轨迹挖掘研究
关于这个机会
课题背景: 随着智能出行服务的快速发展,地图数据已成为人们日常生活的核心基础设施。传统的地图数据更新方式依赖于人工采集和众包上报,存在成本高、时效性差、覆盖范围有限等问题。与此同时,海量时空轨迹数据、卫星遥感图像、街景图像等多模态数据呈现出爆炸式增长,为地图数据的自动化更新提供了前所未有的机遇。 近年来,大语言模型和多模态大模型在自然语言理解、视觉感知等领域取得了突破性进展,但在时空轨迹建模和地图智能化应用方面仍处于探索阶段。如何利用大模型技术对海量时空轨迹数据进行深度挖掘,实现对道路拓扑变化的自动发现、动态事件的智能识别、实时路况的精准预测,是当前地图领域面临的前沿挑战。本课题聚焦于探索多模态大模型在时空轨迹挖掘领域的创新应用,构建端到端的智能地图更新系统,推动地图服务的智能化升级。 课题挑战: 1、多模态时空数据统一表示与对齐: 如何设计有效的表示学习方法,将轨迹序列、卫星遥感、街景图像等异构多模态数据映射到统一的特征空间,实现跨模态的语义对齐和信息互补; 2、大规模轨迹序列的高效建模: 面对亿级用户的实时轨迹流数据,如何设计轻量高效的时序建模架构,既能捕捉轨迹的长期依赖关系,又能满足在线推理的低延迟要求; 3、道路拓扑变化的自动检测与推理: 如何结合轨迹挖掘结果和遥感视觉信息,自动识别道路的新建、封闭、改道等拓扑变化,构建可解释的推理机制; 4、动态事件的多模态感知与分类: 如何融合轨迹行为模式、视觉特征、文本描述等多源信息,实现对交通管制、施工、事故等动态事件的精准识别和分类; 5、时空大模型的轻量化与部署优化: 如何在保证模型精度的前提下,通过模型蒸馏、量化、稀疏化等技术,实现大模型在资源受限环境下的高效部署; 6、场景自适应的少样本学习: 面对不同城市、不同场景的数据分布差异,如何设计元学习或小样本学习框架,使模型具备快速适应新场景的能力。 具体工作: 你将参与到腾讯地图时空轨迹挖掘系统的核心研发,工作内容包括但不限于: 1、多模态特征学习: 研究轨迹时序特征、遥感视觉特征、街景图像特征的联合表示学习方法,设计跨模态注意力机制; 2、轨迹预测与建模: 基于Transformer、扩散模型等前沿架构,开发高效的轨迹预测和序列建模算法,支持长时程轨迹推理; 3、道路变化检测: 构建基于对比学习的道路变化检测模型,实现从遥感数据和轨迹统计中自动提取道路拓扑更新; 4、动态事件识别: 设计多模态融合的事件分类模型,结合轨迹异常检测和视觉问答技术,提升动态事件的识别准确率; 5、大模型应用落地: 探索大模型在地图场景的应用,包括基于LLM的轨迹查询、事件描述生成、决策解释等; 6、系统工程实现: 参与构建端到端的地图数据更新管线,使用Spark、Flink等大数据技术处理海量时空数据,优化系统性能。
任职要求
1、专业背景: 包含但不限于计算机科学与技术、人工智能、机器学习、数据科学、软件工程、应用数学、统计学、地理信息科学、遥感测绘、信号与信息处理、模式识别等专业的博士和优秀硕士; 2、理论基础: 扎实的数据结构和算法基础,深入理解机器学习、深度学习相关理论,熟悉时序模型、图神经网络、强化学习等至少一种方法; 3、编程能力: 精通Python编程语言,熟练使用PyTorch、TensorFlow等至少一种深度学习框架,了解C++/Java等工程语言者优先; 4、大数据技术: 熟悉Spark、Flink等分布式计算框架,了解空间索引(R-Tree、Hilbert Curve等)和时序数据库(InfluxDB、TimescaleDB等)者优先; 5、多模态经验: 有计算机视觉、自然语言处理、多模态大模型相关研究经验者,或曾在顶会(如CVPR、ICCV、NeurIPS、ACL、AAAI等)发表相关论文者优先; 6、领域兴趣: 对地图、时空数据、轨迹挖掘、智能交通等方向有浓厚兴趣,有相关项目经验或实习经历者优先;
内推申请说明
本站为独立内推协助平台。申请会交由管理员核实岗位与内推渠道,不等于已在公司官网投递;薪资、岗位状态和实际招聘流程以官方信息为准。