多模态大模型论坛@MLNLP2025！

“第四届机器学习算法与自然语言处理大会”（MLNLP2025）将于2025年11月29日-11月30日线上召开，大会由中国中文信息学会青工委、中国中文信息学会大模型与生成专委、MLNLP社区联合主办，智源社区提供社区支持。大会免费注册。

田倬韬，博士，哈尔滨工业大学（深圳）信息学部计算机科学与技术学院教授、博士生导师，国家级青年人才，深圳河套学院双聘教授，深圳市“鹏城孔雀计划”特聘岗位B档，主要研究方向为多模态感知以及大模型推理相关领域。近5年内发表CCF-A/清华A类顶级论文40余篇，含多篇TPAMI与CCF-A类会议的杰出论文（Outstanding Paper）、口头报告（Oral）与亮点论文（Highlight），并受邀担任CVPR、ICLR、WACV与AAAI的领域主席。参与制定中国信通院组织的大模型国家标准以及国际电信联盟（ITU）的工业缺陷检测国际标准，后者被工信部评选为中方优秀文稿（一类，前4.35%）。已获授权13项国家发明专利（第一发明人9项），获2025年华为“火花奖”，并受CCF-腾讯犀牛鸟基金与华为战略研究院人才基金资助开展前沿研究。

蒋理，香港中文大学（深圳）数据科学学院助理教授，校长青年学者，双聘于深圳河套学院。她于2021年获得香港中文大学博士学位，其后在马克斯·普朗克研究所担任博士后研究员。其研究聚焦于计算机视觉与人工智能，具体方向包括三维场景理解、自动驾驶、空间智能、世界模型、表征学习以及多模态学习等。她的研究成果发表在CVPR、ICCV、ECCV、NeurIPS、TPAMI和IJCV等顶级会议和期刊中，并多次获选口头报告与亮点论文，谷歌学术引用量超过13,000次。其关于自动驾驶运动预测的研究在2022-2024年的CVPR Waymo Open Dataset Motion Prediction Challenge中连续三届获得第一名。她入选了2024年、2025年由斯坦福大学与爱思唯尔联合发布的全球前2%顶尖科学家年度影响力榜单，以及UNIDO-ITPO (Beijing) 与DONGBI DATA联合发布的“全球人工智能女性人才榜TOP50”榜单，并获得国家级青年人才项目资助。

邵睿，哈尔滨工业大学（深圳）计算机科学与技术学院教授，博士生导师，入选国家级青年人才计划。主要研究方向为多模态大模型、具身智能，以第一作者/通讯身份发表CCF-A会议与IEEE/ACM汇刊等高水平论文近40篇。主持国家自然科学基金优青（海外）及青年项目、广东省自然科学基金面上项目、深圳市自然科学基金面上项目、中兴通讯产学研合作基金项目（机器人专项）、华为人才Funding等。担任计算机视觉顶级会议CVPR、BMVC领域主席，多媒体顶级会议ICMR Panel主席。

报告主题：基于多模态大模型的具身智能研究与应用

报告摘要：近年来，多模态大模型得到了广泛关注与爆发式发展，基于大语言模型强大的理解生成能力，通过联合视觉语言等多模态内容进行模型学习，多模态大模型在问答、生成、人机交互等多个领域展现出了惊人的效果。本报告将分享我们对各类大模型崛起与现状的分析、并介绍哈工大（深圳）自主研发的“感知-理解-决策”三元协同的“九天”多模态大模型。近期，“九天”的多模态基础能力从数字世界进一步迈入物理世界并赋能机器人，本报告将介绍基于多模态大模型的具身智能的一系列最新工作，体现出多模态大模型对于物理世界的实际作用与影响。

陈玉康，现任NVIDIA研究科学家（Research Scientist），博士毕业于香港中文大学。长期聚焦“LongAI”方向，涵盖长文本大语言模型、长视频理解、长序列推理、长视频生成等。已在国际顶级会议与期刊发表论文30余篇，多项成果获 ICLR、CVPR 等顶会口头报告；担任 AAAI 2026 领域主席。Google Scholar 引用累计超6000次，曾有论文入选 CVPR 2024 “最具影响力”榜单。代表性工作包括 VoxelNeXt、LongLoRA、LongVILA、Long-RL、LongLive 等；其主要贡献的多项开源项目在 GitHub 获得累计1,5000+ Star。曾获 Microsoft COCO 2019 目标检测与实例分割挑战赛冠军、CVPR 2023 ScanNet 3D 场景理解 Workshop 冠军，以及 nuScenes 2022 3D 多目标 LiDAR 跟踪榜单第一名。

报告主题：基于多模态大模型的长视频理解、推理与生成

报告摘要：长视频承载完整叙事与长期因果关系，对体育转播、直播电商、机器人与沉浸式内容生成等应用至关重要。本次报告将沿着长视频的“理解—推理—生成”的主线展开：首先在长视频理解部分 (LongVILA)，介绍如何通过多模态序列并行与“两阶段”长上下文扩展/长视频 SFT，协同系统与算法把可处理长度从百帧扩展至千帧甚至百万级上下文，打通训练与推理的内存与通信瓶颈；随后在长视频推理部分 (Long-RL)，展示覆盖体育、游戏、Vlog 等场景的长视频推理数据构建与评测范式，结合强化学习与面向长序列的并行基础设施，显著提升时序理解与链式推理能力；最后在长视频生成部分 (LongLive)，分享因果自回归的实时交互式框架，在单卡条件下实现分钟级稳定生成与 20+ FPS 的实时体验，并兼顾一致性与效率。总而言之，LongVILA / Long-RL / LongLive 系列工作通过 Data, Infra, Algorithm 三方面的设计，让大模型能够看懂长视频、推理长视频、生成长视频。

李蕊煌，现任腾讯混元多模态模型部高级研究员，博士毕业于香港理工大学，主要研究方向是视频生成、图像生成、场景感知和理解等，已在CVPR、ICCV、ECCV等国际顶级会议和期刊发表论文30余篇，并担任多个视觉领域顶级会议及期刊的审稿人。李蕊煌作为核心技术负责人，主导研发并发布了首个工业级智能游戏创作平台Hunyuan-Game，该平台深度融合基于多模态信息的生成式AI与游戏美术生产流程，集成了高保真图像生成、动态视频合成、风格迁移、3D场景理解与特效自动化生成等多项关键技术，覆盖从概念原画、角色设计、场景构建到动效制作等游戏美术链路的核心环节。Hunyuan-Game不仅显著提升了游戏内容生产的效率与创意边界，还成功赋能下游工业应用，获得了业界与学术界的广泛关注。

报告主题：可控视觉生成的工业应用探索

报告摘要：随着人工智能技术的飞速发展，视频生成领域正经历着一场深刻的变革。传统的视频生成方法往往面临着可控性差、自由度低的瓶颈，难以满足日益增长的个性化和专业化内容创作需求。本报告旨在深入探讨可控视频生成的关键技术分支，全面解析其在提升视频内容创作自由度和艺术表现力方面的巨大潜力。我们将聚焦于以下几个核心领域：视频运镜控制、特效生成、动作克隆等。通过对上述技术的深入分析与前沿案例的展示，本报告将勾勒出可控视频生成技术的未来蓝图，为电影制作、广告、游戏、虚拟现实等众多行业注入全新的活力与想象力。

王本友，香港中文大学（深圳）数据科学学院助理教授、博士生导师、校长青年教授；深圳河套学院双聘导师。研究方向为大语言模型（医疗）应用、多模态大模型、AI4Math和Human-agent interaction，曾获得了SIGIR 2017 Best Paper Award Honorable Mention, NAACL 2019 Best Explainable NLP Paper，NLPCC 2022 Best Paper, Best Paper in ICLR 2025 Financial AI workshop，担任了 NLPCC 2023 的宣传主席和 EMNLP 2023 的网站主席。他曾获得了华为火花奖、腾讯犀牛鸟项目、华为AI百校计划和CCF滴滴盖亚学者项目的资助，开发的华佗GPT系列大模型被部署到了深圳数十家公立医院和数百家社康医院，和华为诺亚的联合团队获得第二届AI奥林匹克数学竞赛AIMO 2的金牌，相关工作受到了Nature、CCTV、金融时报（Financial Times）、环球时报、红星新闻、南方都市报、深圳卫视、深圳市卫健委、深圳市龙岗区政府的关注和报道。

报告主题：迈向通用多模态智能

报告摘要：本报告系统性地呈现了我们在通用多模态大模型构建中的全链路探索。在感知基础层面，我们构建了高质量的通用图文对齐数据集ALLaVA-4V、长尾视觉知识数据集以及专业医学图像数据集（HuatuoGPT-Vision），并开发了支持长上下文的多模态模型（如LongLLaVA），能够有效处理多图与长视频（基于MileBench评测）。同时，我们积极拓展全模态感知维度，融合语音（EchoX与SoundWave）、动作理解（MotionLLM）、中医诊疗知识（时珍GPT）以及脑电信号（WaveMind），构建了更为立体的信息理解体系。在认知与推理层面，我们重点攻坚复杂推理能力，在视频理解（Video-R1）、医疗多模态推理与语音推理等任务上取得显著进展。在交互与生成前沿，我们开发了基于大模型的图像生成与编辑框架Janus-4o、医疗视频生成系统MedGen、微观世界模拟器MicroVerse，并探索VR/AR交互应用，全面提升自然交互体验。最终，我们前瞻布局物理世界孪生与智能体自进化，通过环境交互模拟，推动Agent在持续反馈中实现自主演进，为迈向具备环境适应与进化能力的通用智能奠定坚实基础。