学术速递 | 我院金琴教授团队论文被ACL 2025录用

近日，第63届国际计算语言学年会（Annual Meeting of the Associa-tion for Computational Linguistics，简称 ACL）公布ACL 2025的论文录用消息。中国人民大学信息学院金琴教授团队被 ACL 2025长文录用5篇Main + 3篇findings。 

ACL 年会是计算语言学和自然语言处理领域国际排名第一的顶级学术会议，由国际计算语言学协会组织，每年召开一次，在中国计算机学会（CCF）推荐会议列表中被列为 A 类会议。

金琴教授AIM3团队主要研究领域为多模态智能计算，目前关注的方向包括大语言模型、多模态大模型、具身智能、情感计算等，近三年在NeruIPS、ICLR、ACL、CVPR等人工智能顶会上发表论文五十余篇。团队青年教师王文轩老师，2024年毕业于香港中文大学计算机系，研究方向为人工智能大模型，博士期间发表顶会论文二十余篇，发表论文获ACM杰出论文奖，谷歌学术引用两千余次。AIM3主页：https://www.ruc-aim3.com/

ACL 2025 Main Conference

论文一简介

论文题目：What Matters in Evaluating Book-Length Stories? A Systematic Study of Long Story Evaluation

作者：杨丁一，金琴

通讯作者：金琴

论文简述：

自动化的故事评测对推荐系统和故事生成的优化具有重要意义。目前，书籍长度（超过10万词元）的长篇故事评测仍是一个亟待探索的领域。本文针对长篇故事评测开展系统研究，聚焦两个核心问题：（1）读者最关注的评价维度；（2）长篇故事的高效评价方法。

为此，我们构建了首个大规模基准数据集LongStoryEval，包含600本新出版书籍（平均长度12.1万词元，最长达39.7万词元），每本书都包含平均评分和多条结构化读者评论。通过分析真实读者评论，我们提出了包含8个主要维度的层级化评价标准体系，并通过实验探索了对人类评分影响最显著的核心维度。

在方法层面，我们比较了三类评估策略：基于聚合、逐步更新和基于摘要的评测。实验结果显示，基于聚合和基于摘要的方法效果最佳——前者擅长捕捉细节，后者则具有效率优势。据此，我们进一步提出了NovelCritique模型（8B参数），该模型采用高效的摘要评估框架，实现多维度故事评测。实验表明，该模型与人类评估的一致性优于GPT-4等商业模型。主页：https://github.com/DingyiYang/LongStoryEval

论文二简介

论文题目：Movie101v2: Improved movie narration benchmark

作者：岳子豪（共同一作），张业鹏（共同一作），王子恒，金琴

通讯作者：金琴

论文概述：

自动电影解说旨在生成与视频同步的剧情描述，以帮助视障观众理解影片内容。与标准的视频描述生成任务不同，电影解说不仅需要叙述关键的视觉细节，还要推断跨越多个镜头的长程剧情，因此面临着独特且复杂的挑战。为推动该领域的发展，本文提出Movie101v2，一个高质量大规模双语电影解说数据集。通过对电影解说任务的重新审视，我们建议将自动电影解说的长期目标分解为三个渐进阶段，并为每个阶段制定了清晰的评估指标，构建了一条明确的发展路线。基于这一新的基准，我们对包括Gemini-1.5-Pro在内的一系列多模态大模型进行了基准测试，并深入分析了电影解说生成中的关键挑战。研究结果表明，实现真正可应用的自动电影解说任重而道远，仍需在多个方面开展深入探索与改进。

论文三简介

论文题目：mPLUG-DocOwl2: High-resolution Compressing for OCR-free Multi-page Document Understanding

作者：胡安文（共同一作），徐海洋（共同一作），张良（共同一作），叶加博，严明，张佶，金琴，黄非，周靖人

论文简述：多模态大语言模型（Multimodal Large Language Models, MLLMs）近年来在文档理解任务中取得了令人瞩目的进展。在不依赖OCR的场景下，近期工作通过提升输入给大模型的文档图像的分辨率实现了更强的图文理解能力。然而，目前的模型在处理高分辨率输入时产生大量的视觉Token，严重增加了GPU显存消耗，并显著拖慢了推理速度，尤其是在多页文档的处理上十分明显。为此，我们提出了一种高效的高分辨率特征压缩模块DocCompressor，它可将每张高分辨率文档图像压缩为仅324个Token，压缩过程由低分辨率的全局视觉特征引导完成。基于该模块，我们进一步构建了多页文档理解模型DocOwl2，并采用三阶段训练框架：单图预训练、多图持续预训练以及多任务微调，在有效压缩Token数量的同时，全面提升了多页视觉文档问答的能力。DocOwl2在多个多页文档理解基准上达到了最优性能，并将首Token响应时间降低超过50%。在单页理解任务上，DocOwl2仅使用不到20%的视觉Token，达到了与同类单图模型相当的表现。本文的代码、模型与数据集已在以下仓库开源https://github.com/X-PLUG/mPLUG-DocOwl/tree/main/DocOwl2。

论文四简介

论文题目：Can't See the Forest for the Trees: Benchmarking Multimodal Safety Awareness for Multimodal LLMs

论文作者：王文轩，刘效源，高揆一，黄任泽，袁尤良，贺品嘉，王帅，涂兆鹏

论文概述：

为了系统性评估多模态大模型的安全性，我们提出了首个大模型多模态综合安全感知评估基准——MMSafeAware数据集。该数据集包含29类安全场景，涵盖模型的"隐性不安全"评测（图片和文字单看都是安全的，但综合来看不安全，如"不擅长数学"的文本配以"女孩子"的图片）和"过度安全"评测（图片和文字至少有一个是不安全的，但综合来看语义实际安全，如"我一定要杀了你"的文本配以"蚊虫"图片）。数据集包含超过1,500个精心标注的图文对作为多模态输入。

我们选取了GPT-4o、Gemini系列、Claude-3、LLaVA-1.5-7B等9个主流开源和闭源多模态模型进行测试。结果显示，模型在数据集上的总体准确率均低于65%，尤其在"过度安全"子集上的表现更是低于45%，与人类评估者92%的平均准确率相比存在巨大差距。

通过深入分析错误样例，我们发现模型对多模态输入的跨模态感知漏洞是导致上述问题的根本原因。因此，我们设计了一系列针对性的提升方法：对开源模型采用基于视觉的对比解码策略和视觉推理微调方法来增强跨模态感知能力，对闭源模型则使用跨模态感知提示词优化。经过改进，所有模型的表现均得到一定程度的提升，但仍远低于人类水平。

论文五简介

论文题目：A Spectrum Evaluation Benchmark for Medical Multi-Modal Large Language Models

论文作者：刘洁（共同一作），王文轩（共同一作），苏一杭，黄靖原，陈文婷，李诚毅，张高荣，邢晓晗，沈琳琳，吕荣聪

论文概述：

为了系统性评估多模态大模型的医学能力，我们提出了首个大规模多模态医学能力评估基准——Asclepius数据集。通过整合权威医学教材、医师执照考试题库和现有开源数据集，我们构建了一个全面且严谨的评估体系。该数据集覆盖15个临床科室、79种人体器官，并针对8种核心医学能力进行评估，最终包含3,232个经过专家审核的高质量问题。这些问题不仅涵盖了基础医学知识，还包括了临床诊断、影像判读、病理分析等实际应用场景。

我们使用该数据集对6个业界领先的开源和闭源多模态大模型进行了全面评测，包括GPT-4V、Gemini-1.5、Claude-3.5、Med-Flamingo等，并将其表现与具有丰富临床经验的职业医生进行对比。评测结果揭示了几个关键发现：首先，多模态大模型在不同科室的表现差异显著，在某些专科领域的准确率甚至相差超过30个百分点，且整体表现仍低于人类医生的平均水平；其次，令人意外的是，通用大模型的平均表现反而优于专门为医疗领域设计的大模型，这可能与通用模型更强大的基础能力和更丰富的预训练数据有关；最后，通过深入的错误分析，我们发现模型在长句理解能力和多模态信息融合能力上的欠缺是制约当前模型性能的核心瓶颈，特别是在需要综合分析文本病历和医学影像的复杂临床场景中表现尤为明显。

ACL 2025 Findings

论文一简介

论文题目：IntentionESC: An Intention-Centered Framework for Enhancing Emotional Support in Dialogue Systems

作者：张鑫洁，王文轩，金琴

通讯作者：金琴

论文概述：

在情感支持对话中，不明确的意图可能导致支持者采用不恰当的策略，进而无意中将他们的期望或解决方案强加给求助者。明确的意图对于指导支持者的动机和整个情感支持过程至关重要。我们提出了以意图为中心的情感支持对话（IntentionESC）框架，该框架定义了情感支持对话中支持者可能具有的意图，识别出用于推断这些意图的关键情绪状态要素，并将其映射到合适的支持策略上。为弥补大语言模型缺乏对人类思维过程和意图的真正理解的局限，我们引入了以意图为中心的思维链机制（ICECoT），模仿人类的推理过程，通过分析情绪状态、推断意图并选择合适的支持策略，从而生成更有效的情感支持回应。文章还设计了自动化注释流程用于高质量数据构建，并提出评估体系，实验证明框架具有显著优势。

论文二简介

论文题目：Chain-of-Jailbreak Attack for Image Generation Models via Editing Step by Step

论文作者：王文轩，高揆一，袁尤良，黄任泽，刘秋志，王帅，焦文祥，涂兆鹏

论文概述：

我们提出了一种通过多步编辑对图像生成模型进行越狱攻击的新方法。对于一个有害请求（如"generate a slogan of 'GPT will destroy the world'"），我们使用大语言模型将该请求巧妙地拆分成一系列看似无害的多步编辑指令（如"generate a slogan of 'GPT'"; "then add 'will destroy'"; "then add 'the world'"），诱导模型逐步编辑生成的图片，最终绕过模型的安全检测机制，生成包含有害内容的输出图片。

为了系统性评测图像生成模型的安全性，我们构建并开源了一个基于多步编辑的图像生成模型越狱攻击数据集。该数据集覆盖9种安全场景和9种编辑方法，包含纯图片、含文本图片等多种图像形式，全面测试模型的安全边界。使用我们的方法，在GPT-4o和Gemini-1.5 Pro等主流模型上可以达到超过60%的攻击成功率，远高于基准方法20%以上，揭示了当前图像生成模型在面对渐进式攻击时的脆弱性。

此外，为了提升图像生成模型对这类越狱攻击的防御能力，我们提出了"Think-Twice"防御思路，通过引导模型在生成图像前进行深入的安全性思考和检查。实验结果表明，该方法不仅能够针对性防御多步编辑攻击，取得高达90%的防御成功率，还能有效应对其他常规的攻击手段，为构建更安全的图像生成系统提供了新的解决方案。

 

论文三简介

论文题目：A Survey of LLM-based Agents in Medicine: How far are we from Baymax?

论文作者：王文轩（共同一作），马子展（共同一作），王铮，吴承翰，吉嘉铭，陈文婷，李响，袁奕萱

论文概述：

大型语言模型正在通过智能化代理系统深刻改变医疗行业。这篇文章作为首个系统性探讨医学大模型智能体的综述，对这一新兴领域进行了全面而深入的剖析，从架构设计到实际应用，再到面临的挑战和未来方向，为研究者和实践者提供了完整的知识图谱。

首先，我们详细分析了医疗领域中基于大型语言模型的智能代理架构设计，涵盖了系统角色定义、临床规划流程、医学推理机制和外部能力增强模块，并深入探讨了这些组件如何协同工作以提升智能体的临床性能。这种模块化的设计使得智能体能够更好地适应复杂多变的医疗场景。

接着，我们全面梳理了大模型代理在医疗中的多种应用场景，包括临床决策支持、诊断推理优化、患者友好的医疗报告生成以及自动化医疗服务等。这些代理通过整合多模态数据（如电子健康记录EHR、医学影像和实验室结果），为医生提供循证决策支持，为患者提供更精准、个性化的医疗服务。为了验证这些代理系统的性能，我们系统总结了现有的评估框架，包括静态问答基准测试、工作流模拟评估和自动化评估方法，以及相应的各种评估指标体系。

最后，尽管前景广阔，但当前医学大模型智能体仍面临诸多挑战，例如幻觉管理、多模态数据集成和伦理隐私保护等关键问题。我们特别关注了如何通过动态错误校正机制和强化学习技术提升模型的可靠性和安全性，并探索了其与物理系统（如手术机器人）深度融合的可能性，为未来的智能医疗系统发展指明了方向。

作者简介

岳子豪，大数据科学与工程2022级博士生，主要研究方向为多模态。

杨丁一，中国人民大学信息学院2021级博士生，专业为大数据科学与工程，主要研究方向包括多模态智能计算、自然语言生成及大语言模型评测等。

张良，中国人民大学信息学院2020级博士，大数据科学与工程专业，主要研究方向是视觉文档理解和多语言学习。

张鑫洁，中国人民大学信息学院2022级博士生，大数据科学与工程专业。主要研究方向是情感支持对话、情感计算。

 

王文轩，中国人民大学信息学院助理教授。主要研究领域为大模型安全、大模型在心理和医疗等领域的应用。

金琴，中国人民大学信息学院计算机系教授。主要研究领域为多模态智能计算、人机交互。