联系我们 CONNECT US
  • 电话: 024-83687760
  • 通讯地址: 辽宁省沈阳市和平区文化路3号巷11号东北大学135信箱
您现在所在的位置:首页  首页新闻  新闻
信息学院罗红晨副教授指导本科生在ACM MM国际顶会上发表研究成果

近日,信息学院2023级本科生王力垣在罗红晨副教授、王骄教授指导下,围绕人-物交互关系推理领域开展研究并取得重要进展。相关研究成果《ACRM-HOI: Attribute-Centric Reasoning for Human Multi-Object Interaction》被国际多媒体领域顶级会议ACM MM 2026(34th ACM International Conference on Multimedia)录用。该论文中,本科生为第一作者,罗红晨副教授为通讯作者,王骄教授为共同作者。ACM MM是多媒体与人工智能领域具有重要影响力的国际学术会议,被中国计算机学会(CCF)评定为A类会议。

三维人-物交互(3D HOI)是具身智能领域的重要研究方向之一,广泛应用于机器人交互、增强现实/虚拟现实、模仿学习及人机交互等领域,其主要研究人在三维环境中与周围物体发生接触、操作和协同过程中的人体姿态与交互关系。现有方法大多面向人与单个物体之间的交互建模,而真实场景中人体往往需要同时与多个物体进行交互,不同物体对人体接触区域和身体姿态会产生相互关联的约束,因而容易出现局部交互合理但整体姿态不协调的问题。

针对上述问题,本工作提出了一种基于物体属性推理的多物体人-物交互框架,如下图所示。该框架首先利用MLLM从物体点云的几何结构、功能及使用方式等信息中提取与交互相关的细粒度属性,并进一步推理不同物体之间可能存在的交互关系及人体资源约束;随后将这些高层语义信息与点云编码三维几何特征进行融合,统一指导扩散模型与解码器进行人物接触区域预测与三维姿态生成,从而提升复杂多物体场景下交互结果的整体协调性和物理合理性。实验结果表明,该方法在物体属性理解、人体接触预测和三维姿态生成等任务上均取得了较好的性能,能够生成更加自然、协调的多物体人物交互结果。

此次研究的成功发表充分体现了信息学院在本科生科研创新能力培养方面取得的积极成效,体现了学院坚持科研育人理念、依托高水平科研团队开展本科生创新训练的培养成效。通过参与前沿科研项目和国际学术交流,本科生得以在实践中提升科研能力、拓展国际视野,为高质量创新人才培养提供了有力支撑。