报告题目：表征学习的矩阵信息论视角

讲座时间：2025年3月28日 16:00-17:30

讲座地点：信息楼报告厅

腾讯会议：847-657-416

报告摘要

近年来，表征学习在监督学习、自监督学习以及多模态对齐等任务中扮演着至关重要的角色。尽管这些学习范式在目标函数和训练机制上各不相同，但它们本质上都依赖于对输入数据进行结构化表征与信息压缩。本报告将从矩阵信息理论的视角出发，统一分析不同学习范式中的表征过程，揭示其中的共性结构与信息流动机制。具体而言，我将展示如何借助协方差矩阵、相似度矩阵等形式化表示，刻画类内与类间的结构性信息，并通过矩阵熵与谱分布等工具，量化表征的表达能力与判别能力。在监督学习中，良好的类条件结构往往体现为低秩矩阵和紧凑的信息表示；在自监督对比学习中，信息的传播依赖于特征的多样性以及正负样本对比驱动下的熵最大化；而在多模态对齐任务中，跨模态表征矩阵则承载着匹配结构与共享语义的关键信息。通过引入矩阵信息论的分析工具，本报告为理解不同学习范式中的表征机制提供了一种新的视角，并在一定程度上揭示了它们在结构性和信息表达上的内在联系。

主讲嘉宾

黄维然，上海交通大学副教授、博士生导师，上海创智学院全时导师，上海人工智能实验室科研顾问，入选 2024 年“微软亚洲研究院铸星计划”学者。先后在清华大学获得学士和博士学位。研究聚焦大模型的高效微调与持续学习研究，累计在 NeurIPS、ICLR、ICML 等国际顶级人工智能会议上发表论文 30 余篇，其中“噪声标签长尾问题”相关的学术论文入选 ICCV 2023 最佳论文候选名单。