活 动 背 景
神经网络可解释性基础理论研究中存在两大瓶颈性的问题:
1、在技术层面打通“神经网络特征”与“知识表征”之间的关联;
2、在技术层面打通“神经网络性能”与“知识表征”之间的关联。
上述两个基础理论研究问题是可解释性领域的根本性的问题,基本属于理论空白。前人研究往往从可视化中层特征或对输入单元进行重要性归因的角度来解释神经网络的特征所建模的知识表征。但是,尚无研究从知识表征的层面对神经网络中层特征进行拆分与解构,来确切地建立起每个特征分量与知识表征之间的关联。另一方面,学界尚无研究对神经网络的特征的性能给出严谨的数学定义与分析。前人研究往往基于分类准确率等性能指标来评测神经网络。然而像准确率这样单个标量的性能指标无法充分反映整个复杂模型内部表征的性能的多样性,只能对复杂模型的全局表征进行笼统的评价,无法解释神经网络在每个输入样本上(或输入样本的每个单元上)的表达能力的内在原因。
对此,报告人独辟蹊径,从无到有,打通了“神经网络特征”与“知识表征”之间的关联,以及“神经网络性能”与“知识表征”之间的关联,填补了理论空白。
活 动 详 情
讲 师 介 绍
/
沈 雯
/
于2022年获得同济大学计算机科学与技术专业博士学位,目前在上海交通大学计算机科学与技术系做博士后研究员,受张拳石老师指导。沈雯的研究方向主要为计算机视觉、可解释理论等,她以第一作者(或和博士导师共同一作)的身份发表了3篇CCF-A类论文和1篇计算机视觉会议ECCV。沈雯的研究突破了常规的可解释性研究的思路,即可视化中层表征或输入单元重要性归因,开创性地提出在技术层面打通“神经网络特征”与“知识表征”之间的关联,以及打通“神经网络性能”与“知识表征”之间的关联。这两个科学问题鲜少有研究者关注,尚属理论空白。她围绕上述两个科学问题做出的研究成果,受到了广泛的关注和国际影响。其中,基于面向卷积神经网络模型的可解释性研究,她于2021年受邀承担人工智能领域顶级出版物IJCAI的神经网络可解释性方向的Tutorial。该出版物的Tutorial是顶级学者的舞台,受邀承担该出版物的Tutorial代表了国际社会对顶级学者的认可。此外,沈雯是机器学习顶级会议NeurIPS、ICML等的审稿人。