深度学习的可解释性研究（三）——是谁在撩动琴弦

在上一节中我们介绍了建模后深度学习可解释性方法之一：隐层分析法，但我们也会发现隐层分析法的一个问题在于，通过端到端训练的隐层很多时候并没有什么特定的含义，多数依赖我们的主观判断。但是深度学习模型中往往只有输入层对我们来说才是有意义的，所以了解深度学习模型的一个更直观的方法是通过研究输入层的变化对结果的影响来判断输入变量或输入样本的重要性，这也是通常所说的敏感性分析方法。

敏感性分析（Sensitivity Analysis）是一类非常重要的，用于定量描述模型输入变量对输出变量的重要性程度的方法，在经济、生态、化学、控制等领域都已经有了非常成熟的应用。假设模型表示为  ，敏感性分析就是令每个属性在可能的范围变动，研究和预测这些属性的变化对模型输出值的影响程度。我们将影响程度的大小称为该属性的敏感性系数，敏感性系数越大，就说明属性对模型输出的影响越大。一般来讲对于神经网络的敏感性分析方法可以分为变量敏感性分析、样本敏感性分析两种，变量敏感性分析用来检验输入属性变量对模型的影响程度，样本敏感性分析用来研究具体样本对模型的重要程度，也是敏感性分析研究的一个新方向。

1. 变量敏感性分析

神经网络中的变量敏感性分析方法大概有以下几种：基于连接权的敏感性方法，基于偏导的敏感性分析方法、通过改变输入变量观察其影响的方法和与统计方法结合的敏感性分析方法。

基于连接权的敏感性分析方法

基于连接权的方法中比较有代表性的工作是Garson等人1991年在《Interpreting neural network connection weights》提出的方法，这种来自于“远古时期”的智慧相对来说就要简单粗暴一点。输入变量  对输出变量 的影响程度为：