softmax函数是更加一般化的逻辑斯谛函数,在多类别分类(多类别逻辑斯谛回归)中,它使得我们能够计算有意义的类别隶属概率。在softmax中,分母是经归一化处理的所有M个线性函数之和,而分子为净输入z,二者的比值即为特定样本属于第i个类别的概率:
我们使用Python代码来完成一个softmax实例:
正如我们所预期的那样,各类别隶属概率之和为1。值得一提的是,样本属于第二个类别的概率接近于0,这是由于z和max(z)之间存在较大差距。不过总体预测结果与逻辑斯谛函数的结果一致。直观上看,将softmax函数看作是归一化的逻辑斯谛函数,有助于在多类别分类中对类别隶属做出有意义的预测。