DeepLDA 并不是把LDA模型整合到了Deep Network，而是利用LDA来指导模型的训练。从实验结果来看，使用DeepLDA模型最后投影的特征也是很discriminative 的，但是很遗憾没有看到论文是否验证了topmost 的hidden representation 是否也和softmax指导产生的representation一样的discriminative。
DeepLDA和一般的deep network唯一不同是它的loss function。两者对比如下：
事实上，特征向量指示着投影最大方差的方向，特征值则是对特征向量重要程度的一个量化。而论文的一个insight就是，希望可以指导网络生成topmost的representation能够在各个方向都产生较大的特征值，即不希望投影的方向在某个方向更方差会更大，因为这代表了信息量的多少。论文提出一种直接把特征值作为loss function的方法，因为训练的时候，网络倾向于优化最大的特征值，产生一个trivial的结果，即使得大的特征值会倾向于更大而牺牲其他小的特征值。因此论文定义loss function在小的特征值上：
论文的appendix可以看到完整的求导过程。
最后，论文的实验室通过对project后的特征进行分类，所以比较的是分类的精度，以及test error。而且，实验的结果还挺competitive的。