五、度量学习

1. 在机器学习中对高维数据进行降维的主要目的是：希望找出一个合适的低维空间，在这个低维空间中进行学习能比原始空间性能更好。

   每个空间对应了在样本属性上定义的一个距离度量。寻找合适的空间，本质上就是在寻找一个合适的距离度量。

2. 度量学习metric learning的思想就是：尝试直接学习出一个合适的距离度量。

3. 推广欧氏距离：对于两个 维样本 ，假定不同的属性的重要性不同，因此引入了权重：

   

   其中 表示 在第 维上的距离， 第 维距离的权重。

   定义对角矩阵 为：

   

   则 。

   上式中的权重矩阵 可以通过学习确定。

4. 前述假设权重矩阵 是对角矩阵，这意味着坐标轴是正交的，即属性之间无关。

   现实任务中可能会发生属性相关的情况，此时对应的坐标轴不再正交。于是可以将 替换成一个普通的半正定对称矩阵 ，此时就得到了马氏距离 Mahalanobis distance：

   

   其中的矩阵 也称作度量矩阵，度量学习就是对 进行学习。

   为了保持距离非负而且对称，则 必须是半正定对称矩阵。即必有正交基 ，使得 。

5. 对 学习的目标是：将 嵌入到学习器的评价指标中去，通过优化学习器的评价指标来求得 。

   即：对 的学习无法直接提出优化目标，而是将 的学习与学习器的学习作为一个整体，然后优化学习器的优化目标。

6. 如果学习得的 是一个低秩矩阵（假设秩为 ）， 可以找到一组正交基，其中正交基的数量为 ，该组正交基构成矩阵 。

   于是度量学习的结果可以衍生出一个降维矩阵 ，能用于降维。降维后的低维空间就是该组正交基张成的空间。