Deeplearning Algorithms tutorial

谷歌的人工智能位于全球前列，在图像识别、语音识别、无人驾驶等技术上都已经落地。而百度实质意义上扛起了国内的人工智能的大旗，覆盖无人驾驶、智能助手、图像识别等许多层面。苹果业已开始全面拥抱机器学习，新产品进军家庭智能音箱并打造工作站级别Mac。另外，腾讯的深度学习平台Mariana已支持了微信语音识别的语音输入法、语音开放平台、长按语音消息转文本等产品，在微信图像识别中开始应用。全球前十大科技公司全部发力人工智能理论研究和应用的实现，虽然入门艰难，但是一旦入门，高手也就在你的不远处！ AI的开发离不开算法那我们就接下来开始学习算法吧！

最小角回归（LARS）

最小角回归(LARS)是对高维数据的回归算法， 由 Bradley Efron, Trevor Hastie, Iain Johnstone 和 Robert Tibshirani 开发完成。 LARS 和逐步回归很像。在每一步，它寻找与响应最有关联的 预测。当有很多预测有相同的关联时，它没有继续利用相同的预测，而是在这些预测中找出应该等角的方向。

示例应用

  1. print(__doc__)
  3. # Author: Fabian Pedregosa <fabian.pedregosa@inria.fr>
  4. #         Alexandre Gramfort <alexandre.gramfort@inria.fr>
  5. # License: BSD 3 clause
  7. import numpy as np
  8. import matplotlib.pyplot as plt
  10. from sklearn import linear_model
  11. from sklearn import datasets
  13. diabetes = datasets.load_diabetes()
  14. X = diabetes.data
  15. y = diabetes.target
  17. print("Computing regularization path using the LARS ...")
  18. alphas, _, coefs = linear_model.lars_path(X, y, method='lasso', verbose=True)
  20. xx = np.sum(np.abs(coefs.T), axis=1)
  21. xx /= xx[-1]
  23. plt.plot(xx, coefs.T)
  24. ymin, ymax = plt.ylim()
  25. plt.vlines(xx, ymin, ymax, linestyle='dashed')
  26. plt.xlabel('|coef| / max|coef|')
  27. plt.ylabel('Coefficients')
  28. plt.title('LASSO Path')
  29. plt.axis('tight')
  30. plt.show()

优点和缺点

优点：

  1. 当 p >> n，该算法数值运算上非常有效。(例如当维度的数目远超点的个数)
  2. 它在计算上和前向选择一样快，和普通最小二乘法有相同的运算复杂度。
  3. 它产生了一个完整的分段线性的解决路径，在交叉验证或者其他相似的微调模型的方法上非常有用。
  4. 如果两个变量对响应几乎有相等的联系，则它们的系数应该有相似的增长率。因此这个算法和我们直觉 上的判断一样，而且还更加稳定。
  5. 它很容易修改并为其他估算器生成解，比如Least Absolute Shrinkage and Selection Operator。

缺点：

  1. 因为 LARS 是建立在循环拟合剩余变量上的，所以它对噪声非常敏感。