深度学习笔记——算法总结

一、 分类问题

  1. KNN (距离度量)
  2. DT (ID3-信息增益, C4.5-信息增益比, CART-gini指数)
  3. RF (bootstrap抽样,CART)
  4. Adaboost (样本权值分布,分类器系数)
  5. GBDT (CART, 残差)
  6. ANN (BP, SGD, sigmod or softmax)
  7. SVM (对偶, kernel)
  8. NaiveBayes (Bayes公式)
  9. LR (sigmod, SGD or BFGS)
  10. EM (隐变量,极大似然估计,E步+M步)
  11. HMM (markov, 初始状态概率向量,观测概率矩阵,状态转移概率矩阵)
  12. CRF(概率无向模型,morkov)

二、 聚类/降维

  1. Kmeans
  2. PCA
  3. Fisher LDA
  4. Dirichlet LDA
  5. SAE
    深度学习
  6. DBN (RBM)
  7. SAE
  8. RNN
  9. LSTM: http://blog.csdn.net/Dark_Scope/article/details/47056361
  10. CNN (LeNet, AlexNet, ZFnet, VGGNet, GoogleNet)
  11. R-CNN
  12. fast R-CNN
  13. faster R-CNN
  14. R-FCN
  15. DRN: http://www.tuicool.com/articles/F77Bzu (or http://blog.csdn.net/u011534057/article/details/51821690)
    注: plain network and highway network

三、相关的概念

  1. 先验概率,后验概率
  2. 过拟合,欠拟合
  3. 正则化
  4. 剪枝
  5. kernel
  6. 对偶
  7. 常用距离度量(欧式,曼哈顿,切比雪夫,闵可夫斯基,马氏,夹角余弦,汉明距离, 信息熵)
    四、激活函数
  8. logistic-sigmoid: f(x)=1/(1+exp(-x))
  9. tanh-sigmoid: f(x)=(1-exp(-x))/(1+exp(-x))
  10. soft-plus: f(x)=integral(logistic-sigmoid)=ln(1+exp(x)) (logistic-sigmoid的原函数)
  11. Relu (rectifier liner units): f(x)=max(0, x)
    注:soft-plus可以看作是Relu的平滑桥正
点赞