深度学习笔记——算法总结

2024年4月28日 256次阅读

一、 分类问题

  1. KNN (距离度量)
  2. DT (ID3-信息增益, C4.5-信息增益比, CART-gini指数)
  3. RF (bootstrap抽样，CART)
  4. Adaboost (样本权值分布，分类器系数)
  5. GBDT (CART, 残差)
  6. ANN (BP, SGD, sigmod or softmax)
  7. SVM (对偶, kernel)
  8. NaiveBayes (Bayes公式)
  9. LR (sigmod, SGD or BFGS)
  10. EM (隐变量，极大似然估计，E步+M步)
  11. HMM (markov, 初始状态概率向量，观测概率矩阵，状态转移概率矩阵)
  12. CRF(概率无向模型，morkov)

二、 聚类/降维

  1. Kmeans
  2. PCA
  3. Fisher LDA
  4. Dirichlet LDA
  5. SAE
    深度学习
  6. DBN (RBM)
  7. SAE
  8. RNN
  9. LSTM: http://blog.csdn.net/Dark_Scope/article/details/47056361
  10. CNN (LeNet, AlexNet, ZFnet, VGGNet, GoogleNet)
  11. R-CNN
  12. fast R-CNN
  13. faster R-CNN
  14. R-FCN
  15. DRN: http://www.tuicool.com/articles/F77Bzu (or http://blog.csdn.net/u011534057/article/details/51821690)
    注： plain network and highway network

三、相关的概念

  1. 先验概率，后验概率
  2. 过拟合，欠拟合
  3. 正则化
  4. 剪枝
  5. kernel
  6. 对偶
  7. 常用距离度量（欧式，曼哈顿，切比雪夫，闵可夫斯基，马氏，夹角余弦，汉明距离， 信息熵）
    四、激活函数
  8. logistic-sigmoid: f(x)=1/(1+exp(-x))
  9. tanh-sigmoid: f(x)=(1-exp(-x))/(1+exp(-x))
  10. soft-plus: f(x)=integral(logistic-sigmoid)=ln(1+exp(x)) (logistic-sigmoid的原函数)
  11. Relu (rectifier liner units): f(x)=max(0, x)
    注：soft-plus可以看作是Relu的平滑桥正
点赞