作者：LogM
本文原载于 https://segmentfault.com/u/logm/articles，不允许转载~
文章中的数学公式若无法正确显示，请参见：正确显示数学公式的小技巧
本文为《数学之美》的读书笔记。
第19章 谈谈数学模型的重要性
- 数学很重要
第20章 谈谈最大熵模型
- 思想：对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知条件，而对未知的情况不要做任何主观假设。
- $$P(d|x_1,x_2,…,x_{20}) = \frac{1}{Z(x_1,x_2,…,x_{20})} e^{\lambda_1 (x_1,d)+ \lambda_2(x_2,d)+ … + \lambda_{20}(x_{20},d)}$$
- 归一化因子：
$$Z(x_1,x_2,…,x_{20}) = \sum{e^{\lambda_1 (x_1,d)+ \lambda_2(x_2,d)+ … + \lambda_{20}(x_{20},d)}}$$
第21章 拼音输入法的数学原理
- 语言模型
第22章 自然语言处理的教父马库斯和他的优秀弟子们
- 人物传记
第23章 布隆过滤器
- 本质和哈希表一样，区别是映射函数精心设计过，在可接受的冲突率前提下，减少了内存的占用。
第24章 贝叶斯网络（信念网络）
- 马尔科夫链假设依赖关系是一维的，所以建立一维的链。但实际问题很复杂，很多依赖关系不能用链上的状态转移描述，需要用图描述。
- 为了计算方便，依旧保持马尔科夫假设成立，即每一个状态只与和它直接相连的状态有关。
第25章 条件随机场、文法分析及其它
- 条件随机场：在隐马尔科夫模型中，$x_1,x_2,…$ 为观测值，$y_1,y_2,…$ 为隐状态，$x_i$ 只与 $y_i$ 有关。而条件随机场中，$x_i$ 与 $y_i$、$y_{i-1}$、$y_{i+1}$ 都有关。
- 可以认为条件随机场是一种特殊的概率图模型。仍遵守马尔科夫假设。条件随机场是无向图。
- 条件随机场通常用最大熵模型建模：
$$P(x_1,x_2,..,x_n,y_1,y_2,…,y_m) = \frac{e^{f_1+f_2+…+f_k}}{Z}$$
第26章 Viberti 算法
- 隐马尔科夫模型可以转换为篱笆网络。Viberti 使用动态规划思想在这个网络中求最短路径。
第27章 期望最大化算法
第28章 逻辑回归和搜索广告
- 搜索广告的发展：竞价排名 -> 预测用户点击 -> 全局优化
- 预测广告点击率一般用逻辑回归做
第29章 各个击破算法和 Google 云计算的基础
- MapReduce
第30章 Google 大脑和人工神经网络
- 人工神经网络
人工神经网络与贝叶斯网络的关系：
- 有向图，且遵从马尔科夫假设
- 训练方法相似
- 对于很多模式分类问题，两种方法效果相近
- Google 大脑：分布式的人工神经网络
第31章 大数据的威力
- 数据很重要
