前言

信息是用来消除随机不确定性的东西。 ——香农

随机森林的特点这里就不说了，它就相当于机器学习领域的Leatherman（多面手），你几乎可以把任何东西扔进去，它基本上都是可供使用的。在估计推断映射方面特别好用，以致都不需要像SVM那样做很多参数的调试。

而想要了解随机森林，首先要了解决策树：

1）信息、熵以及信息增益的概念
　　这三个基本概念是决策树的根本，是决策树利用特征来分类时，确定特征选取顺序的依据。理解了它们，决策树也就了解了大概。
　　假设我们有一个数据集 S，每个数据元素都标明了所属的类别，即元素属于有限类别C 1 ,…, C n 中的一种。如果所有数据点都属于同一类别，那么也就不存在不确定性了，这就属于我们喜闻乐见的低熵情形。如果数据点均匀地分布在各个类别中，那么不确定性就较大，这时我们说具有较大的熵。从数学的角度来讲，如果 p i 表示 c i 类别中的数据所占的比例，那么可以把熵定义为：

2）决策树
　　决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。常见的决策树算法有C4.5、ID3和CART。
　3）集成学习　
　　集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。
　　随机森林是集成学习的一个子类，它依靠于决策树的投票选择来决定最后的分类结果。

我们直接将其写成函数：

def entropy(class_probabilities):
    return sum(-p * math.log(p, 2) for p in class_probabilities if p)
def partition_entropy(subsets):
    total_count = sum(len(subset) for subset in subsets)
    
    return sum( data_entropy(subset) * len(subset) / total_count
                for subset in subsets )
def group_by(items, key_fn):
    groups = defaultdict(list)
    for item in items:
        key = key_fn(item)
        groups[key].append(item)
    return groups
    
def partition_by(inputs, attribute):
    return group_by(inputs, lambda x: x[0][attribute])    

def partition_entropy_by(inputs,attribute):
    partitions = partition_by(inputs, attribute)
    return partition_entropy(partitions.values())

id3根据信息增益，运用自顶向下的贪心策略建立决策树。信息增益用于度量某个属性对样本集合分类的好坏程度,下面给出代码

def classify(tree, input):
    if tree in [True, False]:
        return tree
    attribute, subtree_dict = tree
    subtree_key = input.get(attribute)
    if subtree_key not in subtree_dict: 
        subtree_key = None
    subtree = subtree_dict[subtree_key]
    return classify(subtree, input)

def build_tree_id3(inputs, split_candidates=None):
    if split_candidates is None:
        split_candidates = inputs[0][0].keys()
    num_inputs = len(inputs)
    num_trues = len([label for item, label in inputs if label])
    num_falses = num_inputs - num_trues
    
    if num_trues == 0:                  
        return False                    
        
    if num_falses == 0:                 
        return True                     

    if not split_candidates:
        return num_trues >= num_falses  
    best_attribute = min(split_candidates,
        key=partial(partition_entropy_by, inputs))
    partitions = partition_by(inputs, best_attribute)
    new_candidates = [a for a in split_candidates 
                      if a != best_attribute]
    
    subtrees = { attribute : build_tree_id3(subset, new_candidates)
                 for attribute, subset in partitions.iteritems()
               }
    subtrees[None] = num_trues > num_falses 
    return (best_attribute, subtrees)

到这里，我们的决策树就构建完成了，接下来我们看看随机森林的构建

随机森林的生成

首先介绍Bootstraping，即自助法(bagging)：它是一种随机有放回的抽样方法（可能抽到重复的样本）。

从这里我们可以知道：每棵树的训练集都是不同的，而且里面包含重复的训练样本。

• Bagging是并行式集成学习代表方法。基于“自助采样法”（bootstrap sampling）。自助采样法机制：给定包含m个样本的数据集，我们先随机取出一个样本放入采样集中，再把该样本放回初始数据集，使得下一次采样时该样本还会被采到。这样，经过m次样本采集，我们得到包含m个样本的采样集。采样集中，有的样本出现过很多次，有的没有出现过。Bagging机制：我们采样出T个含m个样本的采样集。然后基于每个采样集训练出一个学习器，再将学习器进行结合。对分类任务使用投票法，对回归任务采用平均值法。

# 如果已经存在了几个足够的划分候选项， 就查看全部
if len(split_candidates) <= self.num_split_candidates:
    sampled_split_candidates = split_candidates
# 否则选取一个随机样本
else:
    sampled_split_candidates = random.sample(split_candidates,
     self.num_split_candidates)
# 现在仅从这些候选项中选择最佳属性
best_attribute = min(sampled_split_candidates,
    key=partial(partition_entropy_by, inputs))
partitions = partition_by(inputs, best_attribute

• Boosting是一族可以将若学习器提升为强学习器的算法，代表算法为AdaBoost。该算法的工作机制：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器。如此反复进行，直至学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。Boosting我是参考的这个说实话，数学公式真的没怎么看懂。

GBDT算法

GBDT是一个应用很广泛的算法，可以用来做分类、回归。在很多的数据上都有不错的效果。

而Gradient Boost与传统的Boost的区别是，每一次的计算是为了减少上一次的残差(residual)，而为了消除残差，我们可以在残差减少的梯度(Gradient)方向上建立一个新的模型。所以说，在Gradient Boost中，每个新的模型的简历是为了使得之前模型的残差往梯度方向减少，与传统Boost对正确、错误的样本进行加权有着很大的区别。
对于大量的数学推到，我是看不懂，推荐这个,讲的算通俗易懂的。

根据实际测试（就是直接调用sklearn等库对一些应用其他回归算法的数据应用GBDT准确性很高~这个真的算神器！）