增量方法，每次处理一小撮数据，增量更新参数，每一步更新的计算量都很小。统计梯度下降法。

有一个基本假设：数据有时序的到来，满足一定的分布(强假设：前面的数据和后面的数据是独立同分布)。所以对于前面的数据没有来得及catch的信息，在丢失了前面的数据，后面仍有机会修正。

本章举了比较多的增量问题的例子($4.1)，一类增量优化问题的方法($4.2 incremental subgradient-proximal methods)，对该方法的收敛速度的证明($4.3,$4.4)，两个具体优化问题($4.5)