概率分布细谈：厚尾、长尾、幂律、指数

2019年5月9日 1,393次阅读来源: python

在人类行为、社交网络等社会学数据分析中，厚尾分布频繁出现。在这篇文章中，我将梳理这些常见概念的关系。

厚尾分布是什么？

厚尾分布指“尾部”比指数分布“厚重“的分布

《概率分布细谈：厚尾、长尾、幂律、指数》尾部厚重

Example

帕雷托Pareto分布，也称为幂率power-law分布, 具有渐近尺度不变性，对于性质分析很有帮助
对数正态 LogNormal
Weibull
Zipf
Cauchy
Student’s t
Frechet
power-low distribution

厚尾分布的子类目

Regularly varying
次指数分布Subexponential，服从浩劫原则，对于随机游走等问题的研究很有帮助
Subexponential Distributions
长尾分布Long-tailed，服从等待时间爆炸原则，对于极端情形研究很有帮助
Long-tailed Distributions

Fat-tailed

下面这张图说明厚尾分布的各种类型

《概率分布细谈：厚尾、长尾、幂律、指数》 Types of heavy-tailed

厚尾分布的性质

厚尾分布具有许多有趣的特性

帕雷托准则Pareto principle : 20%的人拥有社会上80%的财富
方差无限, 甚至均值无限
重大事件相对发生频繁

它们的3个基本性质

尺度不变性Scale Invariance
尺度不变性
定理可证明，一个分布具有尺度不变性当且仅当这个分布是帕累托分布
渐近尺度不变性
定理可证明，一个分布具有渐近尺度不变性当且仅当这个分布是Regular varying分布
regularly varying
浩劫原则Catastrophe principle
通俗意义上来说，浩劫原则指的是仅需要极少甚至一个意外就可以带来巨大的灾难。浩劫原则是厚尾分布的特性之一。相对而言，轻尾分布则服从阴谋原则，可理解为需要多数样本聚合才能产生一定的效果。
浩劫原则和阴谋原则
一个分布服从浩劫原则当且仅当这个分布是一个次指数分布
等待时间爆炸residual life blows up
通俗理解，如果你没有很快收到邮件答复，那么你可能永远收不到了~假定你已经等待了x时间，那么剩余等待时间的分布是
residual life distribution
如果是一个指数分布
residual life distribution of exponential 它仍然是指数分布，也就是说白等了x时间。如果是一个帕雷托分布，那就很可怕了，等待时间会随着已等时间x上升！
residual life distribution of pareto

《概率分布细谈：厚尾、长尾、幂律、指数》 mean residual life & hazard rate
DHR IMRL

什么时候会出现厚尾分布？

考虑独立同分布的随机变量Xi，它们的和如何变化？

方差有限时，随机变量的和服从0均值的正态分布
《概率分布细谈：厚尾、长尾、幂律、指数》 CLT

方差无限时，随机变量的和服从厚尾分布
《概率分布细谈：厚尾、长尾、幂律、指数》 GCLT

在人类生活中，厚尾分布比正态分布更经常出现

累加性过程 Additive Processes,如上述方差无限时
乘积性过程 Multiplicative Proces example of multiplicative process
在乘积性中心极限法则的作用下，对数正态分布出现 log normal
MCLT 如果在乘积性过程中加入噪声或者是较低的屏障，幂律分布出现~ power law
极值过程 Extremal Process
极值过程也会导致厚尾分布的出现，l
extremal process