概率论记录

1. 概述

本次花费了一些时间,对概率论做了一次复习,参考的教材是《普林斯顿概率论读本》,这本书除了将知识,还会介绍一些体验、经验,读起来很受益。文章给出了很多公式的证明,而我主要是为了应用,故对证明的要求不高,大体的知识图如下。

概率论

加粗的地方,有的是比较有趣,比如卷积、伽马函数、生成函数;有的是比较重要,比如贝叶斯、协方差、几种分布等等。

下文是看的过程中,先是摘抄了一些有趣的经验,后对伽马函数、生成函数进行了记录,感觉这两部分提高了我的认知。

2. 基本理论

  • 相关与独立的关系

    不相关的随机变量间不存在线性关系。

    相互独立的随机变量间不存在任何关系。

    没有线性关系,可以有别的关系,因而不相关不一定独立。

    二次函数,y和x之间并不是线性的关系,在一定的条件下,可以使得x和y之间的相关系数是0即表示x和y不相关,但是根据x和y之间是二次函数的关系我们可以得到x和y并不独立,故不相关并不能推出相互独立

  • 协方差与内积

    协方差为0(相关系数为0一个道理,差个归一化),本质上是内积为0,说明两个变量正交,即线性无关。

    Cov(X,Y) = E[(X-μx)(Y-μy)] = E[XY]-μxμy

    x·y = |x||y|cosθ

    1. 内积两个向量映射到实数
    2. 符合交换律
    3. 复核分配率
    4. 符合数乘
  • 数学中最困难的部分之一是学习如何更好地进行代数运算 . 如果能把代数表达式改
    写成较好的形式 , 那么你就可以看到其中的关联 , 并知道该如何继续下去

  • 科学的重要教训之一是 , 把一个复杂的问题简化成许多简单的问题 .

    在化学课上 , 你要学会把化合物分解成组成原子 .

    在数论中 , 你学习把整数分解成素数的乘积 .

  • 想象一下 , 我们正在试着理解消费者的行为:可能想了解电影市场的需求 , 或者要为航空公司设计日程安排 , 又或者要把产品送到市场 .

    可以尝试理解不同个体行为的可能性 , 然后把它们组合在一起

  • 概率论中最重要结果之一是 , “好”的独立随机变量之和会收敛于正态分布 .

  • 概率和计数是不可分割的,要掌握概率就要掌握计数

3. 分布

  • 正态分布

  • 微分可以被看作一个非常机械的过程 . 检查一下目标函数是不是两个函数的和 . 如果是 ,那就使用和的求导法则 . 如果不是 , 则看它是不是两个函数的差、乘积 , 或者一个复合函数 . 你应该明白了 . 我们可以有条不紊地一步步验证 , 最终一定会得到正确答案 . 对于积分 , 并没有一套必定可行的方法 . 事实上 , 大部分函数的积分都没有合适的闭合型结果 . 有时 , 某些函数确实有很好的积分表达式 , 但我们要使用一些技巧或具有一定的洞察力才能看到 .

    比如对于 f (x) = sin x · log x 的积分 , 我们找不到一个很好的表达式 。

  • 伽马函数

    它是数学领域中最重要的函数之一,它将贯穿于整个概率论和统计学 。

    这样做是基于数学的一般原则 —— 通常 , 当你站在更高的层次上、以不同的方式来看待事物时 , 就会看到一些可以利用的新特性 . 另外 , 一旦把它写成积分 , 我们就有了更多的工具 , 可以利用积分理论和分析学的相关结果来研究问题 .

  • 贝塔分布

  • 分布族

    在实践中 , 我们通常有理由相信一种自然现象或数学现象可以通过某种分布来模拟 , 但这些分布的参数值是未知的 . 然后 , 我们试图通过数学分析或统计推断来找出这些参数的值 .

    韦布尔分布被用在许多涉及生存分析的问题上 , 贝塔分布与伽马分布也有类似的应用 ( 维基百科和谷歌会迅速给出很多例子 ). 另外 , 关键是要时刻留意分布族 .你的工具越多 , 你做的建模就越好 .

  • 卡方分布

    分布曲线:

4. 极限定律

  • 马尔科夫不等式

    只用均值来限制概率

马尔科夫应该写成:Prob(X >= βE[X]) <= 1/β。 (上式a = βE[x])

解释为:距离均值越远,概率越小

假设美国的人均收入是 60 000美元 . 随机选出一个家庭的收入至少为 120 000 美元的概率是多少?

答案:60000/120000 = 1/2

  • 切比雪夫不等式

    用均值和方差来限制概率

    解释为:距离均值的距离 与 标准差的比值越大,概率越小。或者为:随机变量与均值相差 k 个标准差的概率不超过 1/k^2

  • 生成函数与卷积

    数学中有种常见的抱怨:如果逐行地看 , 我可以理解整个证明 , 但谁又能想到要这样做呢!当你继续学习时 , 花在这些技巧上的时间会不断带来回报 , 因为这些技巧不仅适用于概率论 , 还贯穿于整个数学物理学。

    在概率论中 , 生成函数最重要的用途是理解随机变量的矩。

    生成函数的一个非常强大的应用就是证明中心极限定理。

    中心极限定理告诉我们 , 在很多情况下 , 对于相互独立的随机变量而言 ,随着变量个数的不断增加 , 变量和会趋向于一个高斯分布。

    服从泊松分布的随机变量之和:

    已知 n 个相互独立的随机变量 . 如果它们分别服从参数为 λ 1 , · · · , λ n 的泊松分布 , 那么它们的和就服从参数为 λ 1 + · · · + λ n 的泊松分布

    定义:

    序列的卷积:

    离散随机变量的概率的生成函数:

    和的生成函数等于生成函数的乘积

    连续随机变量的概率生成函数:

# 数学 

评论

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×