文章

机器学习之数学基础(3)——概率论

前言: 概率论的理解有些抽象,掌握概率论的方法,用实际样本去无限接近真实,熟练掌握并且使用一些最基本的概念是前提,比如,均值,方差

前言: 概率论的理解有些抽象,掌握概率论的方法,用实际样本去无限接近真实,熟练掌握并且使用一些最基本的概念是前提,比如,均值,方差

排列 组合

计算各种公式的基础 排列

image

组合

image

古典概率

事件A 构成事件A发生的基本时间有a个 不构成事件A发生的基本事件有b个

image

联合概率

两个事件共同发生记为P(AB)

条件概率

事件A在另外一个事件B已经发生的条件下的发生概率叫做 条件概率

image

推论:如果n个事件同时发生

image

全概率公式

样本空间Ω有一组事件A1、A2…An 如图:

image

那么对于任意事件B,全概率公式为:

image

又叫结果概率公式(B事件一般为结果事件)

贝叶斯公式

可由条件概率公式证明

image

假如A1、A2…An是样本空间Ω的一个划分,如果 对任意事件B而言,有P(B)>0,那么:

image

又叫原因概率公式,事件B已经发生的情况下查找原因

独立事件

A,B发生无关,称事件A和时间B相互独立

image

随机变量

把前面说的事件A,B具体化,用变量和函数来表达前面说的该事件在样本空间的概率 例: 掷一颗骰子,令 X:出现的点数. 例:上午 8:00~9:00 在某路口观察,令: Y:该时间间隔内通过的汽车数. 则 Y 就是一个随机变量

离散型随机变量

image

    • Bernoulli分布 image 记做: image 注意参数1为一次实验,p为发生事件的概率 2)二 项 分 布 进行n次试验发生k次的概率 image 记为 image 3)Poisson 分布 当n取无穷大二向分布的近似 image 其中参数取值为: image 4)几 何 分 布 在Bernoulli试验中,试验进行到A 首次出现为止 image 5)超 几 何 分 布 一批产品有 N 件,其中有 M 件次品,其余 N-M 件为正品.现从中取出 n 件. 令 X:取出 n 件产品中的次品数. 则 X 的分 布律为 image ## 连续型随机变量 分布函数F(x) 概率密度函数分f(x) 1) 均 匀 分 布 image 记为 image 指 数 分 布 写做:X~ E(λ),数学期望是:1/λ,方差是 1/λ^2 image image 3)正 态 分 布 image 一般正态函数的计算,先转化为标准正态函数 ## 期望和方差

建议同学们学完之后证明一下各个分布的期望和方差,已达到更深的理解。

  • 期望 也就是均值(mean),是概率加权下的“平均值”,是每次可能 结果的概率乘以其结果的总和,反映的实随机变量平均取值大小。 常用符号 表示 image 方差 方差是衡量数据源数据和期望均值相差的度量值。 image 常见分布的期望和方差如下: image 协方差(cov) 协方差常用于衡量两个变量的总体误差

  • 相关系数(corr) 两个变量相关程度

  • 中心矩、原点矩 X的数学期望E(X)是X的一阶原点矩。 X的方差D(X)是X的二阶中心矩。 X和Y的协方差Cov(X,Y)是X和Y的二阶混合中心矩

  • 峰度 反应峰部的尖度

  • 偏度 右偏还是左偏

三个基本定理

  • 切比雪夫不等式 /切比雪夫定理 设随机变量X的期望为μ,方差为σ2,对于任意的正数ε,有: image 切比雪夫不等式的含义是:DX(方差)越小,时间{|X-μ|

image

由于f(x)>0,f(x)取对数之后的单调性不变,所以可转化为:

image

你可能感冒的文章: 我的机器学习pandas篇 我的机器学习matplotlib篇 我的机器学习numpy篇