您好、欢迎来到现金彩票网!
当前位置:2019欢乐棋牌 > 最大熵 >

熵最大原理_百度文库

发布时间:2019-07-02 07:50 来源:未知 编辑:admin

  熵最大原理_数学_自然科学_专业资料。一、熵 物理学概念 宏观上: 热力学定律——体系的熵变等于可逆过程吸收或耗散的热量除以它的绝对温度 (克 劳修斯,1865) 微观上: 熵是大量微观粒子的位置和速度的分布概率的函数, 是描述系统中大量

  一、熵 物理学概念 宏观上: 热力学定律——体系的熵变等于可逆过程吸收或耗散的热量除以它的绝对温度 (克 劳修斯,1865) 微观上: 熵是大量微观粒子的位置和速度的分布概率的函数, 是描述系统中大量微观粒子的 无序性的宏观参数(波尔兹曼,1872) 结论:熵是描述事物无序性的参数,熵越大则无序。 二、熵在自然界的变化规律——熵增原理 一个孤立系统的熵,自发性地趋于极大,随着熵的增加,有序状态逐步变为混沌状态,不可 能自发地产生新的有序结构。 当熵处于最小值, 即能量集中程度最高、有效能量处于最大值时, 那么整个系统也处于最有 序的状态,相反为最无序状态。 熵增原理预示着自然界越变越无序 三、信息熵 (1)和熵的联系——熵是描述客观事物无序性的参数。香农认为信息是人们对事物了解的 不确定性的消除或减少,他把不确定的程度称为信息熵(香农,1948 )。 随机事件的信息熵:设随机变量 ξ,它有 A1,A2,A3,A4,……,An 共 n 种可能的结局, 每个结局出现的概率分别为 p1,p2,p3,p4,……,pn,则其不确定程度,即信息熵为 (2)信息熵是数学方法和语言文字学的结合。一个系统的熵就是它的无组织程度的度量。 熵越大,事件越不确定。熵等于 0,事件是确定的。 举例:抛硬币, p(head)=0.5,p(tail)=0.5 H(p)=-0.5log2(0.5)+(-0.5log2(0.5))=1 说明:熵值最大,正反面的概率相等,事件最不确定。 四、最大熵理论 在无外力作用下,事物总是朝着最混乱的方向发展。事物是约束和自由的统一体。事物总是 在约束下争取最大的自由权, 这其实也是自然界的根本原则。 在已知条件下, 熵最大的事物, 最可能接近它的真实状态。 五、基于最大熵的统计建模:建模理论 以最大熵理论为基础的统计建模。 为什么可以基于最大熵建模? Jaynes 证明:对随机事件的所有相容的预测中,熵最大的预测出现的概率占绝对优势。 Tribus 证明,正态分布、伽马分布、指数分布等,都是最大熵原理的特殊情况。 结论: 最大熵统计建模是以最大熵理论为基础的方法, 即从符合条件的分布中选择熵最大的 分布作为最优秀的分布。 最大熵统计模型需要解决的问题: (1)特征空间的确定——问题域 (2)特征选择——寻找约束条件 (3)建立统计模型——基于最大熵理论建立熵最大的模型 六、基于最大熵的统计模型:数学描述 (1)问题描述:设最终输出值构成的语言学类别有限集为 Y,对于每个 y∈Y,其生成均受 上下文信息 x 的影响和约束。已知与 y 有关的所有上下文信息组成的集合为 X,则模型的目 标是:给定上下文 x∈X,计算输出为 y∈Y 的条件概率 p(yx)。 (2)训练样例 例子:我们的任务是为词“打”的词性标注过程建立模型,标注模型为 p,每个可能的词性为 p(t)。 “打”的可能词性:{动词,量词,介词}。 由此,模型 p 的第一个约束:p(动词)+p(量词)+(介词)=1 在训练最大熵模型时, 任务选连系统通过数据转换程序或者模式识别中通常所说的特征抽取 器, 把真实世界的, 原始训练数据通过特定的方法或者算法转化为多特征或属性表示的训练 样例。 条件最大熵方法是一种有监督的机器学习方法, 所以每个训练样例由一个实例 x 以及他的目 标概念类 y 组成。 七、基于最大熵的统计建模:数学推导 (1) 模型输入: 从人工标注的训练数据中抽取的训练样本集 T={ (x1, y1) , (x2, y2) , ..., (xn,yn)},(xi,yi)表示在语料库中出现 yi 时其上下文信息为 xi。 (2)从训练样例中得到经验概率分布:其中 Count(x,y)是语料中出现的次数,N 为总 词数。则 (3)特征 f 是指 x 与 y 之间存在的某种特定的关系,用二值函数表示: (4)特征的经验概率期望值是所有满足特征要求的经验概率之和,即: 引入 1 个特征: (5)特征的期望概率是特征在所学习的随机事件中的真实分布为: 其中, 真实概率。 是指 x 出现的情况下,y 的经验概率。 是指 x 出现的情况下,y 的 (6)特征的经验概率与期望概率应该一致,即: 即: 上面的式子即成为约束等式。 (7)设存在 k 个特征 fi(i=1,2,...,k),多个约束等式构成的集合叫做约束集,可表示为: (8)最大熵模型,是满足约束条件的所有模型中熵最大的模型,即: 其中 p 为满足约束集 C 条件下的某一统计模型。argmax 表示寻找具有最大评分的参量。 (9)于是我们可以把这个最大熵模型表示为:在满足约束条件中选择熵最大的那个。 这是一个有约束的优化问题 我们可以用拉格朗日乘数法来解决这个优化问题。 具体步骤如下: 为每一个特征 fi 引入一个参数 λi(称为拉格朗日算子),另外由于 p(yx)是条件概率,所 以有 可定义为: ,所以也要为每个实例 x 引入一个参数 k(x)。那么拉格朗日函数 然后对它求导,就可以求出 最大时 。 (10) 特征 fi 的权重用相对应的参数 λi 表示, 则满足最大熵条件 p (yx) 用指数形式表示为: 其中: (11)此时,最大值 (12) 称为归一化因子。 称为归一化因子,它的引入是为了保证 的概率。 (13)这样我们就把一个有约束的优化问题转化为一个没有约束优化的问题。 八、最大熵模型的求解 许多自然语言处理问题都可以归结为分类问题, 其任务是估计目标概念类 y 在实例或上下文 或条件 x 的概率,即 p(yx)。 最大熵模型有两个基本的任务:特征选择和模型选择。 特征选择:选择一个能表达随机过程的统计特征的特征集合。 模型选择:即模型估计或者参数估计,就是为每个入选的特征估计权重 λ。九、基于最大熵 的统计建模:参数估计 Input:特征函数集合{f},特征经验分布 Output:最优参数值集合{λ},最优模型 GIS 算法、IIS 算法、SCGIS 算法 十、基于最大熵的统计建模:特征选择 在所有的特征中选择最有代表性的特征,构造约束集合。 数据稀疏的问题。 特征选择的步骤:特征模板—候选特征-选择特征 特征选择的方法:(1)增量式特征选择算法,基本算法和近似算法。(2)基于频数阈值的 特征选择算法。 十一、最大熵模型的优缺点 优点: (1)建模时,试验者只需集中精力选择特征,而不需要花费精力考虑如何使用这些特征。 (2)特征选择灵活,且不需要额外的独立假定或者内在约束。 (3)模型应用在不同领域时的可移植性强。 (4)可结合更丰富的信息。 缺点: (1)时空开销大 (2)数据稀疏问题严重 (3)对语料库的依赖性较强 十二、最大熵模型的应用 词性标注、短语识别、指代消解、语法分析、机器翻译、文本分类、问题回答、语言模型...... 。 。

http://byrdsbrain.com/zuidashang/165.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有