《概率统计课件ch71.ppt》由会员分享，可在线阅读，更多相关《概率统计课件ch71.ppt（23页珍藏版）》请在第壹文秘上搜索。
1、第七章第七章 参数估计参数估计 1.1.点估计点估计一一.问题的提出问题的提出:统计估计问题专门研究由统计估计问题专门研究由样本样本估计估计总体未总体未知的分布函数知的分布函数，或，或分布函数中未知的参数分布函数中未知的参数，或，或某个数字特征某个数字特征的方法及其优良性问题。的方法及其优良性问题。在实际问题中，总体的分布函数往往是未在实际问题中，总体的分布函数往往是未知的，有时即使知道它的形式，例如正态分布、知的，有时即使知道它的形式，例如正态分布、泊松分布等。泊松分布等。但是其中参数的真值是未知的，但是其中参数的真值是未知的，这就产生了这就产生了统计估计统计估计问题问题。统计估计问题包括统
2、计估计问题包括参数估计参数估计和和非参数估计。非参数估计。如果已知总体分布函数的形式，未知的只如果已知总体分布函数的形式，未知的只是其中包含的有限个参数，只要确定这些参数是其中包含的有限个参数，只要确定这些参数就可以完全确定总体的分布函数，这就是就可以完全确定总体的分布函数，这就是参数参数估计问题。估计问题。参数估计问题有两种形式，一种称为参数估计问题有两种形式，一种称为点估点估计问题计问题，要求适当地选择一个统计量作为未知，要求适当地选择一个统计量作为未知参数的估计量；另一种称为参数的估计量；另一种称为区间估计问题区间估计问题，要，要求适当的选择一个范围（通常是一个区间），求适当的选择一个范
3、围（通常是一个区间），使得未知参数被这个范围包含的概率足够地大。使得未知参数被这个范围包含的概率足够地大。作作参参数数的的点点估估计计方方法法。一一个个估估计计，这这种种方方法法叫叫的的彩彩电电平平均均寿寿命命万万小小时时就就可可以以作作为为该该厂厂万万小小时时。于于是是台台彩彩电电的的样样本本均均值值测测得得这这台台彩彩电电，未未知知，于于是是厂厂家家抽抽查查了了但但是是平平均均寿寿命命，服服从从正正态态分分布布设设某某厂厂生生产产的的彩彩电电寿寿命命 2.42.4100100),(2 xxNX先看一个例子：先看一个例子：.)x,x,(,)X,X,(,)x,x,(),X,X,(,x ,x ,
4、X,X,);(xFXn21n21n21n21n21n21的的估估计计值值为为称称的的估估计计量量为为称称我我们们来来估估计计未未知知参参数数值值用用它它的的观观察察一一个个适适当当的的统统计计量量点点估估计计问问题题就就是是要要构构造造其其观观察察值值为为中中抽抽取取样样本本从从总总体体是是未未知知参参数数的的形形式式已已知知的的分分布布函函数数设设总总体体 xXxXxXX定定 义义。二二者者都都可可以以记记为为的的一一个个点点估估计计，估估计计量量和和估估计计值值统统称称为为 )1(估估计计值值是是不不同同的的。对对不不同同的的样样本本观观察察值值，)2(注意：注意：定定的的要要求求。理理，
5、则则需需要要合合乎乎一一但但是是一一个个估估计计量量是是否否合合的的一一个个估估计计量量。数数统统计计量量都都可可作作为为未未知知参参的的定定义义，任任何何一一个个由由点点估估计计值值和和点点估估计计量量)3(极极大大似似然然估估计计法法矩矩估估计计法法理理论论基基础础的的估估计计方方法法。下下面面介介绍绍两两个个合合乎乎一一定定.BA二二.矩估计法矩估计法:),F(x;X m21 的的分分布布函函数数为为设设总总体体,)E(XkXm21kk的函数的函数也是也是阶原点矩阶原点矩的的则则 ),(f),(f),(f),(g),(g),(g)2,1,)(kE(X),(21lmm2122m2111m2
6、1m2m2121m211km21kmmmg 可解出可解出假定从方程组假定从方程组记记,Xx,x ,x n21的样本值的样本值是是设设,Xn1Akn1ikik 来估计来估计用样本矩用样本矩.,fii的的估估计计量量得得到到中中然然后后代代入入 .1,2,i ),A,(Af m21ii法叫矩估计法这种估计未知参数的办mA1.之所以可用之所以可用样本矩样本矩Ak作为相应的作为相应的总体矩总体矩的估计量的估计量,用样本矩的连续函数用样本矩的连续函数作为相应的总体矩的连续函数的估计量作为相应的总体矩的连续函数的估计量,其原因在于：样本矩其原因在于：样本矩Ak依概率收敛于相依概率收敛于相应的总体矩应的总体
7、矩,而样本矩的连续函数依概率而样本矩的连续函数依概率收敛于相应的总体矩的连续函数收敛于相应的总体矩的连续函数.B,E(X)-EX.2kkkkk 代代替替然然后后用用也也可可以以用用中中心心矩矩某某些些.,X,X,X,0,X 1.2n21222的的矩矩估估计计求求是是一一个个样样本本又又设设均均未未知知但但且且都都存存在在及及方方差差的的均均值值设设总总体体例例 )E(X,E(X)221 ,E(X)D(X)222 ,2221AA 代替总体原点矩代替总体原点矩再用前二阶样本原点矩再用前二阶样本原点矩 211212212212)(11,X-XnX-Xn-AAXAninii 的估计量的估计量和和函函数
8、数，即即二二阶阶原原点点矩矩表表为为参参数数的的数数，故故将将总总体体的的前前解解：因因为为有有两两个个未未知知参参的的矩矩估估计计值值。求求为为一一组组样样本本观观察察值值，若若的的矩矩估估计计量量求求是是一一个个样样本本为为未未知知参参数数，其其中中其其他他的的密密度度函函数数设设总总体体例例 8,4,9.3,8.5,7.3,4.4,3.5,2.4,5.3(2).)1(:,X,X,X,00)(6)(X.2n213 xxxxf211 AX即即代代入入一一阶阶样样本本原原点点矩矩，X2:的的估估计计量量解解得得9.8245.481(2)81 xxxii 的的矩矩估估计计值值则则样样本本均均值值
9、代代入入样样本本观观察察值值，求求出出26)(6E(X)030230321 dxxdxxdxxx故故用用总总体体的的一一阶阶原原点点矩矩总总体体有有一一个个未未知知参参数数，解解：)1(三三.极大似然估计方法极大似然估计方法:极大似然估计法的思想和方法：极大似然估计法的思想和方法：设一袋中装有黑、白两种球，设设一袋中装有黑、白两种球，设p是从袋中是从袋中随机摸得白球的概率，现在估计随机摸得白球的概率，现在估计p.为此，做放回抽样，摸为此，做放回抽样，摸10次球，结果表示如下：次球，结果表示如下：次次摸摸得得黑黑球球第第次次摸摸得得白白球球第第iiXi0110,2,11)0()1(ipXPpXP
10、ii则则)0,0,0,1,0,0,0,1,0,1(),(101021 xxx察察值值次次摸摸球球的的结结果果是是样样本本观观若若)0,0,0,1,0,0,0,1,0,1()(10987654321 XXXXXXXXXXPpL73)1(pp 这个这个L(p)是是10次摸球中出现上述结果的概率。次摸球中出现上述结果的概率。极大似然估计法的思想：一随机试验有若干个极大似然估计法的思想：一随机试验有若干个可能的结果，如果在一次抽样中某一结果出现可能的结果，如果在一次抽样中某一结果出现了，就认为这一结果是褚个可能的结果中出现了，就认为这一结果是褚个可能的结果中出现概率最大的一个。概率最大的一个。的的最最
11、大大值值。达达到到的的概概率率最最大大。即即使使得得上上述述观观察察值值出出现现应应该该这这样样估估计计，选选择择因因此此)()(,pLpLpp得得到到可可由由方方程程的的最最大大值值点点求求0)(,)(dppdLppL).(max)3.0(,3.0pLLp 本本题题解解得得是是适适当当的的。的的估估计计值值率率作作为为随随机机摸摸得得白白球球的的概概于于是是pp3.0 下面叙述极大似然估计法：按总体为下面叙述极大似然估计法：按总体为离散型离散型或或连续型连续型随机变量分别讨论。随机变量分别讨论。.),;x(p),;x,x ,x(,x,x ,x ,),x;px,(1)m21in1m21n21n
12、21m21m21称称为为样样本本的的似似然然函函数数记记为为我我们们把把样样本本的的联联合合分分布布的的一一组组样样本本值值是是未未知知参参数数，对对于于给给定定其其中中它它的的分分布布律律为为为为离离散散型型随随机机变变量量设设总总体体 iLXPX的的函函数数。未未知知参参数数似似然然函函数数是是对对于于给给定定的的样样本本观观察察值值m21n21,x,x ,x ,),f(x;X)2(n21m21的的一一个个样样本本是是是是待待估估计计的的参参数数其其中中的的概概率率密密度度函函数数为为为为连连续续型型随随机机变变量量，它它设设总总体体XXXX 达达到到最最大大值值。使使概概率率应应选选择择
13、为为的的估估计计值值所所以以in1iix);f(x ,21);f(x)(,x,x ,x in21nixxxXiiii，内内的的概概率率近近似似于于设设其其长长度度为为的的邻邻域域落落在在点点则则因因为为随随机机变变量量对对于于给给定定的的样样本本值值 最最大大值值即即可可。达达到到无无关关，所所以以只只要要使使得得与与又又因因为为 n1iii);f(xx 为为似似然然函函数数。此此时时记记 n1ii);f(x)(L综上所述，定义一般的综上所述，定义一般的极大似然估计极大似然估计值为：值为：.),(,),()maxL()L(,),();x,x ,x(x,x ,x,2121m21n21n21m21
14、的的极极大大似似然然估估计计量量称称为为的的极极大大似似然然估估计计值值为为则则称称取取最最大大值值在在函函数数样样本本观观察察值值，如如果果似似然然为为一一组组未未知知参参数数知知，其其中中含含有有的的分分布布律律或或密密度度函函数数已已设设总总体体 nnXXXxxxLX .,.1 m21的的函函数数似似然然函函数数是是待待估估参参数数 ,x ,x ,x ,2.n21即即似似然然函函数数的的值值比比较较大大率率比比较较大大概概可可以以认认为为取取到到这这组组值值的的已已经经发发生生的的随随机机事事件件它它是是是是一一组组样样本本值值易易于于发发生生的的事事件件概概率率大大的的事事件件比比概概
15、率率小小根根据据经经验验.,x,x,x ,m21m21m21n21的的估估计计值值作作为为取取到到最最大大值值的的参参数数我我们们将将使使得得大大较较因因而而是是参参数数值值使使得得的的函函数数参参数数它它是是是是常常数数可可是是对对似似然然函函数数而而言言 LL极大似然估计的求解方法极大似然估计的求解方法:.,)1.7(,0,0,0 :,m2121m21 出出从从上上式式中中解解方方程程组组求求解解必必须须满满足足由由微微积积分分的的知知识识有有 LLLm.LlnL代代替替上上式式下下面面方方程程组组来来同同时时达达到到最最大大值值也也可可用用与与由由于于)2.7(,0ln,0ln,0ln
16、21 LLLm .,m21 出出从从上上式式中中解解方方程程组组求求解解例例3.设设X服从服从a,b区间上的均匀分布区间上的均匀分布,求求a和和 b的的极大似然估计和矩估计量极大似然估计和矩估计量.:1):极极大大似似然然估估计计解解似似然然函函数数为为是是一一组组样样本本值值不不全全相相等等,)(x,x ,xn21 ,0,bxa,a-b1f(x)X其其它它的的密密度度函函数数为为nibaabbaLn,2,1,x,)(1),;x,x ,x(in21 ,0)ab(nLb,0)ab(nLa1n1n不不存存在在驻驻点点无无解解由由于于方方程程组组 应应该该有有由由于于考考虑虑在在边边界界上上的的点点,bxa,i ,maxXb ,minXaii ,a-bL取取到到最最小小值值取取到到最最大大值值当当且且仅仅当当而而于是我们得到于是我们得到取最大值取最大值时时故当故当,LmaxXb ,minXaii .maxXb ,minXa ii 2.矩估计：矩估计：,12)ab()X(D,2baE(X)2 已知已知,2ba)X(E1 4)ab(12)ab()X(E)X(D 2222 ,Xn1A2ban1ii
