1.  参数估计：要求函数的数学模型形式已知，再用已知类别的学习样本估计里面的参数。

    参数检验是利用总体的信息针对参数做的假设。

    参数估计 要求明确参数服从什么分布，明确模型的具体形式，然后给出参数的估计值。

    根据从总体中抽取的样本估计总体分布中包含的未知参数。

    参数统计（parametric statistics），如果总体分布形态已知，根据样本信息对总体参数进行估计或假设检验的统计分析方法。

2.  非参数估计

    非参数检验：是指在不考虑 原总体分布 ，或者不作关于参数假定的前提下，不假定数学模型，直接用已知类别的学习样本的先验知识直接进行统计检验和判断分析的一系列方法的总称。

    以样本信息对总体分布作出推断，针对总体分布情况做的假设。

    非参数估计不假定 数学模型，可避免对总体分布的假定不当导致重大错误所以常有较好的稳健性。

    非参数估计对解释变量的  分布状况与模型的具体形式 不做具体规定 ，运用核密度函数与窗宽去逐步逼近，找出相应的模型。

    非参数模型对于总体的分布不做任何假设或者说是数据分布假设自由，只知道其分布是存在的，所以就无法得到其分布的相关参数，只能通过非参数统计的方法进行推断。

    由于非参数统计方法与总体究竟是什么分布几乎没有什么关系，所以它的应用范围很广。

    非参数问题是指统计总体分布形式未知或虽已知却不能用有限个参数刻画的统计问题。

一. 参数估计：

指： 由样本统计量估计总体参数。

包括：

• 点估计

• 区间估计

其中，

1. 点估计:  使用 单一的 数值 直接作为 总体参数的估计值。

    如： 估计相应的。 用估计相应的 。

设：总体X的分布函数的形式已知， 但他的一个或多个参数未知，借助于总体X的一个样本来估计 总体未知参数 ， 称为 点估计。

2. 区间估计： 按预先给定的概率，计算一个区间， 使它能够 包含 未知的总体参数。

        事先给定的概率  为可信度（ 0.95 或 0.99 ）， 计算得到的区间 称为 可信区间（CI）。 

        可信区间 通常 由 两个数值界定的 可信限（confidence limit）构成，数值小的叫下限，数值大的叫上限。

        总体均数估计的95%可信区间，表示： 该区间包括总体均数 的概率为95% 。 即： 若作100次抽样，计算得到100个可信区间，  则平均由 95个可信区间 包括  （估计正确），只有5个可信区间不包括  （估计错误）。

        对于一个未知量， 在测量或计算时， 不但需要得到近似值， 还需要 估计误差，即：知道近似值的精确程度（真实值所在的范围）。

        类似的，对于未知参数  ， 除了要计算 它的点估计  ， 还需要估计出一个范围，并知道这个范围包含参数   真值 的可信程度。 

        这个范围， 以区间的形式给出。 同时， 还要给出 这个区间包含参数   真值 的可信程度。   这种形式的估计 称为 区间估计，这样的区间即为：置信区间。

(一). 点估计

点估计 的方法：

• 矩估计法

• 最大似然估计法

1.  矩估计法：

        矩估计，即矩估计法，也称“矩法估计”，就是利用样本矩来估计总体中相应的参数。

首先推导涉及相关参数的总体矩（即所考虑的随机变量的幂的期望值）的方程。

然后取出一个样本并从这个样本估计总体矩。接着使用样本矩取代（未知的）总体矩，解出感兴趣的参数。从而得到那些参数的估计。

举例：

概念：

1. 样本矩：

2. 总体矩：

        用样本矩作为相应的总体矩估计来求出估计量的方法.其思想是：如果总体中有 K个未知参数，可以用前 K阶样本矩估计相应的前k阶总体矩，然后利用未知参数与总体矩的函数关系，求出参数的估计量。

矩 的概念：

矩是物体形状识别的重要参数指标。在统计学中，矩表征随机量的分布。

数学中矩的概念来自物理学。在物理学中，矩是表示 距离 和 物理量 乘积的物理量，表征物体的空间分布。由其定义，矩通常需要一个参考点（基点或参考系）来定义距离。如力和参考点距离乘积得到的力矩（或扭矩）。

2. 最大似然估计法

最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。

补充知识：

  表示： 求积运算 ， 或  直积运算。

似然函数：

    在数理统计学中，似然函数（英语：likelihood function）是一种关于统计模型中的参数的函数，表示模型参数中的似然性（英语：likelihood）。

    文字意义上，“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“概率”（或然性）有明确的区分：

• 概率，用于在已知一些参数的情况下，预测接下来在观测上所得到的结果；

• 似然性，则是用于在已知某些观测所得到的结果时，对有关事物之性质的参数进行估值，也就是说 已观察到 某事件后，对 相关参数 进行 猜测。

在这种意义上，似然函数可以理解为条件概率的逆反。

最大似然估计

    似然函数取得最大值表示相应的参数能够使得统计模型最为合理。

    从这样一个想法出发，最大似然估计的做法是：首先选取似然函数（一般是概率密度函数或概率质量函数），整理之后求最大值点。

    实际应用中一般会取似然函数的对数作为求最大值的函数，这样求出的最大值点和直接求最大值点得到的结果是相同的。似然函数的最大值点不一定唯一，也不一定存在。

    与矩法估计比较，最大似然估计的精确度较高，信息损失较少，但计算量较大。

例：

(二) 区间估计

        区间估计（interval estimate）是在点估计的基础上，给出总体参数估计的一个区间范围，该区间通常由样本统计量加减估计误差得到。

        与点估计不同，进行区间估计时，根据样本统计量的抽样分布可以对样本统计量与总体参数的接近程度给出一个概率度量。

        通过从总体中抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，以作为总体的分布参数(或参数的函数)的真值所在范围的估计。

        用数轴上的一段距离或一个数据区间，表示总体参数的可能范围. 这一段距离或数据区间称为区间估计的置信区间。

        区间估计，区间估计的区间上、下界通常形式为：“ 点估计 ± 误差 ” 。

        区间估计（interval estimation）是从点估计值和抽样标准误差出发，按给定的概率值建立包含待估计参数的区间.  

        其中这个给定的概率值称为置信度或置信水平(confidence level），这个建立起来的包含待估计参数的区间称为置信区间（confidence interval），指总体参数值落在样本统计值某一区内的概率；

        置信区间是指在某一置信水平下，样本统计值与总体参数值间误差范围。

        置信区间越大，置信水平越高。

        划定置信区间的两个数值分别称为置信下限(lower confidence limit,lcl）和置信上限（upper confidence limit,ucl)

1.  正态  总体均值 与 方差 的 区间估计

(1)

(2)

2. ( 0 - 1 ) 分布参数的区间估计

单侧置信区间

总结：