分类器的比较方法

目标：

比较不同分类器的性能，以确定在给定的数据集上哪种分类器效果更好。

一、估计准确度的置信区间

通过将分类任务用二项式试验建模来推导置信区间。给定一个包含N个记录的检验集，令X是被模型正确预测的记录数，p是模型的真正准确率。通过吧预测任务用二项式试验建模，X服从均值为Np、方差为Np(1-p)的二项分布。可以证明经验准确率acc=X/N也是均值为p，方差为p(1-p)/N的二项分布。当N充分大时，通常用正态分布近似。根据正态分布，可以推导出acc的置信区间：

$$P(-Z_{\alpha/2}\le\frac{acc-p}{\sqrt p(1-p)/N}\le Z_{1-\alpha/2})= 1-\alpha$$

其中$Z_{\alpha/2}$ 和 $Z_{1-\alpha/2}$ 分别是在置信水平 $(1-\alpha)$ 下由标准正态分布得到的上界和下界。
重新整理不等式，得到p的置信区间如下：

$$\frac{2\times N \times acc + Z_{\alpha/2}^2 \pm Z_{\alpha/2} \sqrt {Z_{\alpha/2}^2+4Nacc - 4Nacc^2}}{2(N+Z_{\alpha/2}^2)}$$

二、比较两个模型的性能

考虑一对模型$M_1$ 和 $M_2$ ，他们在两个对立的检验集$D_1$ 和 $D_2$ 上进行评估，令 $n_1$ 是 $D_1$ 中的记录数，$n_2$ 是 $D_2$ 中的记录数。另外，假设$M_1$ 在 $D_1$ 上的错误率为 $e_1$ ，$M_2$ 在 $D_2$ 上的错误率为 $e_2$ 。目标是检验 $e_1$ 和 $e_2$ 的观察差是否统计显著 （错误率的观察差 $d=e_1-e_2\neq0$）。
d的方差为：

$$\hat\sigma_d = \frac{e_1(1-e_1)}{n_1} + \frac{e_2(1-e_2)}{n_2}$$

在置信水平(1-$\alpha$)%下，实际差$d_t$ 的置信区间为：

$$d_t = d \pm z_{\alpha/2} \hat\sigma _d$$

三、比较两种分类方法的性能

将数据集D划分为k个大小相等的部分，然后使用每种分类方法，在k-1份数据上构建模型，并在剩余的划分上进行检验，该步骤重复k次，每次使用不同的划分进行检验。
观察差的总方差为：

$$\hat\sigma_{d^{cv}} ^2=\frac{\sum_{j=1}^k (d_j-\overline d)^2}{k(k-1)}$$
用t分布计算得到置信区间为：
$$d^{cv}_t = \hat d \pm t_{(1-\alpha),k-1}\hat \sigma_{d^{cv}}$$

【几个概念】

1.二项式试验

(1)试验由N个独立的试验组成，其中每个试验有两种可能的结果：成功或失败。
(2)每个试验成功的概率p是常数。

如果X是N次试验观察到的成功次数，则X取一个特定值v的概率由均值为Np、方差为Np(1-p)的二项分布给出。

【参考文献】

Pang-Ning Tan等，数据挖掘导论，中国工信出版集团

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！