perplexity 衡量指标_3.2.1.困惑度

实际上，我们在评估语言模型时，并不直接使用概率作为衡量标准，而是使用一个叫做困惑度(perplexity)的指标。

在测试集上计算语言模型的困惑度(有时简称为PP)是单词数归一化后的逆概率。对于测试集$W=w_1,w_2,…w_N$来说，困惑度的计算方式如下：

$$

\begin{align}

PP(W)

&=P(w_1 w_2…w_N )^{-1/N} \\

&=\sqrt[N]{\frac{1}{P(w_1 w_2…w_N)}} \\

\end{align}

$$

我们对上式使用链式法则：

$$

PP(W)= \sqrt[N]{\prod_{i=1}^{N}\frac{1}{P(w_i|w_1 w_2…w_{i-1})}}

$$

因此，二元模型的困惑度可按下式计算：

$$

PP(W)= \sqrt[N]{\prod_{i=1}^{N}\frac{1}{P(w_i|w_{i-1})}}

$$

请注意，从公式中很容易看出，困惑度的值与条件概率的值成反比。单词序列的条件概率越大，困惑度就越低，这意味着，最小化困惑度等同于最大化语言模型的测试集概率。在使用中，由于我们测试的内容经常包含多个句子，因此我们需要对每句话添加开始符 和结束符 ，并且将结束符的数量计入单词标记N的总数中(开始符 就不需要了)。

对困惑度还有另外一种理解，即将它作为一种语言的加权平均分支因子。语言的分支因子指可以跟随任意单词的下一个单词的数量。比如识别数字的任务，由于每个数字出现的可能均等，都为1/10，因此困惑度为10，计算方法如下：

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！