机器学习笔记之近似推断(二)推断的核心思想

2023-11-24 11:10:58

机器学习笔记之近似推断——推断的核心思想

引言
- 回顾：推断的目的与困难
- - 推断的目的
  - 推断的困难
- 推断的核心思想——优化

引言

上一节介绍了从深度学习的角度介绍了推断，并介绍了推断的目的和困难。本节将继续介绍推断的核心思想。

回顾：推断的目的与困难

推断的目的

推断不仅局限于深度生成模型。实际上，所有基于概率图结构的模型，特别是基于隐变量的概率图模型，都需要推断任务。推断的目的主要包含两种情况：

推断自身就是推断的目的。也就是说，推断本身就是处理相关任务的一个结果。例如以隐马尔可夫模型为核心的动态模型( $\text{Dynamic Model}$ )。
基于齐次马尔可夫假设与观测独立性假设下的动态模型，其模型内部的随机变量结点存在严格限制：

在这种确定结构下的推断任务多种多样。如解码任务( $\text{Decoding}$ )——维特比算法( $\text{Viterbi}$ )，求值问题——前向算法( $\text{Forward Algorithm}$ )等等，这些任务本身就是推断任务的目标。
模型学习任务中需要推断。例如 $\text{EM}$ 算法( $\text{Expectation Maximization,EM}$ )在参数迭代的过程中，要对隐变量的后验概率 $\mathcal P(\mathcal Z \mid \mathcal X)$ 进行计算/近似计算：
下面公式中分别描述'狭义EM算法'与‘广义EM算法’中E步的表示。
$\begin{cases} \log \mathcal P(\mathcal X;\theta) = \text{ELBO} \Leftrightarrow \mathcal Q(\mathcal Z) = \mathcal P(\mathcal Z \mid \mathcal X) \\ \quad \\ \hat {\mathcal Q}^{(t+1)}(\mathcal Z) = \mathop{\arg\max}\limits_{\mathcal Q(\mathcal Z)} \text{ELBO} \Leftrightarrow \mathcal Q(\mathcal Z) \approx \mathcal P(\mathcal Z \mid \mathcal X) \end{cases}$

并不是一上来就可以针对陌生的变量进行推断，必须要在模型给定，并且当前模型参数已知的情况下，才能够执行推断。

这个说法和‘模型学习任务中需要推断’并不冲突。除非是结构简单的模型，否则很难通过一次步骤直接得到参数的精确解。因此，通常是基于随机初始化的模型参数，通过若干次迭代得到参数最优解的近似解。
例如广义EM算法的坐标上升法( $\text{Coordinate Ascent}$ ),再比如‘随机梯度变分推断’( $\text{Stochastic Gradient Variational Inference,SGVI}$ )中的梯度上升法( $\text{Gradient Ascent,GA}$ )等等。

推断的困难

推断困难的原因主要有两个：

随机变量的概率能够表示，但计算代价太大。依然以隐马尔可夫模型中的解码问题为例，它的目标可表示为如下形式：
$\hat {\mathcal I} = \mathop{\arg\max}\limits_{\mathcal I} \mathcal P(\mathcal I \mid \mathcal O;\lambda)$
其中 $\mathcal I$ 表示基于时间/序列的随机变量集合： $\mathcal I = \{i_1,i_2,\cdots,i_T\}$ ，假设每一个随机变量 $i_t(t=1,2,\cdots,T)$ 均属于离散型随机变量：
$i_t = q_k(q_k\in \mathcal Q = \{q_1,q_2,\cdots,q_{\mathcal K}\})$
那么随机变量集合 $\mathcal I$ 可以得到 ${\mathcal K}^T$ 种不重复的状态序列组合。而最终目标仅需要一个最优组合：
$\hat {\mathcal I} = \{\hat {i}_1,\hat i_2,\cdots,\hat i_{T}\}$
如果将所有序列组合全部求解出来去比较，这个计算代价极大。因而可采用维特比算法这种基于贪心策略的方法进行求解。
由于随机变量之间关系过于复杂，导致随机变量的概率根本无法表示。玻尔兹曼机( $\text{Boltzmann Machine}$ )就是一个典型的例子。玻尔兹曼机中观测变量、隐变量内部可能存在关联关系，这种结构导致后验概率 $\mathcal P(\mathcal Z \mid \mathcal X)$ 没有办法精准地梳理开。
当然， $\text{Hinton}$ 老爷子也给出了一种基于 $\text{MCMC}$ 的求解方式。

假设观测变量集合 $\mathcal V$ 与隐变量集合 $\mathcal H$ 分别表示如下：
$\begin{cases} \mathcal H = \{h_1,h_2,\cdots,h_m\} \\ \mathcal V = \{v_1,v_2,\cdots,v_n\} \end{cases}$
那么某一隐变量 $h_j(j \in \{1,2,\cdots,m\})$ 的后验概率分布可表示为：
推导过程详见玻尔兹曼机—— $\text{MCMC}$ 求解后验概率，就是因为 $h_j$ 和 $h_{-j}$ 存在关联关系，才导致 $\mathcal P(h_j \mid \mathcal V) \approx \mathcal P(h_j \mid \mathcal V,h_{-j})$ 的近似操作。
$\begin{aligned} \mathcal P(h_j \mid \mathcal V,h_{-j}) & = \frac{\mathcal P(h_j,\mathcal V,h_{-j})}{\mathcal P(h_{-j},\mathcal V)} \\ & = \frac{\mathcal P(\mathcal H,\mathcal V)}{\sum_{h_j}\mathcal P(\mathcal H,\mathcal V)} \quad h_{-j} = (h_1,\cdots,h_{j-1},h_{j+1},\cdots,h_m) \end{aligned}$

推断的核心思想——优化

推断的推导过程在 $\text{EM}$ 算法、变分推断过程中已经详细地介绍过。其底层逻辑就是：将隐变量的后验概率求解问题转化成优化问题，即基于极大似然估计，将观测变量(样本)的对数似然函数( $\text{log-likelihood}$ ) $\log \mathcal P(\mathcal V)$ 转化成证据下界 $\text{ELBO}$ + $\text{KL}$ 散度，并最大化 $\text{ELBO}$ 的问题：

已知样本集合 $\mathcal V$ 包含 $N$ 个样本，并包含 $n$ 个随机变量：
$\mathcal V = \{v^{(i)}\}_{i=1}^N \quad v^{(i)} = (v_1^{(i)},v_2^{(i)},\cdots,v_n^{(i)})^T$
关于观测变量集合 $\mathcal V$ 的对数似然函数 $\log \mathcal P(\mathcal V)$ 可表示为如下形式：
- 样本之间‘独立同分布’。
- 在配分函数——对数似然梯度中提到，可以在最前面乘以一个常数项 $\frac{1}{N}$ ,即 $\frac{1}{N}\sum_{i=1}^N \log \mathcal P(v^{(i)})$ 。
  该常数项本身恒正，在极大似然估计求解过程中并不会产生影响。但从蒙特卡洛方法( $\text{Monte Carlo Method}$ )逆向推导的思路中可以观察到，它明显是一个期望： $\frac{1}{N} \sum_{i=1}^N \log \mathcal P(v^{(i)}) \approx \mathbb E_{v^{(i)} \sim \mathcal P_{data}} \left[\log \mathcal P(v^{(i)})\right]$ ,其中 $\mathcal P_{data}$ 表示真实样本分布。
  $\begin{aligned} \log \mathcal P(\mathcal V) & = \log \left[\prod_{i=1}^N \mathcal P(v^{(i)})\right] \\ & = \sum_{i=1}^N \log \mathcal P(v^{(i)}) \end{aligned}$
继续观察关于某个样本 $v^{(i)}$ 的对数似然函数 $\log \mathcal P(v^{(i)})$ 是如何分解的。

基于贝叶斯定理，引入观测变量 $v^{(i)}$ 对应模型的隐变量 $h^{(i)}$ ，可将 $\log \mathcal P(v^{(i)})$ 表示成如下形式：
$\log \mathcal P(v^{(i)}) = \log \left[\frac{\mathcal P(v^{(i)},h^{(i)})}{\mathcal P(h^{(i)} \mid v^{(i)})}\right]$
引入一个人为设定的分布 $\mathcal Q(h^{(i)} \mid v^{(i)})$ ，并将其转化为如下形式：
- 需要注意的是，这个分布 $\mathcal Q(h^{(i)} \mid v^{(i)})$ 是一个以 $v^{(i)}$ 为条件的后验概率分布。
- 将 $\log \mathcal P(v^{(i)})$ 使用 $\mathcal I$ 进行替代。
  $\begin{aligned} \mathcal I & = \log \left[\frac{\mathcal P(v^{(i)},h^{(i)})}{\mathcal Q(h^{(i)} \mid v^{(i)})} \cdot \frac{\mathcal Q(h^{(i)} \mid v^{(i)})}{\mathcal P(h^{(i)} \mid v^{(i)})}\right] \\ & = \log \left[\frac{\mathcal P(v^{(i)},h^{(i)})}{\mathcal Q(h^{(i)} \mid v^{(i)})}\right] + \log \left[\frac{\mathcal Q(h^{(i)} \mid v^{(i)})}{\mathcal P(h^{(i)} \mid v^{(i)})}\right] \end{aligned}$
观察第一项 $\log \left[\frac{\mathcal P(v^{(i)},h^{(i)})}{\mathcal Q(h^{(i)} \mid v^{(i)})}\right]$ 和 $\log \mathcal P(v^{(i)}) =\log \left[\frac{\mathcal P(v^{(i)},h^{(i)})}{\mathcal P(h^{(i)} \mid v^{(i)})}\right]$ 之间，可以将其理解成：人为设定分布 $\mathcal Q(h^{(i)} \mid v^{(i)})$ 替代了 $\mathcal P(h^{(i)} \mid v^{(i)})$ 分布的位置；而 $\log \left[\frac{\mathcal Q(h^{(i)} \mid v^{(i)})}{\mathcal P(h^{(i)} \mid v^{(i)})}\right]$ 可理解为：分布 $\mathcal Q(h^{(i)} \mid v^{(i)})$ 与分布 $\mathcal P(h^{(i)} \mid v^{(i)})$ 之间存在的某种关联关系。

分别对等式两端基于 $\mathcal Q(h^{(i)} \mid v^{(i)})$ 求解积分：
其中 $\mathcal I$ 中不包含 $h^{(i)}$ ,因而有 $\int_{h^{(i)}} \mathcal I \cdot \mathcal Q(h^{(i)} \mid v^{(i)}) dh^{(i)} = \mathcal I \int_{h^{(i)}} \mathcal Q(h^{(i)} \mid v^{(i)}) dh^{(i)} = \mathcal I \cdot 1 = \mathcal I$ (概率密度积分)，因而关注点在等式右侧的积分过程。
$\begin{aligned} \mathcal I & = \int_{h^{(i)}} \mathcal Q(h^{(i)} \mid v^{(i)}) \log \left[\frac{\mathcal P(v^{(i)},h^{(i)})}{\mathcal Q(h^{(i)} \mid v^{(i)})}\right] d h^{(i)} + \int_{h^{(i)}} \mathcal Q(h^{(i)} \mid v^{(i)}) \log \left[\frac{\mathcal Q(h^{(i)} \mid v^{(i)})}{\mathcal P(h^{(i)} \mid v^{(i)})}\right] dh^{(i)} \\ & = \underbrace{\mathbb E_{\mathcal Q(h^{(i)} \mid v^{(i)})} \left\{\log \left[\frac{\mathcal P(v^{(i)},h^{(i)})}{\mathcal Q(h^{(i)} \mid v^{(i)})}\right]\right\}}_{\text{Evidence of Lower Bound,ELBO}} + \underbrace{\text{KL} \left[\mathcal Q(h^{(i)} \mid v^{(i)}) || \mathcal P(h^{(i)} \mid v^{(i)})\right]}_{\text{KL Divergence}} \end{aligned}$
可以将 $\text{ELBO}$ 继续向下分解，得到如下形式：
$\begin{aligned} \mathcal I & = \mathbb E_{\mathcal Q(h^{(i)} \mid v^{(i)})} \left[\log \mathcal P(v^{(i)},h^{(i)}) - \log \mathcal Q(h^{(i)} \mid v^{(i)})\right] + \text{KL} \left[\mathcal Q(h^{(i)} \mid v^{(i)}) || \mathcal P(h^{(i)} \mid v^{(i)})\right] \\ & = \mathbb E_{\mathcal Q(h^{(i)} \mid v^{(i)})} \left[\log \mathcal P(v^{(i)},h^{(i)})\right] \underbrace{- \mathbb E_{\mathcal Q(h^{(i)} \mid v^{(i)})} \left[\mathcal Q(h^{(i)} \mid v^{(i)})\right]}_{\mathcal H[\mathcal Q(h^{(i)} \mid v^{(i)})];\text{Entropy}} + \text{KL} \left[\mathcal Q(h^{(i)} \mid v^{(i)}) || \mathcal P(h^{(i)} \mid v^{(i)})\right] \end{aligned}$
最终，对数似然函数 $\log \mathcal P(\mathcal V)$ 可表示为：
$\begin{aligned} \log \mathcal P(\mathcal V) & = \sum_{i=1}^N \mathcal I \\ & = \sum_{i=1}^N \left\{\mathbb E_{\mathcal Q(h^{(i)} \mid v^{(i)})} \left[\log \mathcal P(v^{(i)},h^{(i)})\right] \underbrace{- \mathbb E_{\mathcal Q(h^{(i)} \mid v^{(i)})} \left[\mathcal Q(h^{(i)} \mid v^{(i)})\right]}_{\mathcal H[\mathcal Q(h^{(i)} \mid v^{(i)})];\text{Entropy}} + \text{KL} \left[\mathcal Q(h^{(i)} \mid v^{(i)}) || \mathcal P(h^{(i)} \mid v^{(i)})\right]\right\} \end{aligned}$
根据极大似然估计，将推断任务：求解 $\mathcal P(h^{(i)} \mid v^{(i)})$ 转换为了：
- 使用 $\mathcal Q(h^{(i)} \mid v^{(i)})$ 替代了 $\mathcal P(h^{(i)} \mid v^{(i)})$ ；
- 选择合适的 $\mathcal Q(h^{(i)} \mid v^{(i)})$ 来优化目标函数，使得目标函数 $\text{ELBO} = \mathcal L \left[v^{(i)},h^{(i)},\mathcal Q(h^{(i)} \mid v^{(i)})\right]$ 达到最大：
  $\mathop{\arg\max}\limits_{\mathcal Q(h^{(i)} \mid v^{(i)})} \mathcal L \left[v^{(i)},h^{(i)},\mathcal Q(h^{(i)} \mid v^{(i)})\right]$

相关参考：
(系列二十五)近似推断2-推断即优化

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！

标签：技术

上一篇 > c语易错点
下一篇 > 机器学习笔记之近似推断(一)从深度学习角度认识推断

Duilib中list控件支持ctrl和shif多行选中的实现

[ICML2015]Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shif

win10系统微软输入法于eclipse ctrl+shif+f冲突间接处理办法

Codeforces Round #259 (Div. 2) B. Little Pony and Sort by Shif

读LDD3，内存映射与DMA--PAGE_SHIF…

VMware虚拟机安装XP【要先分区，再设置BOOT 启动CD，shif+上移】

更换iBus五笔的左与右Shif

sublime ctrl+shif+f 没用解决办法

idea 对 ctrl + z 的撤销是 ctrl + shif + z

计算机最早的设计师应用于,计算机应用基础选择题doc.doc

win10自带截图神器：Win+Shift+S

Python基础之文件目录操作

python简述目录_Python基础之文件目录操作(示例代码)

tp5 如何做数据采集

任务2-7(服务器字体+阿里巴巴矢量库)

html标签（1)：h1~h6,p,br,pre,hr

TI 电量计介绍与芯片选型指南

几款TI电源芯片简介

TI DSP芯片C2000系列读取FLASH数据

德州仪器(Ti)平台嵌入式开发基础

TI三相电机智能栅极驱动芯片特点分类

省选模拟（12.08） T3 圈圈圈圈圈圈圈圈

Hadoop生态圈技术栈（上）

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之6.Impala交互式查询

小猿圈之Linux下Mysql 操作命令

大数据Hadoop生态圈常用面试题

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之4.Hive DDL、DQL和数据操作

备战Noip2018模拟赛11（B组）T3 Monogatari 物语

【智能优化算法-圆圈搜索算法】基于圆圈搜索算法Circle Search Algorithm求解单目标优化问题附matlab代码

NYOJ 78 圈水池

递归问题跑道汽车绕圈问题 Python实现

Hadoop生态圈（三）：MapReduce